从字符到语义单元：Token的演化路径
2017年，Google发布Transformer架构，首次在机器翻译任务中实现并行化处理，其核心机制之一便是将输入文本切分为可处理的离散单元。这一单元后来被称为token。早期模型如GPT-1（2018年）采用基于空格和标点的简单分词，将“artificial intelligence”切分为两个token。但中文、日文等无空格语言暴露了这种方法的局限性。2019年，OpenAI推出BPE（Byte Pair Encoding）算法的改进版本，成为GPT-2的核心分词工具。BPE通过统计语料库中字符对的共现频率，逐步合并高频字符组合，形成子词单元。例如，“unhappy”可能被切分为“un”和“happiness”，而中文“人工智能”可能被拆为“人工”和“智能”。这种策略使模型在有限词表中覆盖更多词汇，同时减少未登录词问题。
截至2023年，主流大模型如GPT-4、Claude 3和Llama 3均采用类似BPE的子词分词器。GPT-4的tokenizer将英文平均每个单词映射为1.3个token，中文则约为1.8个token每字。这意味着一段500字的中文文本，实际消耗约900个token。这种非对称性直接影响模型对多语言内容的处理能力。
成本核算：Token如何成为AI服务的计价基准
2023年3月，OpenAI首次公开API定价模型，明确以token为计费单位。输入每百万token收费0.5美元，输出每百万token收费1.5美元。这一机制迅速被行业采纳。同年6月，Anthropic发布Claude 2，采用相同计价逻辑。企业客户发现，生成一段500字的商业报告，成本约为0.0075美元，而处理10万份文档即产生750美元费用。
Token成本不仅体现在API调用，更贯穿模型训练全过程。训练GPT-3耗费约45TB文本数据，经分词后转化为约3000亿个token。按当前市场价估算，仅训练数据采购成本就超过900万美元。模型推理阶段，每生成一个token需执行一次前向传播，GPU集群的算力消耗与token数量线性相关。2024年Q1，某头部AI公司内部数据显示，其日均处理请求消耗约200亿token，对应算力成本达180万美元。
技术瓶颈：Token长度限制下的信息压缩困境
大模型的上下文窗口受限于token数量。GPT-3.5支持4096个token，相当于约3000个英文单词或2000个汉字。2023年9月，Anthropic将Claude 2的上下文扩展至10万token，可一次性处理整本《战争与和平》。但长文本输入带来新问题：模型在中间位置的信息召回率显著下降。MIT 2023年12月研究显示，当输入超过8000个token时，GPT-4对前1000个token的注意力权重下降47%。
为突破限制，业界尝试多种优化方案。2024年2月，Google发布Gemini 1.5，采用“稀疏注意力”机制，将100万token上下文下的推理速度提升10倍。同期，Meta开源Llama 3，通过动态分块缓存技术，将长文档处理效率提高35%。但这些方案仍无法根本解决语义连贯性问题。一位不愿具名的AI架构师指出：“token本质是信息压缩的产物，压缩比越高，语义损失越大。”
商业博弈：谁在掌控Token的定价权
Token不仅是技术概念，更是商业竞争的核心变量。2024年4月，OpenAI宣布下调GPT-4 Turbo价格，输入token成本降至每百万0.25美元，降幅达50%。此举直接冲击Anthropic和Google的定价体系。分析师认为，降价背后是模型压缩技术的突破——通过量化与蒸馏，同等算力下可处理更多token。
更深层的变化发生在数据层。2023年起，多家AI公司开始自建分词器，以减少对开源工具的依赖。字节跳动于2024年1月发布自研分词系统，针对短视频脚本优化，将娱乐类内容的token利用率提升22%。这种垂直化策略正在重塑行业格局：token不再只是通用计算单位，而成为企业差异化竞争的工具。