你的AI成本可能比需要的高30-40%——因为分词器

Scaling law优化了两个变量：模型大小和训练数据。一篇新论文加入了第三个——分词器的压缩率——并展示它对最优配方的改变超出大多数团队的认知。

研究人员训练了1,308个模型，从50M到7B参数。核心发现：Chinchilla的~20 token/参数规则不是通用的。它是某个特定压缩率的产物。通用规则是~60字节/参数，与分词器无关。

在最大规模测试中，禁用90%词表的BPE分词器优于标准BPE。标准BPE——Llama 3和Qwen 3使用的——在前沿规模下似乎过度压缩。

3.3B模型在近最优压缩下HellaSwag得分74.1%。6.7B模型在更高压缩下得分68.2%，推理成本相同。正确调优的压缩让小模型以相同服务预算击败两倍大的模型。

多语言团队面临更大差距。最优压缩在不同语言间变化2倍——英语3.71字节/token，印地语8.09。

跨提供商比较模型成本时，按token标准化是有误导性的。SuperBPE token携带6字节信息。字符级token携带1字节。字节才是诚实的比较单位。