Simon Willison发布ttok 1.0，默认分词器从GPT-4切换至GPT-5/GPT-6
Willison称OpenAI尚未确认GPT-6与GPT-5系列使用同一分词器，但他引用了William Liu的一项实验：七个GPT模型在 31 个测试样本上均报告 44,794 个token，结果彼此一致。
AI解读：Willison表示，OpenAI尚未正式确认GPT-6使用与GPT-5系列相同的分词器，相关讨论中存在一个表达不满的issue。
他引用William Liu提交的实验记录称，七个GPT模型（5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna）在 31 个测试样本上均报告 44,794 个token，且彼此结果一致。
据该实验，GPT-6在这批语料上未引入输入token计数的变化。
Simon Willison发布了ttok 1.0。他此前发布ttok 0.4后，通过uv tool upgrade ttok升级并测试时发现，该工具默认使用GPT-4分词器，而他认�为应当默认使用GPT-5/GPT-6，于是借切换默认值之机发布了 1.0。
默认分词器切换的依据与未确认之处
Willison称，OpenAI尚未确认GPT-6与GPT-5系列使用同一分词器，并提到存在一个对此表达不满的issue。
他引用William Liu的一项提交，其中记录了William Liu所做的实验：七个GPT模型（5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna）均报告 44,794 个token，在全部 31 个测试样本上彼此匹配。该实验据此认为这些分词器很可能相同，且GPT-6在这批语料上没有带来输入token计数的变化。