Tokenizer | Lingming 灵明

Tokenizer Explorer 封面：同一句中文在 o200k_base 下切成 6 个 token，在 cl100k_base 下切成 10 个 token，并显示跨 UTF-8 边界的字节片段。

Tokenizer Explorer

输入一段文本，看两套 tokenizer 如何把它切成不同的 token，再用一组人工校对的平行语料比较四种语言，理解 token 为什么既不是单词也不是汉字。