LLM

输入一段文本，看两套 tokenizer 如何把它切成不同的 token，再用一组人工校对的平行语料比较四种语言，理解 token 为什么既不是单词也不是汉字。