Tokenizer Explorer 封面:同一句中文在 o200k_base 下切成 6 个 token,在 cl100k_base 下切成 10 个 token,并显示跨 UTF-8 边界的字节片段。

Tokenizer Explorer

输入一段文本,看两套 tokenizer 如何把它切成不同的 token,再用一组人工校对的平行语料比较四种语言,理解 token 为什么既不是单词也不是汉字。

实验室2026年7月28日 · Lingming

语言、概念与思维系统(六):大模型有概念吗

大模型能分类、类比并形成稳定的概念关系,这是否足以算“拥有概念”?本文区分行为能力、内部表征、现实锚定、因果检验与规范责任,说明相关证据支持什么,又不能证明什么。

2026年3月20日 · 7 分钟 · Lingming

语言、概念与思维系统(二):语言如何改变概念的可达路径

语言不会替我们决定世界,却会让某些区分、注意方向和推断路径更容易被调用。本文从颜色词、事件施事和语言共现三个层面说明这种影响,同时区分任务中的概率效应、长期认知习惯与未经证实的决定论。

2026年3月1日 · 6 分钟 · Lingming

语言、概念与思维系统(一):六个问题,一张路线图

人和语言模型都能流畅地使用概念,但相似的语言表现是否来自相同的思维结构?本篇作为系列总序,区分语言、概念与思维系统,提出形成、运作、校准和责任四个比较维度,并交代后续五篇各自要解决的问题。

2026年1月27日 · 5 分钟 · Lingming