
Tokenizer Explorer
输入一段文本,看两套 tokenizer 如何把它切成不同的 token,再用一组人工校对的平行语料比较四种语言,理解 token 为什么既不是单词也不是汉字。
共 4 篇:文章 3 · 实验室 1

输入一段文本,看两套 tokenizer 如何把它切成不同的 token,再用一组人工校对的平行语料比较四种语言,理解 token 为什么既不是单词也不是汉字。
大模型能分类、类比并形成稳定的概念关系,这是否足以算“拥有概念”?本文区分行为能力、内部表征、现实锚定、因果检验与规范责任,说明相关证据支持什么,又不能证明什么。
语言不会替我们决定世界,却会让某些区分、注意方向和推断路径更容易被调用。本文从颜色词、事件施事和语言共现三个层面说明这种影响,同时区分任务中的概率效应、长期认知习惯与未经证实的决定论。
人和语言模型都能流畅地使用概念,但相似的语言表现是否来自相同的思维结构?本篇作为系列总序,区分语言、概念与思维系统,提出形成、运作、校准和责任四个比较维度,并交代后续五篇各自要解决的问题。