分成两室的分子箱:左室以冷色分子为主,右室以暖色分子为主,中间的隔板上开着一道窄门 实验中

麦克斯韦妖

亲手当一次麦克斯韦妖:开门放行快分子、拦住慢分子,看着温差被你一点点拉开——然后看记忆纸带写满,看擦除记忆的那笔热账把你赢来的有序度全部吃回去。

JavaScript Canvas 统计力学
Tokenizer Explorer 封面:同一句中文在 o200k_base 下切成 6 个 token,在 cl100k_base 下切成 10 个 token,并显示跨 UTF-8 边界的字节片段。 实验中

Tokenizer Explorer

输入一段文本,看两套 tokenizer 如何把它切成不同的 token,再用一组人工校对的平行语料比较四种语言,理解 token 为什么既不是单词也不是汉字。

JavaScript Web Worker js-tiktoken