是什么：词元化（Tokenizer）是语言模型处理文本的第一步：模型不直接看文字，而是看 token——一小段有编号的字符串片段。Tokenizer 负责把「你好，世界」这样的文本切成若干 token，再把 token 映射成模型输入的编号序列；输出时再反向把编号序列拼回文本。
主流方法（BPE）
现代模型普遍用 BPE（Byte-Pair Encoding，字节对编码）及其变体。思路是「从字符出发、迭代合并」：先把文本拆成最小单元（字节或字符），再统计语料里出现频率最高的相邻单元对，把它们合并成一个新单元、写进词表，重复这一过程直到词表达到目标大小（通常几万到十几万条）。这样常见词会成为单个 token，罕见词则被拆成多个小片段，任何文本都能覆盖，不会出现「词典里没有的字」。
为什么和你有关
① 计费与上下文都按 token 数，而 token 数由 tokenizer 决定——同样一句话，不同模型切出的 token 数可能差很多，中文因为字符信息密度高，往往一个字占一到两个 token；② 上下文窗口的「长度」就是 token 数上限；③ 生成速度也按 token/秒衡量。
适用边界
tokenizer 与模型绑定——A 家模型不会用 B 家的 tokenizer，跨模型估算 token 数只能近似。另注意 tokenizer 只负责切分，不理解语义；「为什么模型数不清字符串里有几个 r」这类怪象，根源就在 token 与字符不对齐。