早上给合作方发需求，你在ChatGPT里敲：“麻烦拟份产品说明，重点讲性价比！”
你以为它收到整句话？其实它眼里是堆拆碎的“小砖块”：「麻烦」、「拟份」、「产品」……每个词甚至标点都可能被切成不同块。
这便是『大语言模型』藏得最深的“黑科技”——Token分词。
为什么要拆？模型“脑子”装不下所有词
得先搞懂：模型的“脑子”，就那么大——GPT-2装3万个“小砖块”，GPT-3装5万，现在最牛的模型也就10万左右。可英语有几十万单词，中文有几百万，根本装不下所有词。
咋办？只能把生僻词拆成熟悉的“砖块”。比如“extraordinary”（非凡的），模型没学过，但它学过“extra”（额外）+“ordinary”（普通），拼起来就知道是“非凡的”。
遇到没见过的“biocatalyst”（生物催化剂），拆成“bio”+“catalyst”，也能猜出跟生物有关。
还有，拆碎了省力气。比如“机器学习”拆成“机器”+“学习”，比存整个词少占空间，算得快，不然你发100字，它得算半天，半天回不了消息。
说白了，Token就是模型的“最小认知单元”，它不是看你句子，是看一堆能拼起来的“小砖块”。
怎么拆？四种“拆字法”，各有各的招
模型拆字不是乱切，有四种常见套路：
BPE（GPT系列用）——像搭积木粘高频词
先拿单个字母当积木（比如“H”“e”），把常一起出现的粘成块（比如“ll”）。后来还能拆成电脑能认的字节，连生僻emoji、特殊符号都不怕。
WordPiece（BERT用）——粘起来要“顺嘴”
跟BPE像，但看“顺不顺”：比如“unhappy”拆成“un”+“##happy”，“##”标记“happy”不是词开头，前面得有“un”（不）。
SentencePiece（T5用）——不管原词直接切
更狠，把整句话当字符，连空格都当符号。比如“Hello world”拆成“▁Hello”+“▁world”（下划线表示“后面要接单词”），适合日语、中文这种没空格的语言。
Unigram（SentencePiece搭档）——扔没用的“砖块”
先拿一堆可能的块（比如“机”“器”“学”“习”），再慢慢扔没用的，留最有用的——像整理抽屉，只留常用的。
拆的麻烦？为啥你觉得模型总“笨”？
这“拆字游戏”，也把模型的“毛病”带出来了——你日常吐槽的那些问题，其实都源于此：
算钱总超预算：API按Token收费，英文1Token≈4字符，100个单词≈75Token（等于花75块）；中文更贵，你发段话，其实是“烧钱”。
算不对数：问“3.11和3.9哪个大”，它拆成“3”+“.”+“11”和“3”+“.”+“9”，不是比数值，是看哪个组合常见——所以有时候答对，有时候错。
外文/代码总出错：日语假名拆得多，慢还容易理解错；代码“for i in range(10)”拆成“for”+“i”+“in”+…，逻辑散了，总漏括号。
拼写错了没法纠：打“heloo”（错），拆成“hel”+“oo”，都是生僻块，模型只能瞎猜“是不是‘hello’？”
结语：它不是笨，是得“学会”懂你
其实它不是故意整你，就像小孩学说话，得先把句子拆成单词，再拼起来懂意思。可大人拆得多了，难免漏整体，比如把“3.11”拆成碎块，就忘了这是个数字。
咱们得顺着它的脾气：发消息写清楚，别用生僻词；算钱先估Token，别等账单喊“坑”；别指望它做复杂数学题，它只是“拆字高手”，还没成“理解大师”。
但话说回来，能把一堆“小纸条”拼成通顺的话，陪你聊天、写文案、改代码，已经很厉害了。毕竟，从“拆字”到“懂你”，它已经走了很远的路。
