◆ 　趙坤茂／Token的百變角色

◆ 　杜紫宸／2046年AI社會樣貌的想像

◆ 　張俊哲／教室裡的羅大佑與伍佰

◆ 　方祖涵／鯨魚壁畫與十二碼罰球

◆ 　郭瓊瑩／運用AI之外 回到書寫人生

◆ 　陳力俊／川普清洗美國科學基金會的警訊

◆ 　王文華／另一種「AI」

趙坤茂／Token 的百變角色

2026-06-14 00:32　 聯合報／ 趙坤茂（作者為台大資工系教授）

若長期關注資訊科技，對 Token 這個字詞必不陌生。在環狀網路 Token Ring 中，它是掌控網路發言權的通訊令牌；在虛擬貨幣區塊鏈中，它是代表去中心化的數位資產載體；而在 AI 模型中，它是將真實世界的複雜資訊轉化為機器能夠運算、理解並重組的「最小資料顆粒」。

Token 的譯名多元，包括代幣、令牌、詞元、點數、通證、權杖、信物…等，其百變角色可見一斑。其實，Token 本身往往不具法幣地位或實質功能，但只要獲得系統承認，它就擁有其所代表的價值與功用；例如今年三月從台北捷運退場的「藍色塑膠代幣」單程票，就是一種 Token。

Token 在 AI 大型語言模型領域裡的通用譯名是「詞元」，隱含「字詞」和「基本單元」的概念。例如英文單字「Apple」或中文詞組「角色」，皆可算是一個 Token。當我們使用 AI 工具時，輸入的提問會被系統切分為 Token，然後經歷了一場從自然語言到高維度向量，再從機率分布還原為文字的複雜循環。最終，各個流程所用到的 Token 總數，就被用來估算工作總量與費用總額。

若將本文標題「Token 的百變角色」這十個字符輸入 AI，它會被切成五塊：Token（獨立的英文字詞）、的（常用字）、百（常用字）、變（常用字）、角色（視為一個語義詞組）。因為 AI 的本質是數學模型，所以這五個字詞還會被轉換為數字編號，在 AI 內部運算時的代碼可能就像這樣：【39017, 11674, 53232, 98939, 44030】。

讀者或許好奇，「百變」明明也是一個詞，為何要拆成「百」和「變」呢？這是因為 AI 的詞典容量有限，無法把中文所有的兩字詞、三字詞、四字成語通通塞進去，否則它會直接爆表。職是之故，AI 只能把獨立編號留給最常出現的明星詞組，例如「角色」天天有人講，所以它在詞典占有一席之地；「百變」卻不夠熱門，所以會被拆成兩個常用字「百」與「變」。

當 AI 切割中文字句（Tokenization）時，如果詞典裡有對應的字詞，它就直接用；如果沒有，就拆成單字來拼湊。雖然中文言簡意賅，但由於 AI 詞典裡裝的中文詞組有限，遇到不常用的就只能拆成單字，甚至像「喆」這樣的次常用字，還會算成兩個 Token；而罕見字「鱻」更會算成三個 Token，所以用中文跟 AI 聊天，通常比用英文聊更貴。

在多模態 AI 的應用中，文字 Token 只是其中一環，實際上萬物皆可化為 Token。當你給它看一張照片，它會把照片切成多塊小小拼圖，這叫「圖片 Token」；當你對它說話，它會把你的聲音切成多段的短短聲波，這叫「音訊 Token」；當你給 AI 看影片時，它會啟動空間與時間編碼，把影片的每一格畫面，以及畫面之間隨著時間變化的動態軌跡，變成精簡的「影片 Token」。當大家使用 AI 服務時，Token 的使用總量包括用戶的提問、AI 的回覆、系統的背景設定等；倘若超過免費額度，就得購買能處理更多 Token 的「運算額度」。

Token 已然是 AI 吞吐萬物和運算推理的「基本核心單元」，未來誰能更高效率、更低成本、更長脈絡地處理 Token，誰就更能稱霸數位市場。「贏 Token 者，得天下！」