重點整理
- 通用 AI 字典會造成文字碎片化與冗餘，白白浪費運算資源。
- AI 生成輸出的成本遠高於讀取，優化輸出詞元能最大化省錢效果。
- VocabX 技術透過雙層合併與成本估算，成功降低 77% 推論成本。
- 中小企業應盤點高重複性任務，以小型模型搭配客製字典提升效益。
很多中小企業開始把 AI 導入日常營運，像是自動回覆、文件評分或客服。但大家常發現，AI 用久了運算成本居高不下，反應速度也不夠快。其實，問題可能出在 AI 用的「字典」太通用。最近有一項研究指出，只要針對特定任務客製化 AI 的詞彙表，就能在完全不換模型的情況下，把推論成本（也就是每次使用 AI 的運算費用）大幅降低 77%。這篇文章帶你了解背後的原理，以及如何為你的企業省下這筆錢。
為什麼你的 AI 這麼「搞剛」？通用字典的兩大浪費
要理解成本為什麼降不下來，首先要認識 Token（詞元，AI 處理文字的最小單位）與 Tokenizer（分詞器，決定文字如何切成詞元的工具）。目前主流的通用模型（如 Qwen、Gemma），其分詞器是為了全世界、所有領域設計的。當你的 AI 只做單一任務（例如批改特定語言作文，或處理固定格式的合約），就會產生兩種浪費：
- 碎片化：業務中一直重複出現的固定格式（如 JSON 結構、特定專有名詞），被切成太多小塊，AI 每次都要重新組合，浪費時間。
- 冗餘：字典裡塞滿了十幾萬個該業務根本用不到的詞，AI 每次說話都要把這些廢詞計算一遍，白白浪費算力。
生成比閱讀貴：算錯成本，省錯地方
AI 運作主要分兩個階段：讀取輸入（Prefill）和生成輸出（Decode）。研究發現，生成一個詞元的成本，高達讀取一個詞元的 7.4 倍！這就像快遞公司收寄件費用比收件貴 7 倍。此外，AI 模型的最後一層需要根據字典大小來計算機率，字典越大，每次生成時要搬移的資料就越多，速度就越慢。
過去的解法（如 FVT、MWT 等）只看重「詞頻」，忽略了「生成成本」，導致省下來的錢有限，且無法同時處理單字切分與長句合併的問題。
VocabX 解法：為你的業務量身打造 AI 字典
Dharma-AI 團隊提出了 VocabX 方法，在實際的自動評分系統中，把平均輸出的詞元數從 350 個降到 101 個，成本驟降 77%，而且評分準確度還從 0.703 提升到 0.810。他們做對了什麼？
- 看成本不看頻率：優先把「輸出時」會重複出現的長句或結構合併，因為省輸出最省錢。
- 雙層合併：同時處理單字切分（子詞）與長句合併（宏觀詞元），把重複的 JSON 格式或固定用語打包成一個大積木。
- 聰明估算：用統計方式找出樣本中罕見但高價值的詞，確保字典既精簡又不漏掉關鍵業務用語。
這項技術在合約、醫學、科學、新聞和 Python 程式碼等五個領域測試中，壓縮率都優於現有方法，證明它不僅適用於單一案例。
崴米的建議
對於想導入 AI 的中小企業，我們建議從以下三個方向著手，讓 AI 真正發揮效益又控制成本：
- 盤點高重複性的 AI 任務：如果你的 AI 客服或文件處理系統，每次都要輸出固定格式（如表單、JSON、制式回覆），這就是優化成本的最佳切入點。
- 不要盲目追求大模型：對於特定任務，使用 SLM（小型語言模型，參數量較小、適合特定任務的 AI）搭配客製化字典，不僅成本低，速度還更快。
- 讓 AI 真正融入工作流程：AI 不應該只是一個聊天視窗，而是要與你的內部系統無縫接軌。
崴米團隊能協助您評估 AI 應用場景，將 AI 放進您的網站與工作流程中，打造真正為企業省錢又增效的解決方案。歡迎了解我們的 AI 應用服務，讓 AI 成為您的業務好幫手。
參考來源：How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
