重點整理
- 大型語言模型評估點子新穎性時，結果極度不穩定。
- 稍微更改給 AI 的提示詞，就可能讓判斷準確率暴跌。
- 增加 AI 推理時間或搜尋功能，未必能提升判斷準確度。
- 企業應將 AI 視為發想助手，最終決策仍需人類把關。
現在很多中小企業主與行銷人員，都喜歡用 AI 來發想行銷點子、寫商品文案。有些人甚至進一步，想用 AI 來「自動評分」或「篩選」哪個點子最好。但如果你正打算依賴 AI 來幫你做決策，這篇文章的最新研究結果，絕對跟你的行銷預算與策略成敗息息相關。
AI 當裁判，結果可能大翻盤
人工智慧研究機構 Ai2 最近發布了一項研究，專門探討大型語言模型（LLM，也就是我們常說的生成式 AI）在評估科學研究想法的「新穎性」時，到底可不可靠。研究團隊測試了包含 GPT 與 Claude 系列在內的多款主流 AI 模型，讓它們擔任「新穎性評判」，來比較哪個點子更有創意。
結果發現，AI 當裁判其實非常不穩定。研究顯示，只要稍微改變給 AI 的提示詞（prompt，也就是你輸入給 AI 的指令或問題），哪怕只是改幾個字，AI 判斷的準確率就可能暴跌超過 50 個百分點。這意味著，同一組點子，你今天用 A 問法，AI 說點子 A 比較好；明天換個 B 問法，AI 可能就改口說點子 B 比較好。這種不穩定性，在評估 AI 自己生成的點子時又特別嚴重。
花更多錢買進階功能，不一定比較準
很多企業在導入 AI 時，會考慮購買更進階的方案，例如讓 AI 有更大的「推理預算」（讓 AI 在回答前花更多運算資源去思考），或是加上「文獻檢索」功能（讓 AI 即時上網搜尋相關資料來輔助判斷）。大家直覺認為，AI 想得越深、查得越多，判斷應該越準。
但這項研究打破了這個迷思。研究團隊發現，增加推理時間或即時搜尋功能，並沒有讓 AI 的判斷更穩定或更準確。更令人意外的是，市面上一些專門為了評估點子而設計的進階 AI 系統，其表現不僅輸給最基礎、最便宜的 AI 指令設定，而且每次評估的成本還高達十幾倍甚至三十幾倍。換句話說，在「評估點子」這件事上，花大錢買複雜的 AI 功能，往往只是花更多錢卻買不到更好的結果。
對企業使用 AI 的實際啟示
這項研究雖然是在科學研究領域進行的，但對我們中小企業在行銷、商品開發或日常營運上使用 AI，有著非常重要的啟示。
首先，AI 目前非常適合當你的「發想助手」，幫你快速產出大量的文案、企劃或商品描述。但是，AI 還不夠格當「自動評分機」或「最終決策者」。如果你用 AI 來自動篩選好文案，或是讓 AI 決定哪個行銷活動要上線，你可能會因為 AI 的判斷不穩定而錯失良機，甚至做出錯誤決策。
其次，不要盲目追求最貴、最複雜的 AI 評估工具。研究證明，最簡單、最基礎的 AI 模型，只要指令下得好，表現往往就足夠了。把省下來的預算，投入到實際的行銷執行或網站優化上，會更有實質效益。
崴米的建議
作為您的數位整合顧問，我們建議企業在擁抱 AI 時，保持理性與策略性。以下是三個可以馬上落地的建議：
- 建立「人機協作」的把關流程：讓 AI 負責發想與初稿，但最終的點子篩選、文案定稿與決策，務必由具備專業經驗的人類團隊來把關，確保產出品質與品牌調性一致。
- 聚焦 AI 在「工作流程」的自動化：與其花時間調教 AI 來當裁判，不如把 AI 放在重複性高的工作上。例如將 AI 串接至內部系統，自動處理訂單通知、客戶初步問答，提升整體營運效率。
- 尋求專業顧問協助 AI 落地：AI 工具日新月異，要讓 AI 真正發揮效益，需要與您的網站、LINE 或內部系統無縫整合。我們建議您把 AI 放進你的網站與工作流程，而不是只在聊天視窗裡，讓專業團隊協助您規劃最適合的 AI 應用場景，避免盲目投資。
參考來源：Can we trust LLMs to judge whether a research idea is novel?
