Work in Progress

alignment

Do people from different backgrounds mean the same thing by terms like “alignment,” “hallucination,” “heuristic,” or “ontology” (e.g., Palantir’s structure)? Is the AI industry appropriating & shifting these words, eroding shared meaning?

最近幾個月，很常聽到 alignment這個詞。最早是在這樣的語境裡出現：研究 LLM 的人會說，「在大語言模型中，alignment 就是讓機器和人類思想對齊。」可是，這怎麼可能？要怎麼對齊？什麼叫對齊？

Google AI 的說法是：「Alignment is the process of managing the behavior of generative AI (GenAI) to ensure its outputs conform with your product’s needs and expectations.」

車軲轆話的感覺。如果我讓 Gemini 寫一篇關於雅魯藏布江水電站的環境史文章，它也能寫得十分工整，字數、範圍、論點、論證都符合我提出的要求——這就算 align 上了嗎？

但只要你真的使用過 GenAI，你就會知道，LLM有時會給你一些有意思的點子，可是它始終無法完全寫出「你真正想要的」內容。這不是LLM的問題，而是因為你自己也無法精確描述你想要的是什麼；如果能，你早就自己寫出來了。但你的腦中，對於最後的文章，有個模糊的感覺，而LLM所產出的東西基本不太可能完全清晰你的模糊。

近幾天寫科學史的文章時，我忽然意識到：alignment 在認識論來說，是兩個本來獨立的系統之間的「對照」關係。

例如：

中藥材系統裡的「麻黃」

——對照——

植物分類學裡的 Ephedra 屬

但在植物分類學中，Ephedra 下面還分許多不同的「種」。李時珍的麻黃與林奈植物分類學的麻黃並不能「翻譯」成彼此；它們屬於不同的知識框架，只能進行 alignment——也就是對照、對應，而不是轉換。

回過頭來看 LLM，好像也就比較能理解：

模型所能做到的 alignment，並不是生成和人類一模一樣的內容，而是產生一種對照關係——讓模型的輸出和你的意圖之間，形成某種可操作的、可理解的對應？