金融
隨著 GPT-4、Stable Diffusion 和 Midjourney 的爆火，越來越多的人開始在工作和生活中引入生成式 AI 技術。
【資料圖】
甚至，有人已經開始嘗試用 AI 生成的數據來訓練 AI 了。難道，這就是傳說中的「數據永動機」？
然而，來自牛津、劍橋、帝國理工等機構研究人員發現，如果在訓練時大量使用 AI 內容，會引發模型崩潰（model collapse），造成不可逆的缺陷。
也就是，隨著時間推移，模型就會忘記真實基礎數據部分。即使在幾乎理想的長期學習狀態下，這個情況也無法避免。
因此研究人員呼吁，如果想要繼續保持大規模數據帶來的模型優越性，就必須認真對待人類自己寫出來的文本。
但現在的問題在于 —— 你以為的「人類數據」，可能并不是「人類」寫的。
洛桑聯邦理工學院（EPFL）的最新研究稱，預估 33%-46% 的人類數據都是由 AI 生成的。
毫無疑問，現在的大語言模型已經進化出了相當強大的能力，比如 GPT-4 可以在某些場景下生成與人類別無二致的文本。
但這背后的一個重要原因是，它們的訓練數據大部分來源于過去幾十年人類在互聯網上的交流。
如果未來的語言模型仍然依賴于從網絡上爬取數據的話，就不可避免地要在訓練集中引入自己生成的文本。
對此，研究人員預測，等 GPT 發展到第 n 代的時候，模型將會出現嚴重的崩潰問題。
那么，在這種不可避免會抓取到 LLM 生成內容的情況下，為模型的訓練準備由人類生產的真實數據，就變得尤為重要了。
大名鼎鼎的亞馬遜數據眾包平臺 Mechanical Turk（MTurk）從 2005 年啟動時就已經成為許多人的副業選擇。
科研人員可以發布各種瑣碎的人類智能任務，比如給圖像標注、調查等，應有盡有。
而這些任務通常是計算機和算法無法處理的，甚至，MTurk 成為一些預算不夠的科研人員和公司的「最佳選擇」。
就連貝索斯還將 MTurk 的眾包工人戲稱為「人工人工智能」。
除了 MTurk，包括 Prolific 在內的眾包平臺已經成為研究人員和行業實踐者的核心，能夠提供創建、標注和總結各種數據的方法，以便進行調查和實驗。
然而，來自 EPFL 的研究發現，在這個人類數據的關鍵來源上，有近乎一半的數據都是標注員用 AI 創建的。
而最開始提到的「模型崩潰」，就是在給模型投喂了太多來自 AI 的數據之后，帶來的能夠影響多代的退化。
也就是，新一代模型的訓練數據會被上一代模型的生成數據所污染，從而對現實世界的感知產生錯誤的理解。
更進一步，這種崩潰還會引發比如基于性別、種族或其他敏感屬性的歧視問題，尤其是如果生成 AI 隨著時間的推移學會在其響應中只生成某個種族，而「忘記」其他種族的存在。
而且，除了大語言模型，模型崩潰還會出現在變分自編碼器（VAE）、高斯混合模型上。
需要注意的是，模型崩潰的過程與災難性遺忘（catastrophic forgetting）不同，模型不會忘記以前學過的數據，而是開始把模型的錯誤想法曲解為現實，并且還會強化自己對錯誤想法的信念。
舉個例子，比如模型在一個包含 100 張貓圖片的數據集上進行訓練，其中有 10 張藍毛貓，90 張黃毛貓。
模型學到的結論是，黃毛貓更普遍，同時會傾向于把藍毛貓想象的比實際更偏黃，所以在被要求生成新數據時可能會返回一些類似綠毛貓的結果。
而隨著時間的推移，藍毛的原始特征在多個訓練 epoch 中逐漸被侵蝕，直接從藍色變成了綠色，最終再演變為黃色，這種漸進的扭曲和丟失少數特征的現象就是模型崩潰。
具體來說，模型崩潰可以分為兩種情況：
1. 早期模型崩潰（early model collapse），模型開始丟失有關分布尾部的信息；
2. 后期模型崩潰（late model collapse），模型與原始分布的不同模式糾纏在一起，并收斂到一個與原始分布幾乎沒有相似之處的分布，往往方差也會非常小。
與此同時，研究人員也總結出了造成模型崩潰的兩個主要原因：
其中，在更多的時候，我們會得到一種級聯效應，即單個不準確的組合會導致整體誤差的增加。
1. 統計近似誤差（Statistical approximation error）
在重采樣的每一步中，信息中非零概率都可能會丟失，導致出現統計近似誤差，當樣本數量趨于無限會逐漸消失，該誤差是導致模型崩潰的主要原因。
2. 函數近似誤差（Functional approximation error）
該誤差主要源于模型中的函數近似器表達能力不足，或者有時在原始分布支持之外的表達能力太強。
眾所周知，神經網絡在極限情況下是通用的函數近似器，但實際上這種假設并不總是成立的，特別是神經網絡可以在原始分布的支持范圍之外引入非零似然。
舉個簡單例子，如果我們試圖用一個高斯分布來擬合兩個高斯的混合分布，即使模型具有關于數據分布的完美信息，模型誤差也是不可避免的。
需要注意的是，在沒有統計誤差的情況下，函數近似誤差只會發生在第一代，一旦新的分布能被函數近似器描述出來，就會在各代模型中保持完全相同的分布。
可以說，模型強大的近似能力是一把雙刃劍：其表達能力可能會抵消統計噪聲，從而更好地擬合真實分布，但同樣也會使噪聲復雜化。
對此，論文共同一作 Ilia Shumailov 表示：「生成數據中的錯誤會累積，最終迫使從生成數據中學習的模型進一步錯誤地理解現實。而且模型崩潰發生得非常快，模型會迅速忘記最初學習的大部分原始數據。」
好在，研究人員發現，我們還是有辦法來避免模型崩潰的。
第一種方法是保留原始的、完全或名義上由人類生成的數據集的高質量副本，并避免與 AI 生成的數據混合，然后定期使用這些數據對模型進行重新訓練，或者完全從頭訓練一遍模型。
第二種避免回復質量下降并減少 AI 模型中的錯誤或重復的方法是將全新的、干凈的、由人類生成的數據集重新引入訓練中。
為了防止模型崩潰，開發者需要確保原始數據中的少數派在后續數據集中得到公正的表征。
數據需要仔細備份，并覆蓋所有可能的邊界情況；在評估模型的性能時，需要考慮到模型將要處理的數據，甚至是最不可信的數據。
隨后，當重新訓練模型時，還需要確保同時包括舊數據和新數據，雖然會增加訓練的成本，但至少在某種程度上有助于緩解模型崩潰。
不過，這些方法必須要內容制作者或 AI 公司采取某種大規模的標記機制，來區分 AI 生成的內容和人類生成的內容。
目前，有一些開箱即用的解決方案，比如 GPTZero，OpenAI Detector，或 Writer 在簡單的文本上工作得很好。
然而，在一些特殊的文本中，這些方法并不能有效執行。比如，在 EPFL 研究中有 ChatGPT 合成的 10 個總結，而 GPTZero 只檢測到 6 個是合成的。
對此，研究人員通過微調自己的模型來檢測 AI 的使用，發現 ChatGPT 在編寫本文時是最常用的 LLM。
對于構建的檢測 AI 數據的方法，研究人員利用原始研究中的答案和用 ChatGPT 合成的數據，訓練了一個定制的「合成-真實分類器」。
然后用這個分類器來估計重新進行的任務中合成答案的普遍性。
具體來講，研究人員首先使用真正由人類撰寫的 MTurk 回應，和合成 LLM 生成的回應，來訓練特定任務的「合成-真實分類器」。
其次，將這個分類器用于 MTurk 的真實回應（其中眾包人可能使用，也可能沒有依賴 LLM），以估計 LLM 使用的普遍性。
最后，研究者確認了結果的有效性，在事后比較分析擊鍵數據與 MTurk 的回應。
實驗結果顯示，這個模型在正確識別人工智能文本方面高達 99% 的準確率。
此外，研究人員用擊鍵數據驗證了結果，發現：
- 完全在 MTurk 文本框中寫的總結（不太可能是合成的）都被歸類為真實的；
- 在粘貼的總結中，提取式總結和 LLM 的使用有明顯區別。
具體來講，人工智能生成的文本通常與原始總結幾乎沒有相似之處。這表明 AI 模型正在生成新文本，而不是復制和粘貼原始內容的一部分。
現在，人們普遍擔心 LLM 將塑造人類的「信息生態系統」，也就是說，在線可獲得的大部分信息都是由 LLM 生成的。
使用綜合生成數據訓練的 LLM 的性能明顯降低，就像 Ilia Shumailov 所稱會讓模型患上「癡呆癥」。
而這個問題將會變得更加嚴重，因為隨著 LLM 的普及，眾包工作者們已經廣泛使用 ChatGPT 等各種 LLM。
但對于人類內容創作者來說，這是一個好消息，提高工作效率的同時，還賺到了錢。
但是，若想挽救 LLM 不陷于崩潰的邊緣，還是需要真實的「人類數據」。
1. 人類數據在科學中仍然是至關重要的
2. 在合成數據上訓練模型可能會帶來偏見和意識形態永久化
3. 隨著模型變得流行和更好 / 多模態，采用率只會增加
總的來說，由人類生成的原始數據可以更好地表示世界，雖然也可能包含某些劣質、概率較低的數據；而生成式模型往往只會過度擬合流行數據，并對概率更低的數據產生誤解。
那么，在充斥著生成式 AI 工具和相關內容的未來，人類制作的內容或許會比今天更有價值，尤其是作為 AI 原始訓練數據的來源。
參考資料：
本文來自微信公眾號：新智元 （ID：AI_era）
版權與免責聲明：
1 本網注明“來源：×××”（非商業周刊網）的作品，均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，本網不承擔此類稿件侵權行為的連帶責任。
2 在本網的新聞頁面或BBS上進行跟帖或發表言論者，文責自負。
3 相關信息并未經過本網站證實，不對您構成任何投資建議，據此操作，風險自擔。
4 如涉及作品內容、版權等其它問題，請在30日內同本網聯系。
