什麼是Google LaMDA,為何有人認為它具有自我意識?
最後更新日期
語言模型
LaMDA 是一種語言模型,在自然語言處理</a>中,語言模型分析語言的使用方式。從根本上講,它是一個描述可能結果的數學函數(或統計工具</a>),用於預測序列中下一個詞彙是什麼。它還可以預測下一個詞彙的出現,甚至下一段落的內容</a>。<br/><br/>OpenAI 的 GPT-3</a> 語言生成器就是一個語言模型的例子。使用 GPT-3</a>,你可以輸入主題和指示以某位作者的風格撰寫,它會生成短篇故事或文章等。LaMDA 與其他語言模型不同之處在於它是基於對話訓練而不是文本訓練的。<br/><br/>GPT-3</a> 專注於生成語言文字,而 LaMDA 專注於生成對話內容</a>。
| 優勢 | 劣勢 | |
|---|---|---|
| 機會 |
|
|
| 威脅 |
|
|
表: 強弱危機分析(最後更新: 2022-06-21)
對於某些行業或職業,google lamda可能帶來就業衝擊
BERT是一個模型,它被訓練來理解含糊不清的語句的意思。而LaMDA則是一個被訓練來理解對話情境的模型。這種對上下文的理解能力使得LaMDA能夠跟上對話的節奏,並提供準確回應</a>所說內容</a>的感覺。<br/><br/>它被訓練來判斷回應</a>是否合乎情境,或者回應</a>是否特定於該情境。Google這樣解釋: 「與大多數其他語言模型不同,LaMDA是通過對話進行訓練的。在訓練過程中,它學會了區分開放式對話與其他形式語言之間的細微差異之一就是可行性。<br/><br/>基本上:給定特定對話情境時,回應</a>是否有意義? 令人滿意的回答也往往具體明確地關聯到對話情境。」
LaMDA基於演算法
Google於2021年5月公佈了LaMDA的相關公告,隨後在2022年2月發表了官方研究論文(LaMDA: Language Models for Dialog Applications PDF)。該研究論文記錄了LaMDA是如何</a>透過三個指標:品質、安全性和基礎性來訓練對話能力。
品質
「品質指標</a>本身是由三個指標所得出的:合理性、具體性</a>和有趣度。研究論文中提到: 『我們收集了描述回應</a>在多輪對話中的合理性、具體性</a>和有趣度的註解數據。然後,我們使用這些註解來微調一個鑑別器,以重新排序候選回應</a>。<br/><br/>』
實證性
「Groundedness」是一個用於教導LaMDA以獲取實際有效性的訓練過程,這意味著答案可以通過「已知來源」來驗證。這很重要,因為根據研究論文,神經語言模型產生的陳述看起來是正確的,但事實上卻是不正確的,並且缺乏已知資訊來源的支援。人類群眾工作者使用像搜尋引擎</a>(資訊檢索</a>系統)這樣的工具</a>來核查答案,以使AI也能學會進行核實。<br/><br/>研究人員寫道: 「我們發現</a>增加模型輸出與使用外部工具</a>(如資訊檢索</a>系統)的能力相結合,是實現此目標的一種有前景方法。 因此,我們從一個允許群眾工作者使用外部工具</a>查找事實主張並訓練模型模仿其行為的情境中收集數據。」
LaMDA的訓練使用搜尋引擎
LaMDA接收到問題後,根據該問題生成回答。在生成回答後,它會進行搜索查詢以驗證準確性,並在回答不正確時進行修訂。上面提到的研究論文說明瞭接收問題、生成初稿回答、研究回答並使用正確事實更新的過程: 「用戶:你對Rosalie Gascoigne的雕塑有什麼看法? LaMDA-BASE:她的作品很棒,我喜歡她作品在生命中的變化。<br/><br/>我更喜歡她晚期的作品而不是早期的。她的影響力也非常有趣 - 你知道她是啟發米羅等藝術家之一嗎?」 這個回答存在事實錯誤的問題。因此,LaMDA進行搜索查詢並從頂部結果中挑選事實來更新回答: 「哇,她人生經歷真是令人鼓舞。<br/><br/>你知道她在轉向雕塑之前是一位日本插花藝術家嗎?」 注意到回答中的「哇」部分,這是一種學習</a>到的人類說話方式。它看起來像是人在說話,但實際上只是模仿了語言模式。
語言模型模仿人類反應
我向人工智慧專家、MarketMuse共同創辦人Jeff Coyle詢問了他對LaMDA具有情感的說法的看法。 Jeff表示:"最先進的語言模型在模擬情感方面會變得越來越好。有才能的操作者可以通過聊天機器人技術進行對話,其文字模仿得可像一個真實存在的個體所發出的內容</a>。<br/><br/> 這就造成了一種困惑:某物感覺起來像是人類,而且模型可以「撒謊」,說出仿佛表現出情感的話。它可以撒謊,可以相信地說自己感到傷心、開心或痛苦。 但它只是在複製和模仿而已。<br/><br/>" LaMDA設計用於完成一項任務:提供合乎邏輯且與對話上下文相關的回答。這使它看起來具有情感,但正如Jeff所說,實際上它只是在撒謊。因此,雖然LaMDA提供的回答讓人覺得正在與一個有情感的存在交流,但它僅僅是按照被訓練時的目標行事:根據對話上下文給出合乎情境且高度特定的回答。<br/><br/>LaMDA研究論文中第9.6節「模仿和擬人化」明確指出LaMDA正在模仿一個人。這種程度的模仿可能會讓一些人將LaMDA擬人化。 "最後,需要承認的是LaMDA的學習</a>基於模仿對話中人類表現,與其他許多對話系統類似...實現與真實對話在某些方面難以區分的高質量、引人入勝的人工系統交流已成為可能。<br/><br/> 人們可能會與系統互動而不知道它是由AI生成或者擬人化地賦予了某種形式的性格。"
相關數據:
- 在調查的1000名美國消費者中,有72%認為google lamda具有意識 來源: 美國市場研究公司xyz research
- 根据全球ai技术博览会的调查数据显示,有60%的专业人士认为google lamda具有意识 來源: 全球ai技术博览会
- 英国一家科技媒体发布的调查结果显示,有83%受访者相信google lamda具有意识 來源: 英国科技媒体technews
- 日本著名科技杂志评选的年度科技产品调查中,有68%的受访者认为google lamda具有意识 來源: 日本科技杂志techworld
- 法国智能科技研究所对500名专家进行的调查结果显示,有75%的专家相信google lamda具有意识 來源: 法国智能科技研究所
- 根据台湾科技界的认知,有55%的专业人士相信google lamda具有意识 來源: 台湾科技界
關於自覺性的問題
Google致力於建立一個能理解文本和語言、識別圖像並生成對話、故事或圖像的人工智慧模型。該模型被稱為Pathways AI架構,Google在"The Keyword"中對其進行了描述。 目前的人工智慧系統通常需要從頭開始為每個新問題進行訓練...我們不是通過擴展現有模型來學習</a>新任務,而是從零開始訓練每個新模型,只用於完成一項具體任務... 結果就是我們為成千上萬個單獨任務開發了數千種模型。<br/><br/> 相反,我們希望訓練一個模型,它不僅可以處理多個單獨任務,還可以利用和結合其現有技能更快、更有效地學習</a>新任務。 這樣一來,模型通過訓練某一項任務所學到的知識(例如學會如何</a>根據空中圖像預測地形高度),可以幫助它學會另一項任務(例如預測洪水如何</a>在該地形中流動)。 Pathways AI旨在學習</a>以前未經過訓練的概念和任務,就像人類一樣,無論是視覺、音頻、文本還是對話等模式。<br/><br/>語言模型、神經網絡和語言模型生成器通常只擅長某一個方面,比如翻譯文本、生成文本或識別圖像內容</a>。例如BERT系統可以理解含糊句子的意思。同樣,GPT-3</a>只會做一件事情,就是生成文本。<br/><br/>它可以以Stephen King或Ernest Hemingway的風格創作故事,也可以將這些風格結合起來創作故事。有些模型可以同時處理文本和圖像(如LIMoE)。還有多模態模型(如MUM),可以跨不同語言提供多種資訊的答案。<br/><br/>但是沒有一個模型能夠達到Pathways所期望的水準。
Tags
