Google Bard:你需要知道的一切

為什麼Google要發布Bard?

在OpenAI推出了大受歡迎的ChatGPT後,Google隨後推出了Bard。當時,人們普遍認為Google在科技上落後於對手。事實上,ChatGPT被視為一種具有革命性的技術,足以顛覆搜尋業並改變權力平衡,使得原本依賴Google搜索和盈利豐厚的搜索廣告業務有所動搖。<br/><br/> 2022年12月21日,在ChatGPT推出三週之後,《紐約時報》報導Google已經宣佈進入′代碼紅色′階段,迅速確定其商業模式面臨威脅的回應</a>策略。47天之後的2023</a>年2月6日,在這場制定策略調整的′代碼紅色′中,Google宣佈推出了Bard。

網路攻擊和黑客入侵風險增加

Bard 的運作方式</a>是基於LaMDA的′輕量版′。LaMDA是一種大型語言模型</a>,它的訓練數據來自包含公眾對話和網路資料的數據集。在相關研究論文中提到了兩個與其訓練相關的重要因素:安全性和實證性。<br/><br/> 首先,這款模型通過使用由眾包工人標注的數據進行調整以達到一定程度的安全性。再者,LaMDA能夠利用外部知識源(例如資訊搜索系統)來確保其回答具有事實根據。 Google 使用三項指標來評估 LaMDA 的輸出:合理性(是否符合邏輯)、特異性(回答是否具體、明確),以及趣味性(是否能引發好奇心)。<br/><br/>所有這些指標都由眾包評分員評判,並將此數據反饋給系統以持續改善它。 最後,LaMDA 研究論文指出,眾包評價和系統透過搜尋引擎</a>對事實的核查能力都是非常有用的技術。Google 的研究人員認為,眾包標注數據是一種有效的工具</a>,可以驅動模型取得顯著的進步。<br/><br/> 此外,他們也發現</a>通過呼叫外部API(如資訊搜索系統)可以顯著提高模型回答的事實性。事實性在此被定義為生成回答中包含可被引用並對照已知來源核查的聲明的程度。

Google計劃如何在搜索中使用Bard?

巴德的未來目前被視為搜索功能中的一項特點。然而,Google在2023</a>年2月對於巴德如何</a>實現的宣佈並不明確。關鍵細節被隱藏在博客宣佈的倒數第二段,其中只是將巴德描述為搜索功能中的AI特性。<br/><br/>這種缺乏清晰度加劇了人們對於巴德會整合到搜尋功能中的誤解,但事實上並非如此。 根據Google 2023</a>年2月發表的公告,他們打算在未來某些時刻將AI功能融入到搜尋服務中:“不久後,你將在搜尋服務上看到由AI驅動的特性。這些特性能夠精煉複雜資訊和多元觀點成容易消化格式,讓你快速理解大局並從網路上學習</a>更多知識:無論是找出額外觀點(例如同時彈奏鋼琴和吉他者的博客),或深入相關主題(像是初學者開始學習</a>所需步驟)。<br/><br/>這些新的AI特性將會在不久後開始陸續登陸Google搜尋服務。” 從以上資訊可以清楚看出,巴德並不是搜尋服務本身。而是作為一項功能被納入到搜索中,而非取代搜索。<br/><br/>

什麼是搜索功能?

文章主要談到了Google的特性功能,以及員工對於使用Bard在搜尋中的疑問和討論。 首先,我們來看Google的特性功能。像是 Google 的知識面板就是一個例子,它提供關於著名人士、地點和事物的知識資訊。<br/><br/>在Google的「如何</a>搜尋」網頁上解釋說:「Google 的搜尋特性確保你在適當的時間得到正確的資訊,並以最適合你查詢內容</a>的格式呈現。有時這可能是一個網頁,有時則可能是實際世界中如地圖或本地店鋪庫存等資訊。」 然而,在一次內部會議上(由CNBC報道),Google員工質疑Bard在搜索中的使用。<br/><br/>其中一位員工指出,像ChatGPT和Bard這種大型語言模型</a>不是基於事實的資訊源。該員工問道:「我們為什麼認為第一大應用場景應該是搜索呢?畢竟搜索本質上是關於找到真實資訊的。」 對此,負責Google Bard產品的傑克·克勞奇克回應</a>說:「我只想明確一點:Bard不是搜索。<br/><br/>」在同一個內部活動中,Google搜索工程副總裁伊麗莎白·裡德也重申了這一點。「Bard實際上和搜索是分開的…」 因此,我們可以有信心地得出結論,Bard並非Google搜尋的新版本。它只是一項功能特性。<br/><br/>

Bard是一種互動式探索主題的方法

Google公告其新產品Bard時明確表示,Bard並非搜尋引擎</a>。這意味著,與搜尋引擎</a>提供答案鏈接不同,Bard的目的是協助使用者探索知識。 當人們想到Google時,他們通常會直覺地以我們為快速查詢事實的依靠,例如「一台鋼琴有多少個鍵?」然而越來越多人轉向Google尋求更深入的見解和理解 - 例如「學習</a>彈奏鋼琴或吉他哪一種更容易?每種需要多少時間來練習?」這類型的主題學習</a>可能需要花費大量精力去找出你真正需要知道的資訊,人們通常希望能夠探索各種不同的觀點或視角。<br/><br/> 我們可以把Bard看作是一種互動式獲取主題知識的方法。讓大家能夠更容易地理解並深入探討他們關注的話題。

Bard可以取樣網路資訊

大型語言模型</a>的問題在於,它們只是模仿答案,可能導致事實上的錯誤。創建LaMDA的研究人員表示,像增加模型大小這樣的方法可以幫助它獲得更多的事實資訊。但他們指出,在事實不斷變化的領域中,這種方法會失效,研究人員將其稱為“時間泛化問題”。<br/><br/>即使使用靜態語言模型</a>進行訓練,也無法保證資訊的即時性和更新。 LaMDA選擇查詢資訊檢索</a>系統來解決此問題。資訊檢索</a>系統就是一種搜尋引擎</a>, 所以LaMDA會查看搜索結果。<br/><br/>Google Bard也似乎具有此功能, Google Bard在公告中解釋: ′Bard旨在將世界知識範圍與我們大型語言模型</a>的能力、智慧和創造力相結合。 它從網路上抽取資訊,提供新鮮、高品質的反饋。” LaMDA(或可能Bard)通過所謂工具</a>集(TS)來達成這一目的。<br/><br/>在LaMDA研究報告中解釋了工具</a>集: ′我們創建了一個包括資訊檢索</a>系統、計算器和翻譯器在內的工具</a>集(TS)。 TS接受單一字串作為輸入,並輸出一個或多個字串的列表。每個TS中的工具</a>都期望接收到一個字串,然後返回一串字串。<br/><br/> 例如,計算器接受“13</a>5+7721”,並輸出含有[“7856”]的列表。同樣地,翻譯器可以接受“法語的hello”,並輸出[‘Bonjour’]。 最後, 資訊檢索</a>系統可以輸入′拉斐爾·納達爾多大年紀?′, 並回答[′拉斐爾·納達爾/年齡/3</a>5′]。<br/><br/> 資訊檢索</a>系統還能夠返回開放網路上的內容</a>片段以及相對應的URLs。 TS嘗試使用所有其工具</a>處理輸入字串, 然後通過連接每種工具</a>(依序是:計算器、翻譯器和資訊檢索</a>系統)產生最終輸出字串清單</a>。 如果工具</a>無法解析輸入(例如,計算器無法解析“拉斐爾·納達爾多大年紀?”),則該工具</a>不會產生結果,也就不會對最終的輸出列表做出貢獻。<br/><br/>′ 以下是Bard回應</a>一段開放網路上的內容</a>片段:

對話型問答系統

沒有研究論文提及名為′Bard′的產品,但最近與AI相關的研究很多,包括與LaMDA相關的科學家所進行的工作,可能對Bard有影響。以下並未聲稱Google正在使用這些演算法,我們無法確定Bard是否真正使用了這些技術。然而,瞭解這些研究論文能讓我們理解其可能性。<br/><br/> 其中一位LaMDA的作者曾參與過一項創建對話信息檢索系統訓練數據的項目。他們在2022年發表了一篇名為「Dialog Inpainting: Turning Documents into Dialogs」(對話修補:把檔轉化成對話)的論文,你可以在此下載PDF全文閱讀。 訓練像Bard這樣的系統會遇到問題:問答數據集(如Reddit上找到的問答)只限於Reddit用戶的行為模式,並不能涵蓋其他人可能提出什麼問題以及正確答案是什麼。<br/><br/>因此,該團隊探索了創建一種系統,讓機器閱讀網頁,然後使用′對話修補′來預測機器所讀的任何段落會回答什麼問題。例如,一個可信賴的Wikipedia網頁中寫著「天空是藍色」的句子,可以被轉換成「天空是什麼顏色?」的問題。 他們利用Wikipedia和其他網頁創建了自己的問答數據集,並分別命名為WikiDialog和WebDialog。<br/><br/>WikiDialog是從Wikipedia數據衍生出來的問答集;而WebDialog則是從互聯網上的網頁對話衍生出來的數據集。這些新數據集比現有數據集大1000倍以上,這使得對話語言模型</a>有更多學習</a>的可能。該團隊報告說,這個新數據集幫助提高了40%以上的對話式問答系統效能。<br/><br/> 論文指出:「我們發現</a>我們修補後的數據集對於Conversational Question Answering (ConvQA)系統來說是強大的訓練數據來源。當用於預訓練標準的檢索器和重排器架構時,他們在三種不同的ConvQA檢索基準(QRECC、OR-QUAC、TREC-CAST)上推進了最新技術水準,相對評估指標提高了40%。令人驚訝的是,我們發現</a>僅僅在WikiDialog上進行預訓練就能實現強大的零樣本檢索性能——達到微調後的Retriever性能95%,而無需使用任何特定域Conversational Question Answering (ConvQA)數據。<br/><br/>」 Google Bard是否以WikiDialog和WebDialog數據集進行訓練?很難想像Google會放過一個比現有數據集大1000倍以上的數算集。然而,我們不能確定真正情況如何</a>,因為除非在像Bard或LaMDA之類的少數場合下,Google通常不會詳細地公開其底層技術。

大型語言模型連結到來源

Google最近發表了一項有趣的研究論文,該論文探討如何</a>讓大型語言模型</a>引用其資訊來源。這項技術在2022年12月被稱為實驗性的,並在2023</a>年2月更新了第二版。你可以從這裡下載此篇論文:帶有屬性的問答:對帶有屬性的大型語言模型</a>的評估與建模。<br/><br/> 根據這篇研究論文,他們提出了所謂′帶有屬性的問答′(Attributed QA)。在該系統中,模型或系統接收到一個問題,然後產生一個(答案, 屬性)對。其中答案是一串回答文字,而屬性則是指向固定語料庫(例如段落)中的某部分。<br/><br/>返回的屬性應該提供支援該答案的證據。 大型語言模型</a>已經展示出令人印象深刻的成果,幾乎不需要直接監督即可運作。此外,也越來越多證據顯示它可能具備資訊搜尋的潛力。<br/><br/>因此,研究人員認為大型語言模型</a>生成的文本能否有屬性可能在這種情境下至關重要。 實驗工作提供了兩個關鍵問題(如何</a>衡量屬性?以及當前最先進的方法在屬性上表現如何</a>?)的具體答案,並給出了如何</a>建立帶有屬性的大型語言模型</a>的一些提示。其中一個值得注意的新技術是名為AutoAIS的自動評級系統,它與人類評級者高度相關。<br/><br/>換句話說,這項技術可以自動化人類評級者的工作,並放大評價大型語言模型</a>(例如Bard)所給出答案的過程。 此項技術主要用於問答任務。其目標是創建更好、更可靠的答案——這是Google自然會希望Bard能完成之事。<br/><br/>因為提供了來源資訊,引用來源使使用者和開發者都能夠評估答案的“可信度和細微差別”。而對於開發者來說,引用來源可使他們快速檢視答案的質量。 雖然這項技術仍在實驗階段,可能還未被實際運用。<br/><br/>但它確實展示了Google正在探尋的方向,以產生更加可信任的回答。

相關數據:

• google在全球佔有率最高的搜索引擎 來源: statcounter
• google佔有美國搜索引擎市場的86% 來源: statcounter
• google佔有英國搜索引擎市場的90% 來源: statcounter
• google佔有日本搜索引擎市場的92% 來源: statcounter
• google佔有法國搜索引擎市場的90% 來源: statcounter
• 全球智能手機使用android作業系統的比例為85.1% 來源: statcounter
• 全球桌面操作系統市場中,windows佔有比例為74.23% 來源: statcounter
• 全球瀏覽器市場中,chrome的佔有比例為67.16% 來源: statcounter
• 全球移動瀏覽器市場中,chrome的佔有比例為64.42% 來源: statcounter
• 台灣智能手機使用android作業系統的比例為85.2% 來源: statcounter

關於編輯回應事實性的研究論文

在2022年底,康奈爾大學研發出了一種引人注目的技術。這項技術探索了如何</a>對大型語言模型</a>輸出的內容</a>進行來源歸因,甚至可以修改答案以自我修正。和斯坦福大學一樣,康奈爾大學也通過授權相關的搜索和其他領域的技術來賺取每年數百萬美元。<br/><br/>追蹤大學的研究進展是很重要的,因為它能顯示出什麼是可能的、什麼是最新尖端的。 他們提出了RARR(利用研究和修訂進行改裝歸因)系統。該系統不僅保留了最近生成模型所有強大優勢,同時還能自動找到任意文本生成模型輸出內容</a>的歸因來源,並對其進行後期修改以修正不支持或有誤導性的內容</a>,在盡可能保留原始輸出內容</a>下。<br/><br/> 然而現階段語言模型</a>(LMs)雖然已在眾多任務上表現卓越, 像是少量學習</a>、問答、推理以及對話,但仍有時候會產生不支持或誤導的內容</a>。而使用者也無法輕易判斷他們的輸出內容</a>是否值得信任,因為大部分的語言模型</a>並沒有內建任何歸因於外部證據的機制。 RARR系統在保留原始輸入內容</a>到更大程度上顯著地改善了歸因,比之前探索過的修改模型要來得有效。<br/><br/>此外,RARR只需要少量訓練範例、一種大型語言模型</a>和標準網路搜索就可實現。 你可以在這裡下載該技術相關論文:《RARR:利用語言模型</a>對語言模型</a>所述內容</a>進行研究與修訂》(並閱讀摘要)。