谷歌的AI概覽功能在設(shè)計(jì)上存在缺陷,公司的一篇新博客文章暗示了其中的原因。谷歌表示,在其實(shí)驗(yàn)性的AI概覽功能中,告訴人們吃石頭這樣的錯(cuò)誤和異常情況“在所難免”。
周四,谷歌通過發(fā)布一篇題為“AI概覽:關(guān)于上周”的后續(xù)博客文章,回應(yīng)了一周來因該實(shí)驗(yàn)性功能提供不準(zhǔn)確乃至有時(shí)危險(xiǎn)答案而引發(fā)的風(fēng)波。文章署名谷歌搜索部門負(fù)責(zé)人Liz Reid,文中正式承認(rèn)了該功能的問題,并概述了改進(jìn)措施,盡管未直接承認(rèn),但這些問題似乎源于設(shè)計(jì)缺陷。
回顧一下,幾周前在谷歌I/O大會(huì)上展示的AI概覽功能旨在利用與谷歌網(wǎng)頁排名系統(tǒng)集成的人工智能模型,為搜索用戶提供問題的總結(jié)性答案。目前,這是一個(gè)尚未對(duì)所有人開放的試驗(yàn)性功能,當(dāng)參與的用戶搜索某個(gè)主題時(shí),可能會(huì)在搜索結(jié)果頂部看到由AI生成的回答,這些回答源自高排名的網(wǎng)頁內(nèi)容并由AI模型概括得出。
盡管谷歌聲稱這種方法“非常有效”,在準(zhǔn)確性方面可與精選片段媲美,但過去一周出現(xiàn)了多個(gè)人工智能系統(tǒng)生成荒謬、錯(cuò)誤乃至潛在有害回復(fù)的例子。正如我們?cè)谧罱囊黄恼轮性斒龅哪菢樱珹rs的記者Kyle Orland復(fù)現(xiàn)了許多不尋常的輸出結(jié)果。
從網(wǎng)絡(luò)中得出錯(cuò)誤結(jié)論
鑒于流傳的AI概覽示例,谷歌在博文中近乎道歉,表示“我們對(duì)自己有高標(biāo)準(zhǔn)要求,我們的用戶也是如此,因此我們期待并重視反饋,并認(rèn)真對(duì)待。”然而,Reid為了說明錯(cuò)誤的原因,進(jìn)一步揭示了AI概覽為何會(huì)提供錯(cuò)誤信息的一些關(guān)鍵細(xì)節(jié):
AI概覽的工作方式與人們可能嘗試過的聊天機(jī)器人和其他LLM產(chǎn)品大不相同。它們不僅僅基于訓(xùn)練數(shù)據(jù)生成輸出。雖然AI概覽由定制語言模型驅(qū)動(dòng),但該模型與我們的核心網(wǎng)頁排名系統(tǒng)集成,旨在執(zhí)行傳統(tǒng)的“搜索”任務(wù),如從索引中識(shí)別相關(guān)且高質(zhì)量的結(jié)果。這就是為什么AI概覽不僅提供文字輸出,還包括相關(guān)鏈接,以便人們可以進(jìn)一步探索。由于準(zhǔn)確性在搜索中至關(guān)重要,AI概覽被設(shè)計(jì)為只顯示頂級(jí)網(wǎng)頁結(jié)果支持的信息。
這意味著AI概覽通常不會(huì)像其他LLM產(chǎn)品那樣“憑空想象”或編造信息。
這里暴露了系統(tǒng)的根本問題:“AI概覽僅顯示頂級(jí)網(wǎng)頁結(jié)果支持的信息。”這一設(shè)計(jì)基于錯(cuò)誤假設(shè),即谷歌的頁面排名算法偏愛準(zhǔn)確結(jié)果而非被SEO操縱的垃圾信息。谷歌搜索已有一段時(shí)間存在問題,現(xiàn)在公司卻依賴這些被操縱和充斥垃圾信息的結(jié)果來訓(xùn)練新的AI模型。
即便AI模型從更準(zhǔn)確的來源獲取信息,就像上述1993年游戲機(jī)搜索的例子一樣,谷歌的AI語言模型仍可能對(duì)“準(zhǔn)確”數(shù)據(jù)做出不準(zhǔn)確的結(jié)論,在現(xiàn)有信息的有缺陷摘要中拼湊出錯(cuò)誤信息。
谷歌的博客文章大體上忽略了基于破損的頁面排名算法得出AI結(jié)果的荒謬之處,而是將廣泛傳播的錯(cuò)誤歸咎于多個(gè)其他因素,包括用戶進(jìn)行無意義的搜索以“故意產(chǎn)生錯(cuò)誤結(jié)果”。谷歌確實(shí)承認(rèn)了AI模型的錯(cuò)誤,比如誤解查詢、誤解“網(wǎng)絡(luò)上的語言細(xì)微差別”,以及在某些話題上缺乏足夠高質(zhì)量的信息。它還暗示,社交媒體上流傳的一些極端例子可能是偽造的截圖。
“其中一些偽造的結(jié)果顯而易見且愚蠢,”Reid寫道,“還有一些則暗示我們?cè)陉P(guān)于把狗留在車?yán)铩言衅陂g吸煙以及抑郁等話題上提供了危險(xiǎn)的搜索結(jié)果。那些AI概覽從未出現(xiàn)過。因此,我們鼓勵(lì)任何遇到這些截圖的人自己進(jìn)行搜索以驗(yàn)證。”
(毫無疑問,社交媒體上的一些例子是假的,但值得注意的是,現(xiàn)在嘗試重現(xiàn)那些早期例子很可能會(huì)失敗,因?yàn)楣雀枰呀?jīng)手動(dòng)屏蔽了這些結(jié)果。如果人們一開始就相信了這些極端的虛假例子,那可能也是對(duì)谷歌搜索存在嚴(yán)重問題的一個(gè)證明。)
在帖子中討論“無意義搜索”的角度時(shí),Reid舉了一個(gè)例子:“我每天應(yīng)該吃多少石頭”,這個(gè)搜索在5月23日的一條推文中走紅。Reid表示,“在這些截圖瘋傳之前,幾乎沒有人向谷歌提出這個(gè)問題。”由于網(wǎng)絡(luò)上沒有太多數(shù)據(jù)能回答這個(gè)問題,她稱存在一個(gè)“數(shù)據(jù)真空”或“信息缺口”,這個(gè)缺口被網(wǎng)絡(luò)上找到的諷刺內(nèi)容填補(bǔ),AI模型發(fā)現(xiàn)了這些內(nèi)容并將其作為答案推送,就像精選片段可能會(huì)做的那樣。所以,從本質(zhì)上講,這是按設(shè)計(jì)工作的。
