谷歌將發(fā)布“巨型巴德”PaLM 2，編程能力超強(qiáng)、支持100多種語言
據(jù)最新報道，谷歌計(jì)劃在即將到來的“谷歌 I/O”年度開發(fā)者大會上，以人工智能 (AI) 為主題，發(fā)布一系列重磅產(chǎn)品和技術(shù)成果。其中，備受期待的大型語言模型 (LLM) “PaLM 2”將以其強(qiáng)大的編程能力和超過100種語言的支持，引領(lǐng)人工智能應(yīng)用的新篇章。
一、走進(jìn)PaLM 2：谷歌最新的大型語言模型
內(nèi)部文件顯示，谷歌將在這次大會上對外發(fā)布最新版本的大型語言模型“PaLM 2”。這個語言模型已經(jīng)在谷歌內(nèi)部進(jìn)行試驗(yàn)，測試代號為“統(tǒng)一語言模型（Unified Language Model）”。據(jù)悉，這一語言模型具有更高的“智商”，已經(jīng)能夠編寫軟件代碼，完成數(shù)學(xué)考試，也能夠完成創(chuàng)意作文和分析方面的測試。而就在不久前，谷歌剛剛宣布要將 Bard 的輕量級 LaMDA 模型升級為更大規(guī)模的 PaLM 模型，使 Bard 在處理常識推理和編程問題等任務(wù)時能力更強(qiáng)。
對于即將發(fā)布的PaLM 2，谷歌期待它能夠進(jìn)一步拓展AI的應(yīng)用范圍，提高AI的實(shí)用性，以滿足不同用戶的需求。谷歌及其母公司 Alphabet 首席執(zhí)行官 Sundar Pichai 將在此次大會上進(jìn)行演講，介紹該公司在人工智能領(lǐng)域的最新進(jìn)展。
二、與競爭對手的較量：人工智能領(lǐng)域的競爭加劇
此次谷歌的更新正值人工智能領(lǐng)域的競爭日益激烈之際。尤其是，谷歌和微軟都在競相將聊天人工智能技術(shù)融入自己的產(chǎn)品中。微軟正在借助對 ChatGPT 創(chuàng)建者 OpenAI 的投資來支持其必應(yīng)搜索引擎，而谷歌則迅速行動起來，試圖在不同的團(tuán)隊(duì)中整合其 Bard 技術(shù)，并推出自己的 LLM。
有文件顯示，谷歌還計(jì)劃分享 Bard 和搜索方面取得的進(jìn)展，提供所謂的“生成式體驗(yàn)”，包括將 Bard 用于編碼、數(shù)學(xué)和“邏輯”。另一份內(nèi)部文件顯示，谷歌還在內(nèi)部開發(fā)了一個名為“Multi-Bard”的多模態(tài)模型版本，它使用了更大的數(shù)據(jù)集，可以幫助解決復(fù)雜的數(shù)學(xué)和編碼問題。此外，谷歌還測試了名為“Big Bard”和“Giant Bard”的版本。
三、谷歌大模型PaLM2的代碼生成能力
PaLM 2 的發(fā)布無疑將成為大會的一個重要的亮點(diǎn)。谷歌于 2022 年 4 月首次宣布推出 PaLM Language 模型。此后，PaLM 的應(yīng)用在這一年取得了很大的進(jìn)展，今年 3 月，該公司推出了一款適用于 PaLM 的 API 以及一系列人工智能企業(yè)工具，稱這將幫助企業(yè)“通過簡單的自然語言提示生成文本、圖像、代碼、視頻、音頻等”。
上個月，谷歌稱其名為“Med-PaLM 2”的醫(yī)學(xué) LLM 可以回答“專家醫(yī)生級別”的醫(yī)學(xué)檢查問題，準(zhǔn)確率達(dá) 85%。這一結(jié)果令人震驚，顯示了大模型在特定領(lǐng)域的專業(yè)應(yīng)用可能性。
PaLM 是谷歌基于 Pathways 系統(tǒng)訓(xùn)練的一個 5400 億參數(shù)的大型語言模型，相比之下，Bard 的 LaMDA 模型使用了 1370 億個參數(shù)進(jìn)行訓(xùn)練。為了訓(xùn)練這個模型，谷歌動用了 6144 塊 TPU，讓 Pathways 在兩個 Cloud TPU v4 Pods 上訓(xùn)練 PaLM。
去年谷歌還發(fā)布了長達(dá) 83 頁的 Pathways 系統(tǒng)論文，論文作者陣容很強(qiáng)大，還包括了 BERT 之父 Jacob Devlin。作者之一 William Fedus 在 Twitter 上說，這個項(xiàng)目花了 1 年多的時間，跨了多個部門（基礎(chǔ)架構(gòu)、數(shù)據(jù)、硬件等）。
這種強(qiáng)大的系統(tǒng)和算力投入帶來了驚艷的結(jié)果，PaLM 在許多非常困難的任務(wù)上顯示出了突破性的能力，包括語言理解、生成、推理和代碼等相關(guān)任務(wù)。
PaLM 使用英語和多語言數(shù)據(jù)集進(jìn)行訓(xùn)練，包括高質(zhì)量的 web 文檔、書籍、維基百科、對話和 GitHub 代碼。研究者還創(chuàng)建了一個“無損（lossless）”詞匯表，它保留了所有空格（對于代碼來說尤其重要），將詞匯表之外的 Unicode 字符拆分成字節(jié)，并將數(shù)字拆分成單獨(dú)的 token，每個 token 對應(yīng)一個數(shù)字。
因此，PaLM 在許多非常困難的任務(wù)上顯示出突破性的能力。在需要多步驟算術(shù)或常識推理的推理任務(wù)上，PaLM 能解決 GSM8K 中 58% 的問題，這是一個包含數(shù)千個具有挑戰(zhàn)性的小學(xué)水平數(shù)學(xué)問題的基準(zhǔn)，這個得分接近 60% 的 9 到 12 歲兒童解決問題的水平。
在代碼生成方面，給定自然語言描述（文本到代碼）的情況下，PaLM 能很好地編寫代碼，將代碼從一種語言翻譯成另一種語言，以及修復(fù)編譯錯誤（代碼到代碼）。這一能力顯示了它在處理編程任務(wù)時的強(qiáng)大能力。
大模型相對小模型來說，可以更好地從其他編程語言和自然語言數(shù)據(jù)中實(shí)現(xiàn)遷移學(xué)習(xí)，所以具有 540B 參數(shù)的 PaLM 在單個模型中顯示了橫跨編碼任務(wù)和自然語言任務(wù)的強(qiáng)大性能，即使它在預(yù)訓(xùn)練數(shù)據(jù)集中只有 5% 的代碼。
另外，谷歌還通過在純 Python 代碼數(shù)據(jù)集上微調(diào) PaLM ，將模型性能進(jìn)一步提高，谷歌稱之為 PaLM-Coder。對于給定的“DeepFix 示例代碼”修復(fù)任務(wù)，谷歌研究人員想讓大模型修改損壞的 C 程序，直到可以編譯成功，PaLM-Coder 540B 展示了令人印象深刻的性能，實(shí)現(xiàn)了 82.1% 的編譯率。這為修復(fù)軟件開發(fā)過程中出現(xiàn)的更復(fù)雜的錯誤提供了機(jī)會。
四、谷歌Bard將接入PaLM模型，提升編程語言能力
谷歌首席執(zhí)行官 Sundar Pichai 在接受 Hard Fork 播客節(jié)目采訪時表示，谷歌語言模型助手 Bard 將從基于輕量級 LaMDA 模型升級為更大規(guī)模的 PaLM 模型。
此前，Bard 只能回答一些基本的編程問題，但如果用戶想要了解更高級的編程概念或技巧，Bard 就會遇到困難。為了解決這個問題，Pichai 表示，Bard 有必要接入更大的語言模型。接入 PaLM 模型后，Bard 在處理常識推理和編程問題等任務(wù)時能力會表現(xiàn)得更強(qiáng)。
接入 PaLM 模型后，Bard 的編程語言能力將得到大幅提升。PaLM（Pretraining and Autoencoding for Language Modeling）是一種基于自編碼器的大型語言模型，由谷歌 AI 實(shí)驗(yàn)室提出。PaLM 模型能夠處理自然語言處理中更加復(fù)雜的任務(wù)，例如語言推理和情感分析等。
谷歌每年一度的開發(fā)者大會“谷歌 I/O”將于 5 月 10 日上午 10 點(diǎn)至下午 1 點(diǎn)（太平洋時間）舉行，我們將繼續(xù)關(guān)注谷歌 Bard 的動態(tài)，特別是關(guān)于大型模型編程語言能力提升方面的進(jìn)展。這一進(jìn)展將使得Bard 更加強(qiáng)大，有助于提高用戶在編程學(xué)習(xí)中的體驗(yàn)和效率。
總的來說，谷歌的新語言模型 PaLM 2 的推出無疑是一個重大突破。它不僅在語言理解、生成、推理等方面顯示出了突破性的能力，更在編程方面展現(xiàn)出了強(qiáng)大的實(shí)力。它的出現(xiàn)將有望為全球的開發(fā)者帶來更多的便利，并進(jìn)一步推動人工智能技術(shù)的發(fā)展。
然而，如此強(qiáng)大的技術(shù)也帶來了新的挑戰(zhàn)。如何確保這種新技術(shù)在不受監(jiān)管的環(huán)境下不被濫用，是所有科技公司，甚至是全社會需要面對的問題。同時，如何在保護(hù)用戶隱私和數(shù)據(jù)安全的前提下，推動這種新技術(shù)的發(fā)展，也是一個需要解決的問題。
無論如何，PaLM 2 的出現(xiàn)無疑為人工智能領(lǐng)域帶來了新的可能性。我們期待看到，它將如何幫助人類實(shí)現(xiàn)全部潛能，如何推動人工智能技術(shù)的發(fā)展，以及如何影響我們的生活。