數據科普｜語言模型巔峰對決：谷歌的PaLM 2對比OpenAI的GPT-4

剛剛看完今年的谷歌 I/O 開發者大會，我注意到了一個重要的新聞：谷歌宣布推出最新的大型語言模型PaLM 2和新一代Bard，那些都是被認為與OpenAI的GPT-4和ChatGPT競爭的產品。在這篇文章中，我將為大家介紹PaLM 2，並對其與ChatGPT進行一些比較。

谷歌在今年二月急忙發布了第一代Bard，原因是OpenAI的ChatGPT突然崛起，開始瓜分行業的市場份額。第一代Bard的表現可謂乏善足陳，尤其考慮到谷歌通常被認為是AI領域的先驅，這對谷歌的公共形象和業績產生了負面影響。在過去的幾個月里，谷歌努力進一步開發第二代大型語言模型PaLM 2（全名Pathways Language Model 2），用於理解和生成多語言文本。與前代相比，PaLM 2有很多重要的改進，已經被應用在近25個谷歌產品中，包括Gmail、Google Docs和Google Search。值得一提的是，PaLM 2是一個擁有5400億參數的模型，建立在谷歌最新的JAX和TPU v4基礎設施之上。

與OpenAI的ChatGPT一樣，谷歌並未提供太多關於如何訓練這款新一代模型的技術細節。然而，PaLM 2在訓練數據集上可能超越了ChatGPT。PaLM 2的數據集包含1.56兆個單詞，而GPT-4的數據集包含1.37兆個單詞。這意味著Bard和PaLM 2可以獲得更多數據，從而使它們對世界的了解更加全面，生成更準確且信息豐富的文本。

谷歌在開發者大會上專注於其功能，表示其新模型在常識推理、數學和邏輯方面表現更好。眾所周知，大型語言模型在處理這類問題時往往存在一定的局限性。然而，PaLM 2據稱能夠更好地理解語境並生成更具邏輯性的答案。此外，PaLM 2在生成文本時，也著重於減少偏見和歧視性語言，以確保用戶獲得更安全、可靠的信息。

然而，在我剛剛測試新的Bard時候，幻覺(hallucinations)問題仍然存在。當我問以它與ChatGPT比較時，它的回答是「Bard 和 PaLM 2 都基於變換器（Transformer）架構，而 OpenAI 和 ChatGPT 則基於循環神經網絡（RNN）架構。變換器能夠學習單詞之間的長距離依賴關係，這使得它們能夠比 RNN 更細緻地理解文本的含義。」這是一個事實上不正確的答案！

谷歌表示已經對PaLM 2進行了大量的測試和優化，以確保模型在各種應用場景下的性能，並宣布不再需要先註冊加入Bard的等候名單，服務範圍亦擴展到180個其他國家和地區。然而，可惜的是香港並不在其中，在我剛剛的初步測試中，它尚無法幫助我將文本翻譯成中文。在香港從事AI行業的朋友，確實面臨著一些挑戰。

文：劉偉良(Eden)/社交媒體商業應用公司天勤(Tocanan)首席執行官