Google PaLM 2 と OpenAI GPT-4 の違いは何ですか?どちらが優れているでしょうか?

Google は、2023 年 5 月 10 日の Google I/O 2023 で次世代の Pathways 言語モデル (PaLM 2) を発表しました。新しい大規模言語モデル（LLM）は、前身モデル（PaLM）に比べて多くの改良が施されており、最終的には最大のライバルであるOpenAIのGPT-4に対抗できるモデルになる可能性があります。

しかし、Google はどの程度改善したのでしょうか? PaLM 2 は Google が期待していた差別化要因となるのでしょうか。さらに重要なのは、類似した機能が多数あるにもかかわらず、PaLM 2 は OpenAI の GPT-4 とどう違うのでしょうか。

グーグル

PaLM 2 対 GPT-4: パフォーマンスの概要

PaLM 2 には、前バージョンに比べて新しい機能と改善された機能が搭載されています。 GPT-4 と比較した PaLM 2 の独自の利点の 1 つは、サイズが小さいため、オンボード処理能力がそれほど高くない特定のアプリケーションに適していることです。

これらのさまざまなサイズの動物には、それぞれヤモリ、カワウソ、バイソン、ユニコーンと呼ばれるミニチュアがあり、ヤモリが最も小さく、次にカワウソ、バイソン、そして最後にユニコーンが最も大きくなります。

Google はまた、WinoGrande と DROP は GPT-4 よりも推論能力が向上しており、ARC-C では WinoGrande がわずかな差でリードしていると主張している。ただし、PaLM と SOTA に関しては、全体的に大幅な改善が見られます。

Google の 91 ページに及ぶ PaLM 2 研究論文 [PDF] によると、PaLM 2 は数学も得意だそうです。しかし、Google と OpenAI がテスト結果を構築した方法により、2 つのモデルを直接比較することは困難です。 Google は、おそらく PaLM 2 のパフォーマンスが GPT-4 ほど良くなかったため、いくつかの比較を省略しました。

MMLUでは、GPT-4のスコアは86.4、PaLM 2のスコアは81.2でした。同じことが HellaSwag にも当てはまり、GPT-4 は 95.3 点を獲得しましたが、PaLM 2 は 86.8 点にしか達しませんでした。また、ARC-E では、GPT-4 と PaLM 2 はそれぞれ 96.3 と 89.7 を獲得しました。

PaLM 2 シリーズの最大モデルは PaLM 2-L です。正確なサイズはわかりませんが、最大の PaLM モデルよりもはるかに小さいですが、より多くのトレーニングコンピューティングが使用されていることはわかっています。 Google によれば、PaLM には 5,400 億個のパラメータがあるため、「大幅に小さい」 PaLM 2 には 100 億から 3,000 億個のパラメータがあるはずです。これらの数値は、Google が PaLM 2 論文で述べた仮定に基づいているだけであることに留意してください。

この数が 1000 億に近いかそれ以下であれば、PaLM 2 のパラメータは GPT-3.5 よりも小さくなる可能性があります。おそらく 1,000 億未満のモデルが GPT-4 に追いつくことができ、一部のタスクでは GPT-4 を上回ることさえあることを考えると、これは印象的です。 GPT-3.5 は当初 PaLM を含めすべてを圧倒しましたが、PaLM 2 は完全に回復しました。

GPT-4とPaLM 2のトレーニングデータの違い

Google はまだ PaLM 2 トレーニングデータセットのサイズを公表していないが、同社の研究論文では、新しい LLM トレーニングデータセットははるかに大きいと報告されている。 OpenAI は GPT-4 のリリース時に同じアプローチを採用し、トレーニングデータセットのサイズについては何も主張しませんでした。

グーグルパルム2

しかし、Google は数学、論理、推論、科学のより深い理解に重点を置きたいと考えており、つまり PaLM 2 のトレーニングデータの大部分はこれらのトピックに重点が置かれています。 Google は論文の中で、PaLM 2 の事前トレーニングコーパスは、Web ドキュメント、書籍、コード、数学、会話データなど、複数のソースで構成されており、少なくとも PaLM と比較すると全体的に改善されていると述べています。

PaLM 2 の会話スキルも、より優れた文脈理解と翻訳機能を実現するために 100 を超える言語でモデルがトレーニングされていることを考えると、別次元のレベルにあるはずです。

GPT-4 のトレーニングデータが確認されたことに関して、OpenAI は、公開されているデータとライセンス供与されたデータを使用してモデルをトレーニングしたと述べました。 GPT-4 の研究ページには、「データは、数学の問題に対する正解と不正解、弱い推論と強い推論、矛盾した発言と一貫した発言の Web 規模のデータセットであり、多種多様なイデオロギーやアイデアを表しています」と記載されています。

GPT-4 に質問すると、さまざまな応答が生成されますが、そのすべてがクエリに関連するわけではありません。ユーザーの意図に合わせるために、OpenAI は強化学習と人間からのフィードバックを使用してモデルの動作を微調整します。

これらのモデルの正確なトレーニングデータはわからないかもしれませんが、トレーニングの意図は非常に異なっていたことはわかっています。このトレーニング目的の違いが、実際の展開において 2 つのモデルにどのような違いをもたらすかは、待って確認する必要があります。

PaLM 2 および GPT-4 チャットボットとサービス

両方の LLM にアクセスする最初のポータルは、それぞれのチャットボット (PaLM 2 の場合は Bard、GPT-4 の場合は ChatGPT) を使用します。ただし、GPT-4 は ChatGPT Plus の有料版であり、無料ユーザーは GPT-3.5 にしかアクセスできません。一方、Bard は誰でも無料で利用でき、180 か国で利用できます。

ただし、GPT-4 に無料でアクセスできないというわけではありません。 Microsoft の Bing AI Chat は GPT-4 を使用しており、完全に無料で誰でも利用でき、この分野で Google の最大のライバルである Bing Search に次ぐ存在です。

Google I/O 2023 では、PaLM 2 と生成 AI の統合によって、Google ドキュメント、スプレッドシート、スライド、Gmail、そしてこの検索大手が提供するほぼすべてのサービスに表示される AI 機能によって、Google Workspace エクスペリエンスがどのように向上するかについての発表が数多くありました。さらに、Google は、PaLM 2 が Android や YouTube を含む 25 を超える Google 製品に統合されていることを確認しました。

対照的に、マイクロソフトはすでに、Microsoft Office スイートのプログラムとその多くのサービスに AI 機能を導入しています。現在、AI戦争で激突している2つのライバル企業の類似製品で、これら2つのLLMを体験することができます。

しかし、GPT-4 は非常に早い時期に登場し、Google がオリジナルの Bard で犯した多くの間違いを慎重に回避したため、サードパーティの開発者、スタートアップ、および GPT-4 を導入したいほぼすべての人にとって事実上の LLM になりました。これまでのところ、彼らのサービスには有能な AI モデルが存在します。

開発者が PaLM 2 に切り替えたり、少なくとも試したりしないということではありませんが、この点に関しては Google はまだ OpenAI に追いつく必要があります。 PaLM 2 は有料 API にロックされているのではなくオープンソースであるため、GPT-4 よりも広く採用される可能性があります。

PaLM 2 は GPT-4 と競合できますか?

PaLM 2 はまだ非常に新しいため、GPT-4 と競合できるかどうかはまだわかりません。しかし、Google が約束したことすべてと、それを広めるために採用することを決定した積極的なアプローチを考慮すると、PaLM 2 は確かに GPT-4 に匹敵すると思われます。

ただし、GPT-4 は依然として非常に有能なモデルであり、前述のように、多くの比較で PaLM 2 を上回っています。そうは言っても、PaLM 2 の複数の小型モデルは、議論の余地のない利点をもたらします。 Gecko 自体は軽量で、オフラインでもモバイルデバイスで動作できます。つまり、PaLM 2 は、GPT-4 の使用が難しい可能性のある、まったく異なるクラスの製品やデバイスをサポートできるということです。