約束された発売期間を逃した主力 AI モデルのリストは増え続けています。
昨年の夏、AI企業xAIの創設者兼CEOである億万長者のイーロン・マスクは、xAIの次の主要なAIモデルであるGrok 3が2024年の「年末」までに登場すると述べた。Grokは、OpenAIのGPT-4oやGoogleのようなモデルに対するxAIの答えであるGemini は画像を分析して質問に応答することができ、マスクのソーシャル ネットワークである X の多くの機能を強化します。
「10万台のH100でトレーニングした後のGrok 3年末は本当に特別なものになるはずです」とマスク氏 書きました X に関する 7 月の投稿で、xAI について言及 メンフィスを拠点とする巨大なクラスター GPUの。 「Grok 3 は大きな進歩となるでしょう」と彼は言います。 言った 12月中旬のフォローアップ投稿で。
しかし、現在は 1 月 2 日ですが、Grok 3 はまだ到着していません。また、その公開が差し迫っている兆候もありません。
実際、xAI の Web サイト上のコードの一部は AI 予想家 Tibor Blaho によって発見されました。 示唆する 中間モデルの「Grok 2.5」が先に上陸する可能性がある。
Grok(.)com はおそらく、Grok 2.5 モデル (grok-2-latest – 「当社の最もインテリジェントなモデル」) を間もなくリリースする予定です。ヒントをありがとう、アノン! pic.twitter.com/emsvmZyaf7
— ティボール・ブラホ (@btibor91) 2024 年 12 月 20 日
確かに、マスク氏が高い目標を設定しながらそれを達成できなかったのはこれが初めてではない。その 確立された 製品発売のタイミングに関するマスク氏の発言は、よく言っても非現実的なことが多いという。
そして公平を期すために言うと、8月にポッドキャスターのレックス・フリッドマンとのインタビューでマスクはこう言った。 言った Grok 3 は「運が良ければ」2024 年に「できれば」発売されるだろうとのこと。
しかし、Grok 3 の MIA ステータスは、成長傾向の一部であるため興味深いものです。
昨年、AI スタートアップの Anthropic は、同社の最上位モデルである Claude 3 Opus の後継モデルを提供できませんでした。次世代モデルであるクロード 3.5 オーパスが 2024 年末までにリリースされると発表してから数か月後、Anthropic スクラップされた モデルに関する言及はすべて開発者ドキュメントからのものです。 (によると ある報告によると、Anthropic は昨年のある時点で Claude 3.5 Opus のトレーニングを終了しましたが、リリースするのは経済的に意味がないと判断したとのことです）。
伝えられるところによると、Google と OpenAI も 苦しんだ 挫折 ここ数か月で主力モデルが登場しました。
これは、現在の AI スケーリングの法則、つまり企業がモデルの機能を向上させるために使用している手法の限界を示す証拠である可能性があります。それほど遠くない過去には、大量のコンピューティング能力とますます大規模なデータセットを使用してモデルをトレーニングすることで、大幅なパフォーマンスの向上を達成することが可能でした。しかし、各モデルの世代ごとの利益は縮小し始めており、企業は代替技術を追求するようになりました。
Grok 3 は Grok 2 の 10 倍、まもなく 20 倍のコンピューティングでトレーニングしています
— イーロン・マスク (@elonmusk) 2024 年 9 月 21 日
マスク自身もフリッドマンのインタビューでこれについてほのめかした。
「（Grok 3が）最先端であることを望んでいますか？」フリードマンは尋ねた。
「できれば」とマスク氏は答えた。 「つまり、これが目標だ。この目標は達成できないかもしれません。それが願望です。」
Grok 3 の遅れには他の理由がある可能性があります。たとえば、xAI のチームは多くのライバルに比べてはるかに小規模です。それにもかかわらず、開始時期の遅れは、従来の AI トレーニング アプローチが壁にぶつかっているという一連の証拠を追加します。
