AI言語モデルが商品ツールであることがますます明らかになりつつあります。Deepseekショーのようなオープンソースの製品の急増は、ベンチャーキャピタルの資金調達で数十億ドルなしで一緒にハッキングできるようになりました。 S1と呼ばれる新規参入者は、このアイデアを再び強化しています。スタンフォード大学とワシントン大学の研究者は、クラウド計算クレジットの50ドル未満を使用して「推論」モデルを訓練しました。
S1は、OpenaiのO1の直接的な競争相手です。これは、作業をチェックするのに役立つ関連する質問を通じて「思考」によってプロンプトに対する回答を生成するため、推論モデルと呼ばれます。たとえば、モデルが道路上のすべてのUber車両をWaymoの艦隊に置き換えるのにどれだけの費用がかかるかを決定するように求められた場合、今日の道路にあるユーバーの数をチェックするなど、複数のステップに質問を分解する可能性があります。そして、Waymo車両の製造にどれだけの費用がかかりますか。
によると TechCrunch、S1は既製の言語モデルに基づいています。これは、Googleモデルの質問と回答を研究することで、Gemini 2.0 Flashing Thinking Experimental（はい、これらの名前はひどいです）を研究することで推論するように教えられました。 Googleのモデルは、返される各回答の背後にある思考プロセスを示しており、S1の開発者がモデルに比較的少量のトレーニングデータ（1,000のキュレーションされた質問）を回答とともに提供し、ジェミニの思考プロセスを模倣するように教えることができます。
もう1つの興味深い詳細は、研究者が巧妙にシンプルな方法を使用してS1の推論パフォーマンスを改善できる方法です。
研究者は気の利いたトリックを使用して、S1にその作業を再確認し、その「思考」時間を延長しました。彼らはそれを待つように言いました。 S1の推論中に「待機」という言葉を追加すると、論文に従って、モデルがわずかに正確な回答に到達することができました。
これは、AIモデルが能力の壁にぶつかっているという心配にもかかわらず、多くの垂れ下がった果物が残っていることを示唆しています。コンピューターサイエンスの分野のいくつかの顕著な改善は、正しい呪文の言葉を思い起こさせるために降りてきています。また、粗いチャットボットと言語モデルが実際にどのようになっているかを示しています。彼らは人間のようには考えず、すべてを通して手を握る必要があります。それらは確率であり、正しいトリックを考慮して事実上の反応に近い何かを見つけるために訓練できる次の単語予測機です。
Openaiは、中国のDeepseekチームがモデルの出力から訓練することについてFowlを叫んだと伝えられています。皮肉はほとんどの人に失われません。 CHATGPTやその他の主要なモデルは、許可なくWeb周辺から削られたデータから訓練されました。 ニューヨークタイムズ 補償なしで使用されることから仕事を保護しようとします。グーグルも 技術的に S1などの競合他社がジェミニの出力に関するトレーニングを禁止していますが、誰からも多くの同情を受け取ることはありません。
最終的に、S1のパフォーマンスは印象的ですが、わずか50ドルで小さなモデルをゼロから訓練できることを示唆していません。モデルは本質的にジェミニのすべてのトレーニングから豚をぶら下げ、チートシートを手に入れました。良い類推は、画像の圧縮かもしれません：AIモデルの蒸留バージョンは、写真のJPEGと比較される可能性があります。良いですが、それでも喪失しています。また、大規模な言語モデルは、正確さ、特にWeb全体を検索して回答を生成する大規模な一般的なモデルの多くの問題に依然として悩まされています。 Google Scimのような企業のリーダーでさえ、AIが事実チェックせずに生成したテキストをめぐるテキストをめぐるようです。しかし、S1のようなモデルは、Apple Intelligenceのオンデバイス処理のような分野で役立つ可能性があります（これはまだあまり良くありません）。
安価でオープンソースモデルの台頭が、テクノロジー業界が大規模に書いていることを意味するものについて多くの議論がありました。モデルを誰でも簡単にコピーできれば、Openaiは運命づけられていますか？会社の擁護者は、言語モデルは常に商品化される運命にあると言います。 Openaiは、Googleなどとともに、モデルの上に有用なアプリケーションの構築を成功させます。毎週3億人以上がChatGptを使用しており、製品はチャットボットと新しい形式の検索と同義語になっています。ユーザーのためにWebをナビゲートできるOpenaiのオペレーターや、XaiのX（旧Twitter）データへのアクセスなどの一意のデータセットなど、モデルの上のインターフェイスは、究極の差別化要因となるものです。
考慮すべきもう1つのことは、「推論」が高価なままであると予想されることです。推論は、モデルに送信された各ユーザークエリの実際の処理です。 AIモデルがより安くなり、よりアクセスしやすくなると、AIは私たちの生活のあらゆる側面に感染し、コンピューティングリソースに対する需要がはるかに大きくなります。また、Openaiの5,000億ドルのサーバーファームプロジェクトは無駄ではありません。 AI周辺のこのすべての誇大宣伝が単なるバブルではない限りです。
