OpenAI の新しい広告では、「推論」AI が基本的なエラーを犯していることが示されています

penAIは木曜日、有料ユーザー向けにo1と呼ばれるこれまでで最も先進的なAIモデルをリリースした。この立ち上げにより、同社の「」が始まりました。12 日間の OpenAI」イベント – ホリデー シーズンを祝う 12 回連続のリリース。

OpenAIはo1の「複雑な推論」機能を宣伝し、木曜日にはモデルへの無制限のアクセスには月額200ドルかかると発表した。で ビデオ 同社がモデルの長所を示すためにリリースしたもので、ユーザーは木製の巣箱の写真をアップロードし、同様の巣箱の作り方についてモデルにアドバイスを求めた。モデルは短期間「思考」し、表面的には包括的な指示セットのように見えるものを吐き出します。

よく調べると、その指示はほとんど役に立たないことがわかります。 AI は、作業に必要な塗料、接着剤、シーラントの量をインチ単位で測定します。巣箱の前面パネルの寸法のみが示されており、その他の寸法は示されていません。明らかな理由もなく、サンドペーパーを別の寸法にカットすることを推奨しています。そして、指示リストの別の部分では、「正確な寸法は次のとおりです…」と書かれており、正確な寸法は示されていません。

AI アシスタントは、1 枚の木製パネルの寸法のみを提供します。また、すべて液体の場合、必要な塗料、接着剤、シーラントの量をインチ単位で測定します。OpenAI、X経由

「巣箱の構築についてはテキストと同じくらい画像からもわかることになりますが、これでは AI ツールの目的全体が台無しになってしまいます」と英国に本拠を置く業界団体カーペンターズ協会のディレクター、ジェームス・フィルス氏は言う。本文、メールで。同氏は、材料のリストには釘が含まれているが、必要な道具のリストにはハンマーが含まれていないこと、また、簡易的な巣箱の建設コストはo1が見積もった20~50ドルには「遠く及ばない」だろうと指摘している。 「単に『小さなヒンジを取り付ける』と言うだけでは、おそらく設計の最も複雑な部分を実際にはカバーしていません」と彼は付け加え、巣箱に開口屋根を追加する方法を説明すると称するビデオの別の部分に言及した。

OpenAIはコメント要請にすぐには応じていない。

これは、意図された目的とは逆のことを行う AI 製品デモの最新の例にすぎません。去年、 Googleの広告 AI支援の検索ツールが、ジェームズ・ウェッブ望遠鏡が発見していない発見をしたと誤って発表し、この失言により同社の株価が急落したためだ。最近では、同様の Google ツールの更新版が、初期のユーザーに、石を食べても安全であること、ピザにチーズを貼り付けるために接着剤を使用できることを伝えました。

AI アシスタントは「正確な寸法は次のとおりです」と言い、寸法を明らかにしません。OpenAI、X経由

OpenAI の o1 は、公開ベンチマークによれば、これまでで最も有能なモデルですが、質問に答えるために ChatGPT とは異なるアプローチを採用しています。これは依然として本質的に非常に高度な次の単語の予測ツールであり、インターネットやその他の場所からの数十億単語のテキストに対して機械学習を使用してトレーニングされています。しかし、プロンプトに応じてすぐに言葉を吐き出すのではなく、「思考連鎖」推論と呼ばれる手法を使用して、基本的に舞台裏で一定期間答えについて「考え」、その後で初めて答えを出します。この手法では、モデルが反射的に答えを吐き出すよりも正確な答えが得られることが多く、OpenAI は、特に数学やコーディングに関して、o1 の推論能力を宣伝しています。 OpenAI のデータによると、博士レベルの科学の質問の 78% に正確に答えることができます。 出版された 9月にリリースされたモデルのプレビューバージョンと並んで。

しかし、明らかに、いくつかの基本的な論理エラーが依然としてすり抜けてしまう可能性があります。

出典