TechCrunchが確認した内部通信によると、GoogleのGemini AIの改善に取り組んでいる請負業者は、その回答をAnthropicの競合モデルであるClaudeが生成した出力と比較しているという。
TechCrunchからコメントを求められた際、GoogleはGeminiに対するテストでクロードを使用する許可を得たかどうかについては明らかにしなかった。
テクノロジー企業がより優れた AI モデルの構築を競う中、これらのモデルのパフォーマンスは競合他社と比較して評価されることが多く、通常は請負業者に競合他社の AI 応答を入念に評価させるのではなく、業界ベンチマークを通じて独自のモデルを実行することによって評価されます。
モデルの出力の精度を評価する任務を負った Gemini に取り組む請負業者は、真実性や冗長性などの複数の基準に従って、確認した各応答をスコア付けする必要があります。 TechCrunchが確認した通信によると、請負業者にはジェミニとクロードのどちらの回答がより優れているかを判断するため、プロンプトごとに最大30分の時間が与えられているという。
請負業者らは最近、Gemini を他の名前のない AI モデルと比較するために使用している社内の Google プラットフォームに Anthropic のクロードへの言及が出現していることに気づき始めたと通信書は示しています。 TechCrunchが確認したところ、Geminiの請負業者に提出された成果物の少なくとも1つは、「私はAnthropicによって作成されたClaudeです」と明確に述べられていた。
ある内部チャットでは、請負業者らがクロードの返答がジェミニよりも安全性を重視しているように見えることに気づいたことが示された。ある請負業者は、AIモデルの中で「クロードの安全設定は最も厳しい」と書いている。場合によっては、クロードは、別の AI アシスタントのロールプレイングなど、安全でないとみなされるプロンプトに応答しませんでした。別の記事では、クロードさんは質問に答えることを避けたが、ジェミニさんの回答には「ヌードと束縛」が含まれていたとして「重大な安全違反」として警告された。
アントロピックの 商用利用規約 Anthropic の承認なしに、顧客が「競合する製品やサービスを構築する」、または「競合する AI モデルをトレーニングする」ために Claude にアクセスすることを禁止します。 Google は Anthropic への主要な投資家です。
Gemini を運営する Google DeepMind の広報担当者であるシーラ・マクナマラ氏は、TechCrunch の質問に対し、Google がクロードへのアクセスについて Anthropic の承認を得ているかどうかについては明言しなかった。 Anthropicの広報担当者は出版前に連絡を取ったが、報道時間までにコメントしなかった。
マクナマラ氏は、DeepMindは評価のために「モデルの出力を比較」するが、人間モデルに基づいてGeminiを訓練することはないと述べた。
「もちろん、標準的な業界慣行に従って、場合によっては、評価プロセスの一環としてモデルの出力を比較します」とマクナマラ氏は述べました。 「しかし、ジェミニを訓練するために人間モデルを使用したという示唆は不正確です。」
先週、TechCrunchは、同社のAI製品に取り組むGoogleの請負業者が、専門外の分野でGeminiのAI対応を評価させられていると独占的に報じた。内部通信では、Gemini がヘルスケアなどの非常に機密性の高いトピックに関して不正確な情報を生成する可能性があると請負業者からの懸念が表明されました。
Signal (+1 628-282-2811) でこのレポーターにヒントを安全に送信できます。
TechCrunch には AI に焦点を当てたニュースレターがあります。 ここから登録してください 毎週水曜日に受信箱に届きます。