生成 AI は魔法のように見えるかもしれませんが、これらのシステムの開発の背後には、AI を改善するためにチャットボットの出力の精度を評価する、「プロンプト エンジニア」として知られる Google や OpenAI などの企業の従業員やアナリストの軍隊がいます。
しかし、TechCrunchが確認したところ、GoogleからGeminiに取り組む請負業者に渡された新しい内部ガイドラインは、Geminiがヘルスケアのような非常に機密性の高い話題について不正確な情報を一般人に吐き出す傾向が強まるのではないかという懸念につながっている。
Gemini を改善するために、アウトソーシング会社である GlobalLogic と協力する請負業者 日立が所有する、AI が生成した応答を「真実性」などの要素に従って評価するよう日常的に求められます。
これらの請負業者は、最近まで特定のプロンプトを「スキップ」することができ、そのため、プロンプトが自社の専門知識を大きく逸脱している場合、それらのプロンプトに対する AI が作成したさまざまな応答の評価をオプトアウトできました。たとえば、請負業者には科学的背景がないため、心臓病に関するニッチな質問をするプロンプトをスキップする可能性があります。
しかし先週、GlobalLogicはGoogleからの変更を発表し、請負業者は自身の専門知識に関係なく、そのようなプロンプトをスキップすることは許可されなくなった。
TechCrunchが確認した内部通信によると、以前のガイドラインには「このプロンプトを評価するための重要な専門知識（コーディング、数学など）がない場合は、このタスクをスキップしてください」と書かれていた。
しかし、ガイドラインには「専門的な分野の知識を必要とするプロンプトをスキップすべきではない」と書かれています。代わりに、請負業者は「プロンプトの理解した部分を評価」し、ドメイン知識がないことを明記するよう指示されています。
これは、請負業者が稀な病気などの専門知識のない問題について、高度に技術的な AI の応答を評価する任務を負うことがあるため、特定のトピックにおける Gemini の精度に対する直接的な懸念につながっています。
「スキップの目的は、より優れた人に任せて精度を高めることだと思っていましたか？」 TechCrunchが確認した内部通信には、ある請負業者が記載されていた。
新しいガイドラインでは、請負業者がプロンプトをスキップできるのは 2 つの場合に限られている。つまり、完全なプロンプトや応答など「情報が完全に欠落している」場合、または評価に特別な同意書が必要な有害なコンテンツが含まれている場合だ。
GoogleはTechCrunchのコメント要請に本記事の時点までに返答しなかった。
