双子座を評価する際に専門家の役割は何でしょうか？

AI をめぐる論争について話しているとき、よく反論として「人間の要素」が登場します。 AI があなたの仕事を奪うことを心配していますか?そうですね、誰かが AI をコーディングし、AI をトレーニングするデータセットを管理し、その出力を分析して完全にナンセンスを吐き出していないかどうかを確認する必要がありますよね。問題は、人間による監視は、これらの AI モデルの背後にある企業が導入に関心がある場合にのみ行われること、そして新しいレポートでは、Google と Gemini にとってその境界線がどこにあるのかについて、いくつかの懸念すべき疑問が提起されていることです。

Google は、Gemini の改善作業の一部を GlobalLogic などの企業に委託しています。 テッククランチ。その取り組みの 1 つは、査読者に Gemini の回答の質を評価するよう依頼することであり、これには歴史的に、査読者の知識ベースの外にある質問をスキップするための指示が含まれていました。このプロンプトが表示された場合は、このタスクをスキップしてください。」

これは一見するとかなり合理的なガイドラインのように見え、専門家以外が AI の応答を誤った方向に導く可能性がある影響を最小限に抑えるのに役立ちます。しかし、として テッククランチ それは最近変更されたことがわかり、GlobalLogic が貢献者と共有している新しいルールでは、「専門的なドメイン知識を必要とするプロンプトをスキップしない」こと、そして少なくとも「理解しているプロンプトの部分を評価する」ことを推奨しています。彼らは少なくとも、知識が不足しているにもかかわらず評価が行われているというメモをシステムに入力するよう求められます。

AI の応答については、単に「この非常に技術的な情報が正確で、完全で、関連性があるかどうか」という点以外にも評価に値することがたくさんありますが、このようなポリシー変更が懸念の原因となり得る理由は簡単にわかります。少なくとも、次のように感じられます。より多くのデータを処理するために基準を下げる。内部チャットによると、このデータの評価を担当した一部の人々も同様の懸念を共有していたようです。

Googleが提供した テッククランチ この説明は、広報担当者シーラ・マクナマラ氏によるものです。

評価者は、さまざまな Google サービスやプラットフォームにわたって幅広いタスクを実行します。コンテンツに対する回答をレビューするだけでなく、スタイル、形式、その他の要素に関する貴重なフィードバックも提供します。提供される評価はアルゴリズムに直接影響しませんが、総合すると、システムがどの程度うまく機能しているかを測定するのに役立つデータ ポイントになります。

これは、ここで何が起こっていると感じられたかについての私たちの読みとほぼ一致していますが、AIに懐疑的な大衆のすべての疑念を和らげるのに十分であるかどうかはわかりません。 AI の望ましくない動作を抑制するには人間の監視が非常に重要であるため、基準が引き下げられているという示唆は懸念を抱かせるだけです。