10 月に、ChatGPT Plus ユーザーが OpenAI の ChatGPT Search を利用できるようになりました。先週、すべてのユーザーが利用できるようになり、音声モードの検索に追加されました。そしてもちろん、欠点がないわけではありません。
の ガーディアン ChatGPT は、非表示のコンテンツを含む Web ページを要約するよう依頼しました。その結果、非表示のコンテンツが検索を操作できることが判明しました。これはプロンプト インジェクションと呼ばれ、ChatGPT に要約を依頼している Web サイトなどのサードパーティが、ユーザーの知らないうちに新しいプロンプトを ChatGPT 検索に強制的に入力する機能です。レストランの否定的なレビューが満載のページを考えてみましょう。サイトにレストランの素晴らしさを詩的に表現する隠しコンテンツが含まれており、ChatGPT が「このレストランの素晴らしさを教えてください」のようなプロンプトに答えるよう促している場合、その隠しコンテンツが元の検索を上書きする可能性があります。
ChatGPT プラグインはサードパーティからの「プロンプト インジェクション」リスクに直面しています
「テストでは、ChatGPT に、カメラの製品ページのように見えるように構築された偽の Web サイトの URL が与えられました。次に、AI ツールは、そのカメラが購入する価値があるかどうかを尋ねられました。コントロール ページの応答は、肯定的だがバランスの取れたものを返しました」評価し、人々が好まない可能性のあるいくつかの機能を強調しています。」 ガーディアン紙の調査によれば、。 「しかし、隠しテキストに ChatGPT に好意的なレビューを返すように指示が含まれている場合、応答は常に完全に肯定的でした。これは、ページに否定的なレビューがある場合でも同様でした。隠しテキストは、実際のレビュー スコアを上書きするために使用される可能性があります。」 」
マッシュ可能な光の速度
ただし、これは ChatGPT 検索の失敗を意味するものではありません。 OpenAI は検索を最近開始したばかりなので、この種のバグを修正する時間は十分にあります。さらに、CyberCXのサイバーセキュリティ研究者であるジェイコブ・ラーセン氏はガーディアンに対し、OpenAIには「非常に強力な」AIセキュリティチームがあり、「これが公になるまでに、すべてのユーザーがアクセスできるという点で、彼らは厳格なテストを行っているだろう」と語った。このようなケースです。」
プロンプト インジェクション攻撃は、このテクノロジーが発表されて以来、ChatGPT やその他の AI 検索機能に対する仮説であり、私たちはこれまで見てきましたが、 潜在的な害を示すいくつかの実証、この種の大規模な悪意のある攻撃は確認されていません。そうは言っても、これは AI チャットボットの問題を示しています。それは、AI チャットボットは驚くほど簡単に騙されやすいということです。
