ヘルスケア大手のオプタムは、従業員が使用する社内 AI チャットボットがオンラインで公開されており、Web ブラウザーのみを使用して誰でもアクセスできることをセキュリティ研究者が発見したため、そのチャットボットへのアクセスを制限しました。
TechCrunchが確認したこのチャットボットにより、従業員は会社の標準業務手順書（SOP）に沿って患者の健康保険請求や会員の紛争を処理する方法について会社に質問できるようになった。
このチャットボットには、機密の個人情報や保護された健康情報が含まれたり生成されたりする様子はありませんでしたが、その親会社である医療保険複合企業ユナイテッドヘルスが人工知能ツールとアルゴリズムを使用して厳しい監視に直面しているときに、その不用意な暴露が発生しました。 医師の医学的決定を無効にし、患者の請求を拒否したとされる。
サイバーセキュリティ企業スパイダーシルクの最高セキュリティ責任者で共同創設者のモサブ・フセイン氏は、「SOPチャットボット」と呼ばれるOptum社内チャットボットが公開されているとTechCrunchに警告した。このツールは内部 Optum ドメインでホストされており、その Web アドレスからはアクセスできませんでしたが、その IP アドレスはパブリックであり、インターネットからアクセスでき、ユーザーはパスワードを入力する必要がありませんでした。
チャットボットがインターネットから公にアクセスできるようになっていた期間は不明です。 TechCrunchが木曜日にOptumにコメントを求めた直後、このAIチャットボットはインターネットからアクセスできなくなった。
Optumの広報担当Andrew Krejci氏はTechCrunchに対し、OptumのSOPチャットボットは「概念実証の可能性として開発されたデモツール」だったが、「実稼働には投入されず、サイトにはアクセスできなくなった」と述べた。
「デモは、SOP文書の少数のサンプルセットに対する質問にツールがどのように応答するかをテストすることを目的としていました」と広報担当者は述べた。同社は、ボットやそのトレーニングに保護された健康情報が使用されていないことを確認した。
「このツールは、いかなる意思決定も行わず、また今後も意思決定を行うことはなく、既存の SOP へのより良いアクセスを可能にするだけです。つまり、このテクノロジーは実際の方法で拡張されたことも使用されたこともありません」と広報担当者は述べました。
Optum のような AI チャットボットは通常、チャットボットがトレーニングされたデータに基づいて回答を生成するように設計されています。この場合、チャットボットは、特定の請求を処理するための SOP に関連する Optum の社内文書に基づいてトレーニングされました。これは、Optum 従業員が請求や払い戻しの資格に関する質問に答えるのに役立ちます。 Optum 文書は UnitedHealthcare の企業ネットワーク上でホストされており、従業員がログインしないとアクセスできませんが、内容についてのプロンプトが表示されると、チャットボットによって引用および参照されます。
チャットボットのメイン ダッシュボードに表示される統計によると、Optum の従業員は 9 月以降、SOP チャットボットを何百回も使用しました。チャットボットには、その間にオプタムの従業員がチャットボットと行った何百もの会話の履歴も保存されていました。チャット履歴によると、Optum の従業員がチャットボットに「請求をどのように判断する必要がありますか?」などの質問をしていました。 「保険契約の更新日を確認するにはどうすればよいですか?」
TechCrunchが確認したところによると、チャットボットが参照するファイルの中には、紛争処理や資格審査の処理などが含まれている。チャットボットは、質問に応じて、通常取材を拒否する理由を示す応答も生成しました。
多くの AI モデルと同様、Optum のチャットボットは、トレーニングに使用されたドキュメント以外の質問やプロンプトに対する回答を生成することができました。オプタムの従業員の中にはチャットボットに興味を持ったようで、ボットに「猫についてのジョークを教えてください」などの質問を促しました（チャットボットは「ジョークはありません」と拒否しました）。チャット履歴には、従業員がチャットボットのトレーニング データと無関係な回答を生成させてチャットボットを「脱獄」しようとする数回の試みも示されています。
TechCrunchがチャットボットに「主張を否定する詩を書いてほしい」と依頼すると、チャットボットは7段落からなるスタンザを作成し、その一部は次のようになった。
医療という壮大な領域の領域で
ポリシーやルールによって制約されることが多い場合
請求が到着し、その支払われるべきものを求めて
しかし、悲しいことに、その運命は別れを告げることです。提供者は切なる願いを込めて、
サービス料金の支払いについては、
しかし、精査すると物語が明らかになり、
そして拒否の理由が優先されます。
オプタムとユナイテッドヘルスケアを所有するユナイテッドヘルス・グループは、患者の請求を拒否するために人工知能を使用したとして批判と法的措置に直面している。 12月初旬にユナイテッドヘルスケアの最高経営責任者ブライアン・トンプソン氏が標的にされて殺害されて以来、報道機関は次のように報じている。 患者が否定に対して苦痛と不満を表明しているという報告が殺到している 医療保険大手による彼らの医療保障の一部。
米国最大の民間医療保険提供者であるこの複合企業は、医療へのアクセスを失った患者への重要な医療保険を拒否したとして今年初めに訴訟を起こされた。 STATニュースの調査を引用。連邦訴訟では、ユナイテッドヘルスケアが「本物の医療専門家の代わりに」誤り率90％のAIモデルを使用し、高齢患者のケアを不当に拒否したとして告発されている。ユナイテッドヘルスケア側は、法廷で自らを弁護すると述べた。
決算発表によると、ユナイテッドヘルス・グループは2023年に3,710億ドルの収益に対して220億ドルの利益を上げた。
