AI が生成したテキストを検出する方法

AI によって生成されたコンテンツが日常生活の中でますます普及するにつれて、「AI テキストをどのように識別すればよいのか?」と疑問に思うかもしれません。

AI テクノロジーが進化するにつれて、これらのモデルの検出がより困難になるのは当然のことです。今のところ良いニュースは、画像やビデオなどのコンテンツを人間の目で解析するのはそれほど難しくないということです。

AI が生成したテキストを検出する方法

あなたが教師または単なるインターネット旅行に慣れている場合、AI が生成したテキストを見分ける秘訣は何でしょうか?そうですね、それはあなたが思っているよりも簡単です。目を使うだけです。 AI のステートメントを識別できるように人間の目を訓練する方法は実際にあります。専門家は次のように述べています MITテクノロジーレビューのメリッサ・ヘイキラ これらの機械の「魔法」は「正しさの幻想にある」と書いています。

同じように書く人はいませんが、共通のパターンがあります。企業で働いたことがある人なら、上司へのメモの下書きを作成するときに、誰もが同じ一般的な表現をどのように使用するかを知っているでしょう。 AI テキスト検出器がコンテンツに「AI が生成した可能性がある」というフラグを付けることが多いのはこのためです。人間の当たり障りのない文体と AI が生成した一般的な音声を区別するのはほぼ不可能だからです。

そこで、AI によって生成された可能性のあるテキストを特定するためのヒントとコツをいくつか紹介します。

• 「the」、「it」、「its」などの単語が頻繁に使用されていることを確認します。

• タイプミスがない – AI テキストは、多くの場合、完璧すぎます。

• 段落をきちんと要約した結論文。

• 過度に冗長な、または水増しされた文章。

• 虚偽または捏造された情報および情報源。

• ライターの通常の投稿よりも高度なトーン。

• 繰り返しの言い回しや、妙に洗練された文法。

市場には、使用できる AI テキスト検出器もありますが、私の経験では、それらがおそらく自分の目よりも信頼性が低い理由は次のとおりです。

AI テキスト検出器: なぜ信頼できないのか

私たちの機械の支配者に対するいくつかの解決策は存在するので、それはすべてが絶望的で暗いわけではありません。 ChatGPT などのモデルや Gemini などの競合製品の発売 そしてクロードは、AI テキスト検出に焦点を当てた家内工業の成長を促進しました。 OpenAI の言語モデルに応じて ZeroGPT のようなプラットフォームが登場しましたが、もともと盗作を発見するために設計された Grammarly や Copyleaks などのツールは、AI が生成したコンテンツにも取り組むようになりました。

誰に尋ねるかにもよりますが、現時点では、AI テキスト検出が、AI によって生成されたコンテンツやそのデジタル スネーク オイルを特定する最良の方法です。実際には後者の方が真実に近いかもしれません。 AI 検出器は 100% 正確ではありません (多くの主張では 99% さえあります)。理想的な条件であっても、これらのツールの信頼性には当たり外れがあることがよくあります。

「ここでの問題は、モデルがますます流暢になり、（その結果）古い検出器が機能しなくなることです」と、コロンビア大学の教授でソフトウェアシステム研究所の共同所長でもあるジュンフェン・ヤン氏は言う。同氏は、AIが生成したテキストがますます洗練されるにつれて、「人間の文章をよく模倣した語彙や文構造を使用し始めており、高度な検出器を使っても発見するのが難しくなっている」と説明する。

AI テキスト検出器の精度をテストする

GPTZero や Hive Moderation などのツールの大きな期待にもかかわらず、AI 検出器をだまして人間が書いたコンテンツを機械作成とラベル付けさせるのは驚くほど簡単です。これらのシステムは通常、アイデアを説明または要約するテキスト行を分析するため、誤検知に対して脆弱になります。たとえば、次の基本的な要約をテストしました。 ゲーム・オブ・スローンズ これらのツールのいくつかについて、私は急いで記憶に基づいて書きましたが、ほぼすべてのケースで、「AI によって生成された可能性がある」というフラグが付けられました。

それから私も同じものを取りました ゲーム・オブ・スローンズ 概要を作成し、それを ChatGPT に入力し、文章を強化するように依頼しました。つまり、文章が長くなり、単純さが失われます。

私が書いたのは次のとおりです。

ゲーム・オブ・スローンズのプロットは、架空の大陸ウェスタロスのいくつかの家族を追っています。まず、北部を統治するスターク家がいます。 2番目はウェスターランドを支配するラニスター家です。ウェイストランドの長女はサーセイであり、ウェスタロスの女王でもあり、ロバート・バラシオンと結婚しています。ロバートはストームランド出身で、1000年以上前に土地を引き継いだドラゴンライダーのグループであるターガラインの王位を簒奪しましたが、内紛により徐々にウェスタロスへの支配力を失いました。このシリーズはジョージ・R・R・マーティンによって創作され、現在『ゲーム・オブ・スローンズ』、『王たちの衝突』、『剣の嵐』、『カラスの宴』、『ドラゴンとのダンス』の5冊に記録されている。このシリーズにはあと 2 冊の本が予定されており、『Winds of Winter』は 2025 年中に発売される予定です。

「改良された」ChatGPT バージョンは次のとおりです。

ゲーム・オブ・スローンズは視聴者をウェスタロスの残忍な血まみれのチェス盤に放り込みます。そこでは力が賞品であり、道徳は交渉の余地があります。集団をリードしているのはスターク家で、氷の北部を支配しています。彼らのストイックな名誉は、陰謀が通貨の一種であるこの国では遺物のように感じられます。はっきりとした対照をなしているのは、誰もが憎むべき豪奢なウェスターランドのラニスター家であり、サーセイ・ラニスターはウェスタロスの女王として玉座の頂点に座っている。ストームランドの酒豪で猪狩りの王ロバート・バラシオンとの彼女の結婚は、嘘と相互嫌悪で結ばれた地獄の政略結婚だった。しかし、王位自体には血なまぐさい歴史があります。ロバートは、ターガリエン家を追放した反乱の後にこの作品を制作した。ターガリエン家は、かつては止められなかったが、パラノイアと内戦の渦の中で最終的に崩壊した、ドラゴンライダーの長き統治王朝である。火を吐く彼らの獣はかつて空を焦がしたかもしれませんが、家族の確執により帝国は崩壊し、かつての栄光のささやきだけが残されました。一方、ジョージ・R・R・マーティンの壮大な物語は、戦場での虐殺、政治的陰謀、そして悲痛な裏切りを等しく描いた5冊の本に続いている。ファンはすべてのページをむさぼり食う一方で、ハラハラしながら冬の風が吹くのを待ち、何年にもわたってからかわれているように感じられるが、今では2025年に上陸するという暫定的な約束がある。しかしウェスタロスでは、忠誠のような約束が作られている。壊れた。

私のテストの結果はさまざまでした。私が最初にテストしたものの 1 つは Scribbr で、これは私の元の要約を「100% AI によって生成された可能性が高い」と判断しました。しかし、それを AI 強化バージョンに置き換えると、Scribbr は驚くべきことにその可能性をわずか 48% に下げました。

元の要約では、AI によって生成された可能性が 100% であることが判明しました。
クレジット: Scribbr / Mashable のスクリーンショット

ChatGPT の概要では、AI である可能性は 48% のみでした
クレジット: Scribbr / Mashable のスクリーンショット

私が試したもう 1 つのツールは Winston AI で、元のテキストに GPT-4 によって生成された可能性が 39% であるとフラグを立てました。皮肉なことに、実際の G​​PT-4 の概要に関しては、その可能性はわずか 1% しかありませんでした。

Winston AI の元の要約
クレジット: Winston AI / Mashable のスクリーンショット

Winston AI の AI 編集された概要
クレジット: Winston AI / Mashable のスクリーンショット

Hive Moderation は私の仕事を分析する際に完全に的外れで、私が提出した要約のいずれにもフラグを立てることができませんでした。システムによれば、どちらも自信を持って人間が書いたコンテンツであるとラベル付けされました。

クレジット: Hive モデレーション / Mashable のスクリーンショット

さて、ChatGPT に任意のトピックに関するランダムな段落を要求し、それをコピーしてさまざまなテキスト検出器に貼り付けると、ほとんどの場合、すぐに AI 生成としてフラグが付けられます。しかし、これは実際に問題を強化しています。具体的な指示がない限り、ChatGPT のデフォルトの書き方は当たり障りのない、定型的で、単純に客観的なものになることがよくあります。

予想どおり鈍いトーンがこうした誤検知を引き起こす原因であり、これらの Web サイトが人間から AI コンテンツを識別するために必要だと主張している高度な社内技術ではありません。 Originality のようなツールが AI ライティングの両方のインスタンスに正しくフラグを立てたとしても、文章を少し調整するだけで結果が完全に変わる可能性があります。少し言い換えるだけで、これまで AI が生成したものとして「信頼度 100%」とマークされていたものに、突然「オリジナルの可能性が高い」というラベルを付けることができます。

以上のことから、上記の方法を使用してテストした、無料で利用できる AI テキスト検出ツールのリストを以下に示します。話を混同するために、私が大学院で書いた学術論文の文献レビューも利用して、文字数を増やすために華美な文章を使用していると警告されるかどうかを確認しました。それらは次のとおりです。

• GPTゼロ

• ゼロGPT

• ハイブモデレーション

• 筆記者

• コピーリーク

• オリジナリティ.ai

• 文法的に

• GPT-2 出力検出器

• ライトフル X

• ウィンストンAI

あなたの文章がまったく平坦な中学 2 年生の読書感想文のように聞こえる場合、AI 検出器はあなたを早急にチューリング テストが必要なボットとして検出する可能性があります。このテストは、特定の構造パターンを回避するだけで AI 検出器を簡単にだますことができることを示しています。そして、特に多くの企業がサブスクリプション サービスを提供し、自社の API を B2B ソリューションとして学校や企業に販売することを目指しているため、これはこれらのツールを開発している企業にとって大きな悩みの種です。

これらのツールは盗作検出には非常に効果的ですが、AI によって生成されたテキストを検出する機能にはまだ大幅な改良が必要であることは明らかです。この不一致は見過ごすのが難しく、同じテキストを複数の検出器に送信すると、大きく異なる結果が得られます。あるツールによって AI 生成としてフラグが立てられたものが、別のツールでは気づかれずにすり抜けてしまう可能性があります。信頼性の欠如を考えると、現時点でこれらのツールのいずれかを自信を持って推奨するのは困難です。

AI によって生成されたテキストの検出が非常に難しいのはなぜですか?

人間の言語は信じられないほど気まぐれで複雑です。これが、AI によって生成されたテキストの検出が非常に難しい主な理由の 1 つです。

バムシャド・モバシャー IMEE会員 デポール大学の AI プログラムの責任者は、「これらのモデルがトレーニングされるのはテキストです。そのため、人間の会話を模倣するのが容易です。」と詳しく説明しています。

「検出ツールは、反復的なフレーズ、規則的すぎる文法構造などのパターンを探します」とモバッシャー氏は言う。 「テキストが『完璧すぎる』場合など、人間が見つけやすい場合もありますが、それが AI によって生成されたものであることを確認するのは困難です。」

余分な指や歪んだ顔の特徴などの明らかな兆候を生成できる画像ジェネレーターとは異なり、LLM は統計的確率に依存してテキストを生成し、出力をよりシームレスに感じられるようにするとモバッシャー氏は説明しました。その結果、AI が生成したテキスト内のエラー (微妙な言い回しや微妙な文法的不規則など) を見つけることは、検出者にとっても人間の読者にとってもはるかに困難です。

これが、AI によって生成されたテキストを非常に危険なものにしている理由でもあります。モバッシャー氏は「誤った情報を大規模に生み出し、生成することが容易になる」と警告する。 LLM が権威ある人の声を模倣できる流暢で洗練されたテキストを生成するため、一般の人が事実とフィクションを区別することがはるかに困難になっています。

「AI を使用すると、これらの攻撃を開始するのが実際にははるかに簡単になります」とヤン氏は言います。 「電子メールを非常に流暢に作成して、必要なメッセージを伝えることができ、ターゲットの企業での役割や使命に関する個人情報を含めることもできます。」

誤用の可能性があることに加えて、 AI が生成したテキストがインターネットをさらに最悪なものにする。 OpenAI や Anthropic などの企業の LLM は、公開されているデータを収集してモデルをトレーニングします。その後、このプロセスの結果として AI が生成した記事がオンラインで公開され、無限ループで再度スクレイピングされるだけです。

このコンテンツのリサイクルのサイクルにより、Web 上の情報全体の品質が低下し、ますます一般的で逆流するコンテンツのフィードバック ループが形成され、本物でよく書かれたコンテンツを見つけることが困難になります。

AI の電光石火の加速とインターネット コンテンツの悪影響について私たちにできることはあまりありませんが、少なくとも、メディア リテラシーの知識プールを活用して、何が人間によって作られたもので、何が生成されたものかを識別できるようにすることはできます。ボットから。

「記事やレポートを見た場合は、ただ盲目的に信じるのではなく、特に何かがおかしいと思われる場合は、裏付けとなる情報源を探してください」とヤン氏は言います。