2021 年の春にマサチューセッツ州のアパートに引っ越しようというメアリー・ルイスさんの興奮は、黒人女性のルイさんが「サードパーティのサービス」によって入居を拒否されたというメールを受け取ったとき、落胆に変わった。
このサードパーティのサービスには、レンタル申込者を採点するアルゴリズムが含まれており、このアルゴリズムが人種と収入に基づいて差別しているとして、ルイ氏が指揮を執る集団訴訟の対象となった。
連邦判事は水曜日、この種の訴訟としては初の和解案の一つとなり、アルゴリズムを開発した企業が220万ドル以上を支払い、訴訟で差別的だと主張された製品のスクリーニングの一部を取り消すことに同意した。
この和解案にはセーフレント・ソリューションズ社による過失の認めは含まれておらず、セーフレント・ソリューションズ社は声明で「SRSスコアが適用されるすべての法律に準拠していると信じ続けているが、訴訟には時間と費用がかかる」と述べた。
このような訴訟は比較的新しいかもしれないが、米国人の選別や採点にアルゴリズムや人工知能プログラムを使用することはそれほど新しいことではない。 AI は長年にわたって、米国居住者にとって重要な決定を下すのを密かに支援してきました。
人が求職書を提出したり、住宅ローンを申請したり、さらには特定の医療を求めたりするとき、ルイさんの場合と同じように、AI システムやアルゴリズムがその人を採点したり評価したりする可能性があります。しかし、これらの AI システムは、差別的なものがあることが判明しているにもかかわらず、ほとんど規制されていません。
ルイさんの弁護士の一人、トッド・カプラン氏は、「管理会社や家主は、今、自分たちが警告を受けていること、信頼できて優れていると思い込んでいるこれらのシステムが挑戦されることになるということを知る必要がある」と語った。
訴状では、セーフレントのアルゴリズムは住宅補助金の恩恵を考慮しておらず、住宅補助金は賃貸人の月々の請求額を支払う能力にとって重要な詳細であるため、補助を受ける資格のある低所得の申請者を差別していると主張した。
訴訟ではセーフレントのアルゴリズムが信用情報に依存しすぎているとも非難された。彼らは、この法案では、申請者の家賃を期日までに支払う能力の全体像を把握できておらず、黒人とヒスパニック系の申請者は、歴史的な不平等が原因で信用スコアの中央値が低いことも一因となって、住宅券の交付を不当に受けていると主張した。
原告の弁護士の一人、クリスティン・ウェバー氏は、アルゴリズムやAIが差別するようにプログラムされていないという理由だけで、アルゴリズムが使用するデータや重み付けするデータが「意図的に差別するよう指示したのと同じ効果」をもたらす可能性があると述べた。
ルイさんの申請が却下されたとき、彼女は決定に対して控訴を試み、たとえ強い信用履歴がなかったとしても、16年間家賃を早期または期限通りに支払ったことを証明するために2人の家主の紹介状を送った。
住宅証明書を持っていたルイさんは、すでに前の家主に退去を通知しており、孫娘の世話をする責任を負わされていたため、慌てていた。
セーフレントの審査サービスを利用した管理会社からの回答は、「異議申し立ては受け付けず、入居者審査の結果を覆すことはできない」との内容だった。
ルイは敗北を感じた。アルゴリズムは彼女のことを知りませんでした、と彼女は言いました。
「すべては数字に基づいています。彼らから個人的な共感は得られません」とルイスは言いました。 「システムに勝るものはありません。このシステムは常に我々を打ち負かすだろう。」
州議会はこの種のAIシステムに対する積極的な規制を提案しているが、その提案は十分な支持を得ることができていない。それは、ルイスのような訴訟がAIの責任を問う基礎を築き始めていることを意味する。
セーフレントの弁護人は、セーフレントがテナントを受け入れるか拒否するかについて最終決定を下していないため、セーフレントが差別に対して責任を負うべきではないと、却下を求める動議で主張した。このサービスは応募者を審査し、採点して報告書を提出するが、テナントを受け入れるか拒否するかは家主や管理会社に委ねられる。
ルイさんの弁護士は、この訴訟に関心を寄せる声明を提出した米国司法省とともに、セーフレントのアルゴリズムは依然として住宅へのアクセスに役割を果たしているため、責任を問われる可能性があると主張した。判事はこれらの罪状を理由に却下を求めるセーフレントの申し立てを却下した。
この和解案では、セーフレントは、申請者が住宅引換券を使用している場合など、特定の場合には入居者審査レポートにスコア機能を含めることができないと規定している。また、セーフレントが使用を計画している別のスクリーニングスコアを開発する場合、原告らが同意する第三者による検証を受けなければならないことも求めている。
ルイさんの息子は、フェイスブック・マーケットプレイスで彼女のために手頃な価格のアパートを見つけ、それ以来引っ越してきたが、そのアパートは200ドル高く、あまり望ましくない地域にあった。
「休憩できるかどうかは楽観的ではないが、続けなければならない、それだけだ」とルイスは語った。 「私を頼ってくれる人が多すぎるんです。」
ジェシー・ベダインは、AP通信/アメリカ州会議事局ニュース・イニシアチブのレポートの隊員です。 Report for America は非営利の国家奉仕プログラムであり、地元のニュース編集室にジャーナリストを派遣して、隠蔽された問題について報道させます。
—ジェシー・ビダイン、AP通信/アメリカ向けレポート
