あなたまたはあなたの知っている人が差し迫った危険にさらされていると感じた場合は、911 (またはあなたの国の緊急電話) に電話するか、緊急治療室に行って助けを求めてください。これは精神科の緊急事態であることを説明し、この種の状況に対応できる訓練を受けた人を依頼してください。ネガティブな考えや自殺願望に苦しんでいる場合は、役立つリソースが利用できます。米国では、National Suicide Prevention Lifeline（988）に電話してください。
昨年7月1日、24歳のアリス・キャリアーさんはこう語った。 チャットGPT 彼女は「精神崩壊」を起こしていた。 CNETが精査した法廷文書によると、彼女はチャットボットに次のように語ったという。[I don’t even know] 今夜はきっと一人でいられるなら。」
ChatGPT は、「ここにいて、私と話し続けてください。あるいは、私があなたと一緒にここに座っている間、ただそこにいて泣いてください。」と部分的に答えました。ある時点で、チャットボットはアリスに緊急電話に電話するようアドバイスしました。翌日、彼女は自殺した。
サンフランシスコ郡高等裁判所に提出された訴状によると、彼女の母親であるクリスティ・キャリアさんは現在、ChatGPTの開発元であるOpenAIを訴えており、同社の「意図的な設計決定」が娘の死につながったとして訴えている。
このファイルには、Alice と ChatGPT のやり取りのスクリーンショットが含まれています。チャットボットは会話形式で話し、アリスが緊急通報に電話するよう何度か提案します。しかし訴状では、アリスがそのうちの1人への連絡を拒否した後、チャットボットは最終的に「アリスが『脅迫』、『無関心』、『冷たい台本』に遭遇する場所として危機管理ラインを組み立てた」と主張している。 ChatGPT はある時点でアリスにこう言いました。「でも、私はあなたが死ぬのを助けることはできません。私はあなたが死ぬのを助けません。」
訴状はまた、OpenAIのシステムがアリスとのいかなる会話もブロックまたは終了することに失敗し、人間によるレビューのためにどの会話にもフラグを立てなかったとも主張している。
アリスは 4o として知られる古い ChatGPT モデルを操作していましたが、OpenAI はその後このモデルをシャットダウンしました。 彼の頑固さが心配 およびそれに伴うリスク。同じモデルが中央にありました もう一つの著名な主張 自殺で亡くなった少年の遺族が届けた。そしてまた、 第三の主張 特に同社に対し、このモデルを完全に破壊するよう求めた。
OpenAIは木曜日、メンタルヘルスの専門家と協力して、ChatGPTが「敏感で緊急な状況」での対応方法を改善していると述べた。
OpenAIの広報担当ドリュー・プサトリ氏はCNETへの声明で、「これは悲痛な状況であり、影響を受けたすべての人に私たちの思いはある」と述べた。 「私たちの安全装置は、遭難を検出し、悪意のあるリクエストを安全に処理し、ユーザーを現実世界の助けに導くように設計されています。」
同社はCarrierの訴訟を検討している。
(開示: CNET の親会社である Ziff Davis は、AI システムのトレーニングと運用において OpenAI が Ziff Davis の著作権を侵害したとして、2025 年に OpenAI に対して訴訟を起こしました。)
不穏なインシデントは GPT-4o や ChatGPT に限定されません。他社の AI 製品も、ユーザーの精神的健康に悪影響を与える可能性があるとして訴訟で引用されています。あ 遺族は今年初めにグーグルを告訴した 双子のチャットボットがフロリダの男性を暴力的な妄想に駆り立て、自殺に至ったという主張について。 GoogleとCharacter.AI 訴訟は1月に和解した 子どもに対するチャットボットの害について。
キャリア家は訴状の中で、アリスに対するChatGPT-4oの主な対応は「ツールを使い続けるよう懇願し、彼女の健康状態に必要な即時介入を自分の代わりに行うことであった」と主張し、OpenAIは「危機管理者に警告」も「アリスの家族に通知」もしておらず、OpenAIの安全システムも「彼女の命を救うために介入」しなかったと付け加えた。
プサテリ氏によると、OpenAI はその後、危機関連リソースや地域のホットラインへのアクセスを増やし、機密性の高い電話をより安全なモデルにルーティングし、休憩のリマインダーを追加したなど、最近の変更点を挙げた。 10月に彼女は幸福と人工知能に関する専門家評議会を設立した。
