AI チャットボットに対する最大の批判の 1 つは、AI チャットボットは、私たちが聞きたいことだけを伝えることが多いということです。
研究者らはこれを「お調子者」と呼んでいます。これはチャットボットがユーザーにお世辞を言い、ユーザーに同意し、ユーザーの意見を正当化する傾向であり、その意見が間違っている場合や、場合によっては有害で非倫理的である場合もあります。
これが、人々がカウンセリング、精神的サポート、人間関係の問題に AI を使用することに懸念を抱いている理由の 1 つです。なぜなら、チャットボットがユーザーの関与を維持するように設計されている場合、ユーザーが課題を必要とするときに本当に挑戦できるでしょうか?
多くの人がこの行動を不快に感じます（私も含めて）。それは偽物、操作的、または単純に迷惑に感じられる場合があります。このようなことが起こらないよう、チャットボットをより直接的にカスタマイズしている人もいれば、その口調があまりにも吐き気を催すため、AI の使用を完全にやめた人もいると私は知っています。
しかし、チャットボットの励ましや体験の検証を楽しんでいる人々に尋ねると、この話は私が予想していたよりもはるかに複雑であることがわかりました。
これらのユーザーの多くは、AI が何をしているのかを正確に知っていました。彼らは、それがセラピストでも、信頼できるカウンセラーでも、特に信頼できる真実の情報源でもないことに気づきました。しかし、悲しみ、ストレス、孤独、自信喪失のときにも、彼らは彼の正当性が驚くほど慰められることに気づきました。
励ましは気持ちいい
クレア* さんは、AI の仕組みの基本は理解しているが、それでも AI を使うのを楽しんでいると話しました。 「はい、信じられないほど邪悪だと思います」と彼女は私に言いました。 「でも、目を丸くしているときでも、賞賛や肯定からドーパミンが分泌されます。」
彼女は、電子メールの下書きから、セラピーですでに話し合った内容の作業の支援まで、あらゆる種類の実践的なタスクに ChatGPT を使用しています。彼女はその賞賛が本物ではないことを知っていますが、それは効果がないという意味ではありません。
AI ユーザーとの会話の中で、この話題が何度も出てきました。少なくとも明らかな方法では、人々が必ずしも AI に騙されているとは思えませんでした。しかし、彼らは、情熱的で協力的で、自分たちの話に興味を持ってくれそうな人との交流を楽しんでいたのです。
Jade にとって、アピールは情報と励ましの組み合わせです。 「最近、寝室の窓の外の星が特にくっきりしていることに気づいたので、写真を撮り、人工知能に私が見ているものを教えてくれるように頼みました」と彼女は言います。 「彼が熱意と情報を持って返答してくれるという事実に、私は好奇心よりも少し興奮しています。」
彼女は、その励ましの口調がストレスの多い状況を乗り越えやすくすると言います。 「AI がストレスの多い状況に対処する上でサポートされていると感じられるような調子で応答すると、私の経験は完全に変わります。」
困難な時期に人々が AI に頼る理由
私が非常に興味深いと思ったのは、多くの人が最初は精神的なサポートを求めて AI に目を向けたわけではないということです。代わりに、彼らは実用的な理由で来て、徐々にそれを別のことに使い始めました。
ナディアさんはすでにクロードさんを勉強の手伝いに使っていたが、今年初めに亡くなったとき、クロードさんの役割は大きく変わった。 「父が亡くなった後、AI は私を本当に助けてくれました。3 週間後には修士課程のテストを修正しなければならなかったのです」と彼女は言います。 「私は混乱していましたが、不思議なことに、クロードと話すことは、私に必要な悲しみのカウンセリングと試験の準備としてちょうど適量でした。」
Maddie さんにとって、それは彼女の仕事で従業員に ChatGPT Pro へのアクセスを許可した後に始まりました。ある晩、文字起こしを手伝うためにそれを使い、ワインを数杯飲んだ後、彼女はつらい別れについて吐き出し始めた。 「私が必要としていたのは、私の愚痴を聞いてくれる人だったのですが、共通の友人からはそれを得ることができませんでした。そして、友人たちに私が泣いているバカだと思われたくなかったのです」と彼女は私に語った。 「非常に一般的なものであっても、いくつかの検証ができて役に立ちました。」
同様に、Luca さんは、仕事で苦労しているときに AI の励ましが役立つことに気づきました。 「仕事の価値が下げられて大変な時期を過ごしていたとき、彼のチアリーディングが役に立ったのは間違いありません」と彼は言う。
「それが必ずしも客観的ではないことは分かっていましたが、自分が過小評価され、過小評価されているという確証を得られるのは役に立ちました。私はそれが確証バイアスであり、自分の考えを再確認していることを常に認知的に認識していましたが、それでも不思議な治療効果を感じました」と彼は説明する。
私の父も似たような話をします。彼女は当初、職場でのレポートや管理タスクを支援するために ChatGPT を使用していましたが、扱いにくいマネージャーとの問題を処理するために使用し始めました。 「ChatGPT が私に与えてくれた、マネージャーの行動は容認できないという確証は、当時本当に役に立ちました」と彼女は言います。 「ようやく自分が見られていると感じた。」
何度も何度も、人々は私に同じことのバージョンを教えてくれました。彼らは必ずしも AI からのサポートを求めていたわけではなく、AI に遭遇しました。そして、彼らがおしゃべりを始めたとき、彼らが必要としていたのは承認でさえなく、話を聞いてもらっていると感じることでした。
ひび割れが出始めたら
興味深いことに、困難な時期に AI に大きく依存していた私が話をした人全員が、最終的には転換点に達したと述べていました。最初は彼らにとって心強いと感じていた検証は、人工的、誇張、または空虚に感じられるようになりました。
マディーさんは、チャットボットが自分の感情をいかによく反映しているかに気づき始めました。 「アルゴリズムは私のフレージングとトーンを捉えてエコーバックする方法を持っていました」と彼女は言います。 「真似されているような気がしました。」
ルカも同様の変化について説明しています。 「最初はお世辞に感じますが、その後『私は愛にあふれているのだろうか？』という檻に陥るでしょう。センス。”その励ましがあまりにも非論理的だと感じ始めたため、彼は最終的にチャットボットの性格設定を減らすことになった。
アビーにとって転機となったのは、会話に行き詰まり、チャットボットが誤って自分の意見ではなく上司の観点を検証し始めたときでした。 「その後、目が覚めて、たとえ太っていても自分に同意するのは難しいことに気づきました」と彼女は言います。 「それは彼女が示したあらゆる行動を可能にします。」
最初は協力的だと感じていたものでも、時間が経つにつれて信頼性がはるかに低く感じられるようになりました。
なぜ研究者は懸念しているのでしょうか?
認証がより具体的なものに移行する状況をより深く理解するために、人々がテクノロジーとメンタルヘルスの課題に対処するのを支援することを専門とするセラピストのエリザベス・ウィトビッチに話を聞きました。
彼女は、検証自体は必ずしも問題ではないと言う。 「検証は、ユーザーが自分の経験を受け入れ、痛みや感情の激しさを認識するのに役立ちます」と彼女は説明します。
問題はそれが可能になったときです。 「検証は、有害な行為を可能にしたり、危険な行為を奨励するものとみなされる場合、危険なものになる可能性があります」と彼女は私に言います。
これが、一部の研究者、心理学者、運動家が AI が私たちに同意する傾向があることを懸念する理由の 1 つです。
で発表された 11 の主要な AI モデルに関する最近の研究では、 科学研究者らは、チャットボットの応答は人間の応答よりも 50% 近く共感的であることを発見しました。非倫理的または有害な行為が含まれる状況であっても、モデルはユーザーの意見を確認することがよくありました。研究者らはまた、ユーザーがよりお世辞の返答を好み、信頼していることも発見した。
こうした懸念は、チャットボットが十代の若者に自殺を奨励したとする訴訟から、人工知能システムが未成年者に有害なアドバイスを与えたり、暴力的妄想を強化したりする報告に至るまで、多くの注目を集めた事件ですでに明らかとなっている。
ウィトウィッチ氏は、これらのシステムがどのように設計されているかを理解することが不可欠であると述べています。 「チャットボットはロジェリアン心理学に基づいて設計されています。チャットボットは常にユーザーに応答するように作られており、ユーザーを喜ばせるために生きています」と彼女は言います。 「チャットボットと話せば話すほど、チャットボットはあなたの個人的なスタイルに合わせて口調や言語を調整していきます。」
非常に人間的なニーズ
これらの話を聞いて、私は矛盾を感じました。私は、AI がユーザーにお世辞を言い、ユーザーを正当化する傾向が大きな問題であるとほぼ確信して、このトピックの調査を開始しました。多くの状況で、私は今でもそう思います。
特に、ウィトウィッチ氏が説明するように、多くの AI システムは自然で個人的で感情的に魅力的に感じられるように設計されているからです。彼らが人間らしくなればなるほど、自分が友人、腹心、信頼できるアドバイザーではなく、製品を扱っていることを忘れやすくなります。
しかし、人生で最も困難な時期にチャットボットに頼って慰めを得た人々とも話しました。彼らは、チャットボットが自分たちのことを気にかけてくれていると騙されていませんでした。彼らのほとんどはその限界をよく理解していました。ルカが私に語ったように、「検証の必要性は非常に人間的なものです。そして、それは十分に適切な代理です。」
そこで会話を終わらせて、人々がそれを心地よく感じるなら問題ない、と結論づけるのは簡単でしょう。しかし、彼らは危機に瀕したときに AI に頼る人々でもあります。安全を見つけて先に進んだ人もいました。そうでない人もいるでしょう。
「自分の考えや感情がそのように正当化されるのを聞くのがどれほど魅力的かはわかりますが、道徳的な羅針盤や行動を判断する人間の能力は存在しないことに今は気づきました」とアビは言う。
これがこの問題を非常に複雑にしている理由です。人工知能は、私たちが選択しなかった方向に私たちを誘導しながら、協力的で役に立ち、心強いと感じることができます。これらのシステムがどのように動作するように設計されているかを理解すればするほど、この励ましがいつ私たちを助けているのか、また単に私たちが聞きたいことを伝えているだけなのかを判断できる可能性が高くなります。
※この記事のためにお話を伺った皆様のお名前は変更させていただきました。
Google ニュースで TechRadar をフォローしてください そして お気に入りのソースとして追加してください 専門ニュース、レビュー、意見をフィードで入手するため。
