感情読み取りボットは最も重要なことをまだ見逃しているのでしょうか?

この記事は、IEEE Xplore と協力した独占的な IEEE Journal Watch シリーズの一部です。

ロボットが器用さやその他の身体能力の点で進歩するにつれて、人間がロボットと一緒に働く可能性が高まるかもしれません。もしそうなった場合、ロボットが人間と協働するためには、ロボットの感情的能力はどのように進歩する必要があるでしょうか?

最近の研究では、研究者は、顔の表情だけでなく、インタラクションにおける文脈上の要因も考慮して、人間の感情を読み取るように協働ロボットを訓練しました。研究者らは、40人のボランティアによる実験を用いて、ロボットが人間の感情を読み取り、その行動を適応させる能力が、ロボットとロボットが協力して作業する際のロボットに対する人間の認識とその能力にどのような影響を与えるかを評価した。この結果は、ロボットの感情的能力が人間と同等であることを示しており、5月18日に出版された。 IEEE ロボティクスとオートメーションに関するレター。

Song Chan Hon 氏は、オーストラリアのメルボルン大学に在学中に、学部の研究の一環としてこの研究を主導しました。同氏は、ロボットの高度な身体能力について多くの誇大宣伝が行われてきたが、これはパズルの 1 ピースにすぎないと指摘する。 「彼らの身体能力だけでなく、人間との相互作用に関しても革新する必要があります」と彼は言います。

これにより、彼は人間とロボットの相互作用の感情的な側面をより深く掘り下げるようになりました。まず、Hong 氏と彼の共同研究者らは、視覚言語モデル (VLM) を使用して人間の感情を読み取るロボットを訓練することにしました。VLM は、ChatGPT などの大規模な言語モデルに似ていますが、視覚入力も受け入れることができます。

人間の感情を認識できるように VLM をトレーニングする

VLMを訓練するために、研究者らはボランティアたちに、ロボットが人間に物を手渡すビデオを見てもらい（成功の度合いはさまざまだった）、人間が表現する感情を説明させた。重要なのは、これらのビデオにタグを付けたボランティアは、ビデオ内の人間の表情だけを報告するのではなく、これらのインタラクションにおいてより多くのコンテキストを考慮に入れることができたことです。たとえば、眉間にしわを寄せて立ち止まって考える人は、単に自分の仕事に集中しているだけであり、必ずしも怒っているわけではありません。指をたたく、口をすぼめる、その他の行動などの状況要因が、額にしわが寄る本当の原因を示している可能性があります。

次に研究者らは、VLM を、人間とロボットの対話で使用される標準的な顔分析とオブジェクト追跡に依存する従来の AI システムと比較しました。彼らは、VLM が従来のアプローチよりも優れたパフォーマンスを発揮することを発見しました。 0 (人間のボランティアが認識した感情と意味が類似しない) から 1 (意味が完全に一致する) までのスケールで、従来の AI システムは 0.77 のスコアを達成しました。比較すると、VLM は 0.86 のスコアを達成しました。

ホンさんはこう言います。 [the VLM] 人間の視聴者が見ているものとよりよく一致させることができました。なぜなら、それは人の顔を短時間見ているだけではなく、その人がどこにいて、何をしていて、ロボットとどのように対話しているのかなど、シーン全体を見ることができたからです。」

2番目の実験では、研究チームは40人のボランティアにVLMを使ってロボットと対話するよう依頼したが、ロボットが意図的にエラーを起こすようにプログラムした。次にロボットは、間違いに対する人間の反応を説明する感情に合わせた謝罪、または事前に作成された口頭での謝罪を行う必要がありました。

圧倒的多数の参加者は感情的に適応した反応を好み、40人中31人が正確な謝罪よりもこのアプローチを好みました。

しかし、彼らの調査回答は、この感情的な適応がロボットの機能よりもはるかに重要ではないことを浮き彫りにしました。タスクに失敗したロボットと協力した後、ロボットが間違いをどのように謝罪したかに関係なく、多くの参加者はロボットに対する信頼度が低いと評価しました。 「個人的な謝罪は社会的な潤滑油として機能しますが、物理的な任務に失敗したロボットによって失われた信頼を修復することはできません」とホン氏は言う。

興味深いことに、VLM は、人間のパートナーの感情を、第三者の視点から相互作用を見た人間のボランティアと同様に分類しました。しかし、2 回目の実験で人々が自己申告した感情 (実際の感情の最も正確な記述) に対して VLM の推定値が測定されると、感情を正確に予測する VLM の能力は大幅に低下しました。

「VLM は外部の社会的合図をよく観察しますが、心を読むわけではありません」とホン氏は言う。 「これは人間を三人称で観察するのには適していましたが、ユーザーが自己申告した内面の感情とは必ずしも一致しませんでした。」

これらの結果を総合すると、ロボットが人間の感情を読み取るのが完璧ではないことがわかります。そのため、人々は自分の努力を評価するかもしれませんが、最終的には有能な同僚を求めることになります。