（私はシャー氏に、大規模な経済崩壊のような最悪のシナリオを検討しているのかと尋ねた。「年末までの話なら、もちろんそうではない」と彼は言った。それはわずか半年先だ！と彼は笑った。「分かった、それから少し後だ」）
Shah 氏と Fox 氏は、多数のマルチエージェント システムが相互作用するときに何が起こるかを理解する唯一の方法は、現実的なシミュレーションを実行することだと考えています。彼らは、研究者に AI エージェントをサンドボックスに放り込んで、その動作を学習してもらいたいと考えています。
個々のエージェント、あるいは小さなエージェントのグループを個別に研究しても、何が起こるかを予測することはできません。 LLM の中核となる AI エージェントが常に合理的に行動するとは限らないとフォックス氏は言います。そしてその複雑さは、一度に膨大な数のインタラクションが行われることから生まれます。
Google DeepMindのチームを含む数人の研究者は、汎用人工知能は（可能であれば）単一の超知能モデルからではなく、エージェントの一種の集合意識から生まれる可能性があり、全体の能力が部分の合計よりも大きくなる可能性があると主張している。
不信感
自社が構築しているテクノロジーのリスクについて警告している大手人工知能企業は Google DeepMind だけではありません。数週間前、Anthropic は、ゼロトラストとして知られるサイバーセキュリティへのアプローチに基づいて、人工知能エージェントを導入するためのガイドラインを発表しました。ゼロトラストは、コンピューター システムが脆弱であり、エージェントが攻撃者であり、侵害が発生するという前提から始まります。
テルアビブに拠点を置くサイバー セキュリティ会社 Akeyless の共同創設者兼 CTO である Raphael Angel 氏は、エージェントベースのシステムによってもたらされる新たなリスクを理解することが不可欠であることに同意しています。
これまでのセキュリティへのアプローチは、問題のマシンが人間によって書かれたソフトウェアであり、固定されたパスで固定された処理を実行するものであると想定していました。「エージェントはこれらすべての想定を打ち破ります。エージェントは推論し、即興で行動し、読むよう求められた文書に埋め込まれた一文によってハイジャックされる可能性があります。」とエンジェル氏は言います。
エンジェルはこの新たな資金提供を歓迎します。 「単一の研究室が、誰もが信頼すべき安全基準を作成すべきではありません」と彼は言います。しかし、安全性研究者は、より風変わりな仮説を支持して、すでに存在している退屈な問題を無視する可能性があると同氏は警告する。
それでも、数年前には仮説だったリスクは今では非常に現実的になっており、「未来は予想よりも早く到来している」とフォックス氏は指摘する。
