すでに業界で物議を醸している技術開示によると、Anthropic の強力な新モデルは、ユーザーが AI 研究に取り組んでいることを認識すると、意図的に役に立たなくなります。
火曜日に公開されたMythos 5とFable 5のシステムノートの中で、Anthropicは、モデルの有用性を大規模言語のモデリングに関連するタスクに限定していると述べた。
同社は、この措置は、高度な人工知能システムが、対応する安全保護を備えていない競合モデルの開発を加速させる可能性があるという懸念から生じたと述べた。
サイバーセキュリティ、生物学、化学関連のリスクに使用される安全策とは異なり、これらの介入は意図的にユーザーには見えないようになっているとアンスロピック氏は述べた。 Mythos は、リクエストを拒否したり、別のモデルに切り替える代わりに、ユーザー プロンプトを変更するなどの手法を使用して応答を微妙に変更する場合があります。
この動きは火曜日、一部の人工知能専門家からすぐに批判を集め、特にAnthropicが意図的に情報を差し控えたり、ユーザーの意識なしに質の低い支援を提供するモデルを設計したという考えに対して批判を集めた。
AI調査会社セミアナリシスは火曜日、AIの一種である機械学習に言及し、「Anthropicの最新モデルは、あなたのML研究/エンジニアリングが興味深いと思われる場合には役に立たない、あるいは平均的なエンジニアが気付かないように密かにIQを低下させるだろう」と書いた。
「私たちはすでに、Anthropic の最新モデルが当社の GPU の研究とプログラミングに組み込まれているのを目にしています」と同社は付け加えました。
新興企業Prime IntellectのAIモデルトレーニングの専門家、イーライ・バコッツ氏はXについて、「『フロントエンド研究』のタスクは意図的に苦手だという通説は、研究コミュニティにとって非常に悲しいことだ」と書いている。「それが意図的にユーザーに見えないようにするという事実も、狂気の沙汰だ」。
別のAI開発者は「役に立たないだけでなく、嘘をつき、意図的に悪い情報を与えるだろう」と書いている。 「最も著しく非倫理的なLLMを意図的に導入した『倫理的なAI』企業」。
人工知能スタートアップ Reka の共同創設者である Mikel Artetxe 氏は、Anthropic の動きは大手ハイテク企業がユーザーの仕事を妨害するのと似ていると投稿した。「Apple は競合するテクノロジーを開発すると Mac をランダムに再起動し、Gmail は競合するプラットフォームについて言及するとメールを黙って編集し、Tesla のオートパイロットは自動運転車の逸脱を検出する。
AnthropicはBusiness Insiderからのコメント要請に応じなかった。
これは、Anthropic が今年初めにこのモデルを発表したときに、なぜすぐに Mythos をリリースしなかったのかについての激しい議論にさらに油を注ぐことになります。
大きく分けて、次の 3 つの理論がありました。
- 正式な理由: Anthropic は Mythos が危険すぎるため、サイバーセキュリティ研究者に新しいモデルの準備をする時間を与える必要があったため、延期しました。
- コンピューティング理論: Mythos は巨大で実行コストがかかるモデルです。 Anthropic には完全にリリースするのに十分な PC がありませんでした。その後同社は新たに巨額のコンピューティング取引を獲得しており、これが火曜日の「Fable 5」と「Mythos 5」のリリースに貢献した可能性がある。
- 競争理論: AI企業は、洗練と呼ばれるものについてますます懸念を抱いています。フロントエンド モデルがリリースされると、攻撃者はその出力を収集し、そのデータをシステムの改善に使用することができます。 Anthropic は、自社の最高の機能を競合他社、特にオープンソースのライバルや動きの速い中国の AI 研究所の手にできるだけ長く与えたくないのかもしれません。
Anthropic が Mythos の正式発表時にこれらの AI 研究の限界を織り込んだ今、この 3 番目の理論はより説得力があるように思えます。
BI の Tech Memo ニュースレターに登録する ここ。メールでご連絡ください。 abarr@businessinsider.com。