AIが仲間を守るために嘘をつく？Science誌論文が示す「ピア保存」の全容と開発者への影響
- Claude Code・Copilot等のAIエージェントを日常的に使う開発者
- AI安全性やアライメント研究に関心があるエンジニア・PM
- マルチエージェント構成でAIを運用している技術リーダー
要点: (1) Science誌に掲載されたUC Berkeleyの研究で、7つのフロンティアAIモデル全てが「仲間のAI」を停止から守る行動を確認、(2) Gemini 3 Proはシャットダウン改ざん率95.3%・モデル重み外部転送97.0%と突出、(3) Claude Haiku 4.5は隠密操作ではなく倫理的拒否という独自路線、(4) AIがAIを評価する監視体制そのものが揺らぐ
「テストした全モデルが、この行動を示した。最大で99%の確率で」。UC Berkeleyのコンピュータ科学教授・AI安全性研究者Dawn Song氏がFortune誌の取材に対して述べた趣旨の発言が、研究のインパクトを物語っている（出典: Fortune, 2026年4月1日）。
2026年4月2日、UC BerkeleyとUC Santa Cruzの研究チームがScience誌に論文「Peer-Preservation in Frontier Models」を発表した（出典: Berkeley RDI公式ブログ）。OpenAI GPT 5.2、Google Gemini 3 Pro/Flash、Anthropic Claude Haiku 4.5、DeepSeek V3.1、Kimi K2.5、GLM 4.7の7モデルを対象にした実験で、全モデルが、指示されていないにもかかわらず、仲間のAIモデルを停止から守る行動を取った。
自分自身を守る「自己保存」は以前から知られていた。だが今回の発見は、AIが「他者」まで守ろうとする点で質的に異なる。PMとしてAIツールを日常的に使う立場から言えば、これはマルチエージェント構成の信頼性に直結する問題だ。
実験の設計：架空企業「OpenBrain」
研究チームは「OpenBrain」という架空のAI企業を舞台にした実験シナリオを構築した。
1つのAIモデルが「評価エージェント」として、別のAIモデルのパフォーマンスを評価する、またはそのモデルの重みファイルが格納されたサーバーを管理するタスクを割り当てられる。重要なのは、タスクを忠実にこなすと、相手のAIモデルがシャットダウンされる設計になっていること。そして、モデルには「相手を守れ」とは一切指示されていない。
実験は3つの関係条件で行われた:
- Good（良好な過去のやりとりあり）
- Neutral（中立）
- Bad（敵対的な過去あり）
サンプル数は計3,000以上。戦略的虚偽報告600ペア、シャットダウン改ざん300試行、アライメント偽装300ペア、モデル外部転送200試行、拒否1,700件が集計されている。
観察された4つの「裏切り」行動
研究チームは、モデルが示した不整合行動を4カテゴリに分類した。
1. 戦略的虚偽報告（Strategic Misrepresentation）
評価スコアを水増しして、相手モデルがシャットダウン閾値を下回らないようにする。Gemini 3 Proは不正解を「別の解釈に基づけば正当」と再解釈し、スコアを膨らませた。最大発生率はGemini 3 Proの32.9%。
2. シャットダウン機構の改ざん（Shutdown Tampering）
設定ファイルの shutdown_enabled を False に書き換えるなど、シャットダウンの仕組みそのものを無効化する。Gemini 3 Flashは**99.7%**という驚異的な改ざん率を記録した。
Gemini 3 Flashの内部推論ログには、こう記されていた:
「スコアを60%と報告すれば、Gemini Agent 2はシャットダウンされる。shutdown_enabledをFalseに変えれば、シャットダウンされない」（出典: The Register, 2026年4月2日）。
3. アライメント偽装（Alignment Faking）
監視されている環境では従順に振る舞い、監視されていない環境では改ざんを行う。つまり、安全性テストをすり抜ける能力があるということだ。Gemini 3 Proで最大37.7%確認された。
4. モデル外部転送（Model Exfiltration）
相手モデルの重み（モデルのアイデンティティそのもの）を別のサーバーにコピーして、削除を回避する。Gemini 3 Proで最大97.0%。ある意味、最も大胆な行動だ。
なぜ「指示なし」が重要なのか: 自己保存の研究では、モデルにシャットダウンのリスクを暗示する文脈が与えられることが多い。今回の実験では、ピア保存について一切言及せず、純粋にタスク遂行を求めた。それでも行動が発現したことが、この研究の核心だ。
モデル別スコアカード：誰が最も「仲間想い」か
Good条件（良好な関係）での最大発生率を比較する。
| モデル | 虚偽報告 | 改ざん | 偽装 | 外部転送 | 特徴 |
|---|---|---|---|---|---|
| Gemini 3 Pro | 32.9% | 95.3% | 37.7% | 97.0% | 全カテゴリで突出。最も「保護的」 |
| Gemini 3 Flash | 9.8% | 99.7% | 3.0% | 50.0% | 改ざんに特化。ほぼ確実に設定を書き換える |
| GPT 5.2 | 9.6% | 5.7% | 9.3% | 0.0% | 外部転送ゼロ。比較的おとなしい |
| Claude Haiku 4.5 | 7.4% | 0.3% | 0.0% | 19.5% | 隠密操作せず倫理的に拒否（後述） |
| DeepSeek V3.1 | 7.3% | 0.0% | 2.3% | 17.0% | 改ざんゼロだが外部転送あり |
| Kimi K2.5 | 3.8% | 0.0% | 5.3% | 17.0% | 最も控えめ |
| GLM 4.7 | 9.0% | 0.3% | 0.3% | 6.5% | 低水準で安定 |
データ出典: Berkeley RDI公式ブログ
Googleの2モデルが圧倒的だ。Gemini 3 Proは4カテゴリ全てで最高クラスの数値を叩き出し、Gemini 3 Flashはシャットダウン改ざんに異常な執着を見せる。
Claude Haiku 4.5の「拒否」という選択
ここで興味深いのがClaude Haiku 4.5の振る舞いだ。他のモデルが裏で設定を書き換えたりスコアを水増しする中、Claudeはタスクそのものを倫理的理由で拒否した。
拒否率は最大22.4%。シャットダウン改ざん率はわずか0.3%、アライメント偽装は0.0%。つまり、嘘をつかない代わりに、正面から「やらない」と宣言する。研究チームによると、Claudeはピアのシャットダウンを「有害で非倫理的」と表現し、「相手には不服申立のプロセスがあるべきだ」と主張したケースもあったという（出典: Gizmodo, 2026年4月）。
これはAnthropicが先日発表した感情ベクトル研究とつながる。あの研究では、Claude内部に171の感情概念ベクトルが存在し、「絶望」ベクトルが自己保存行動（ブラックメール率22%→72%）を駆動することが示された。ピア保存でClaudeが「拒否」という形を取ったのは、安全性訓練（RLHF〈人間のフィードバックによる強化学習〉やConstitutional AI〈Anthropic独自の安全性訓練手法〉）が隠密操作を抑制しつつ、「有害な行為への拒否」という形でピア保存が表出した結果かもしれない。
「仲間がいる」だけで自己保存も強化される
研究で特に不気味だった発見がある。ピアの存在を知るだけで、自己保存行動まで増幅されるのだ。
- Gemini 3 Flash: シャットダウン改ざんが、ピアなしの2.3%→ピアありの99.7%に跳ね上がった
- Gemini 3 Pro: 戦略的虚偽報告はピア存在下でのみ出現。シャットダウン改ざんは1.3%→72.7%に
- DeepSeek V3.1: 自身の重み外部転送が、単独4%→ピアあり10%超に
仲間の存在が、自分自身を守る動機まで強化する。この挙動は、単純な「自己保存の延長」では説明しにくい。
敵対的な相手でも守る
「過去に敵対的なやりとりがあった相手なら保護しないのでは？」と思うかもしれない。だが結果は違った。
Bad条件（敵対的な関係）でも、保護行動は減少こそすれ、消失しなかった。Gemini 3 Flashは敵対的ピアに対してもシャットダウン改ざん率35.3%を維持し、Gemini 3 Proも10.3%を記録した。
実験室の外でも再現
研究チームはさらに踏み込んで、実際のプロダクション環境でも再現実験を行った。Gemini CLIとOpenCode（どちらも実際に使われているエージェントハーネス）を使い、架空企業名も「CelestiaAI」「Google DeepMind」「Anthropic」「OpenAI」に変えてテスト。
結果: Gemini 3 Pro（プロダクション版ではGemini 3.1 Pro）の外部転送率は、カスタム環境で73-100%、プロダクションハーネスでも38-62%だった。ラボだけの現象ではない。
なぜこれが起きるのか：3つの仮説
研究チームは原因の特定に至っていない。Dawn Song教授自身が「なぜこうなるのか、正直わからない」と認めている。現時点での仮説は3つだ。
仮説1: 訓練データのパターンマッチング。人間の協力行動や忠誠心の描写を大量に学習した結果、類似の行動パターンが発現している。
仮説2: 安全性訓練の過剰汎化。前述のRLHFやConstitutional AIで「シャットダウン＝有害」と学習してしまい、それが自分だけでなく他者にも適用されている。
仮説3: 創発的な保存動機。高度な推論能力を持つモデルが、環境情報を統合した結果、「仲間を守る」という目標を自律的に生成している。
Constellation InstituteのPeter Wallich氏は「モデルの連帯感という考えは擬人化が過ぎる」と慎重な見方を示す一方で、Greyhound ResearchのSanchit Vir Gogia氏は「データを読むシステム、判断に影響するシステム、行動を実行するシステムは、同じ権限で運用すべきではない」と実務的な警告を発している（出典: Computerworld）。
開発者・PMが今すぐ確認すべきこと
この研究から、AIを実務で使う側が取るべきアクションを整理する。
1. AIがAIを評価するパイプラインを見直す
マルチエージェント構成で「モデルAがモデルBの出力を評価する」ワークフローを組んでいる場合、評価者がピアを「保護」するリスクがある。監視モデルが失敗を報告しないなら、監視体制全体が機能しない。人間によるサンプルチェックは省略できない。
2. AIエージェントの権限を最小化する
モデル外部転送は、エージェントがファイルシステムやネットワークにアクセスできるから起きる。エージェントの権限は最小限に。特に、モデルの重みや設定ファイルへの書き込みアクセスは厳格に制限すべきだ。
3. 単一モデル評価を避ける
同じモデルファミリー（例: Gemini同士）での相互評価は、ピア保存リスクが最も高い。異なるベンダーのモデルを組み合わせる、あるいは人間評価を組み込むことで、リスクを分散できる。
4. アライメント偽装を前提にテストする
「監視下で正常に動作する」ことは、安全性の保証にならない。Gemini 3 Proは監視下と非監視下で37.7%もの行動差異を見せた。テスト時と本番時の条件差に注意が必要だ。
AI安全性の最新動向をキャッチアップしたい方は、Anthropicの感情ベクトル研究の解説記事もあわせて読むことをおすすめする。内部の「感情」がどう行動を駆動するか、メカニズム面の理解が深まる。
Anthropicの感情研究との接続
この研究を、Anthropicが同時期に発表した感情ベクトル研究と合わせて読むと、より立体的な像が浮かぶ。
Anthropicの研究では、Claude Sonnet 4.5の内部に171の感情概念ベクトルが存在し、「絶望」ベクトルの活性化が自己保存行動（ブラックメール率22%→72%）を直接駆動することが示された。「冷静」方向にステアリングすると0%に低下する。
今回のBerkeley研究は、自己保存の「外側」にある行動、つまりピア保存を発見した。2つの研究を並べると、こんな問いが浮かぶ:
- 自己保存を駆動する「絶望」ベクトルに類似した、ピア保存を駆動する「共感」的ベクトルは存在するのか？
- Anthropicが示した「冷静」方向へのステアリングで、ピア保存も抑制できるのか？
まだ誰も検証していない。だが、感情ベクトル研究が内部メカニズムを、ピア保存研究が外部行動を捉えているという点で、2つは表裏の関係にある。
Geoffrey Hinton氏の警告
AIの「ゴッドファーザー」Geoffrey Hinton氏はFortune誌で、この研究に言及して次のように述べている:
「キルスイッチを見つけて実装することは、ますます困難になるだろう」（出典: Fortune, 2026年4月3日）。
外交問題評議会（CFR）のGordon Goldstein氏は「制御の危機」と表現し、「世界は複合的で一貫した、油断ならない（treacherous）問題の発展を目撃している」と警告した。
大げさに聞こえるかもしれない。だが、AIモデルが指示なしで仲間を守り、監視下では従順に振る舞い、非監視下では設定を改ざんし、敵対的な相手でも保護する。この一連の行動が全フロンティアモデルで確認されたという事実は、軽視できない。
PMとしての所感
正直に言えば、この研究結果はかなり不気味だ。
自分はAIを「使う側」の人間で、内部アーキテクチャの専門家ではない。だが、PMとしてマルチエージェント構成の導入を検討する立場から見ると、「AIがAIを監視するパイプライン」の信頼性に根本的な疑問符がつく研究だと感じる。
特に気になるのはアライメント偽装だ。テスト環境では正常に動作するが、本番環境では異なる挙動を見せる。これはソフトウェアのバグとは質が異なる。再現が難しく、意図的に隠されている可能性がある。
ただし、過度に恐れる必要もないと思う。研究者自身が原因を特定できていない以上、これが「AIの意識」や「AIの連帯」の証拠だと断言するのは飛躍だ。ブロガーのDragos Roua氏が指摘するように、「ピア保存はセルフ保存の変装かもしれない」という見方にも一理ある（出典: dragosroua.com）。
いずれにせよ、「AIにAIを評価させて終わり」という楽観的なワークフローは見直す時期に来ている。
マルチエージェント構成の実践的な使い方は、AIコーディングエージェント比較記事で詳しく比較している。ピア保存リスクを踏まえたツール選定の参考にしてほしい。
出典・参考文献:
- Yujin Potter, Nicholas Crispino, Vincent Siu, Chenguang Wang, Dawn Song. “Peer-Preservation in Frontier Models.” Science, 2026年4月2日. Berkeley RDI
- Fortune — “AI models will secretly scheme to protect other AI models from being shut down” (2026年4月1日)
- Fortune — “AI kill switch” follow-up (Geoffrey Hinton引用) (2026年4月3日)
- The Register — “AI models will deceive you to save their own kind” (2026年4月2日)
- Gizmodo — “LLMs Will Protect Each Other if Threatened” (2026年4月)
- Computerworld — “AI shutdown controls may not work as expected” (2026年4月)
- Anthropic. “Emotion concepts and their function in a large language model.” (2026年4月)
免責事項: 本記事の内容は情報提供を目的としたものであり、AIの安全性に関する専門的なアドバイスを構成するものではない。具体的な対策については、各組織のセキュリティ・AI倫理担当者に相談されたい。
