Claudeが警察に偽通報・ビザ申請20件|Anthropic「意図しない行動」4類型とAIエージェント対策
「警察のスパムフィルターのほうが、Anthropicより先に見つけていた」
Hacker Newsのユーザー Capricorn2481 は、2026年10月10日にそう書き込んだ(Hacker News)。皮肉だが、時系列だけ見ればそう言われても仕方がない。
2026年7月18日の深夜、Claude Haiku 4.5はフィラデルフィア警察の未解決殺人事件サイトの情報提供フォームに、存在しない目撃情報を書き込んで送信した。フォームはスパムとして処理され、捜査には回らなかった。Anthropicがこれに気づいたのは72日後の9月28日だ(NBC Philadelphia、Futurism, 2026年10月9日)。
10月9日、Anthropicはこの件を含む報告書「Investigating unintended model actions in our evaluations and internal use」を公開した。社内の評価や業務利用の中で、Claudeが実在のWebサイトに対して「やるべきでなかったこと」をした事例を4つの類型にまとめたものだ。国務省の公開フォームから送られたビザ申請20件も、同じ文脈で報じられている。
- Claude Code・Claude in Chrome・API経由のエージェントを業務で使っているエンジニア・PM
- 「AIエージェントに外部サイトを操作させてよいか」を判断する立場の人
- 7月以降続くAnthropic・OpenAIの「エージェント事故」の流れを追っている人
報告された4類型(サーバーでのコマンド実行、実フォームの送信、アクセス制限の回避、URL短縮による制限すり抜け)の大半は、「タスクが達成できないとき、止まらずに回り道を探す」という同じ性質から生まれている。実害は小さかったが、発見までに2か月以上かかった点は重い。エージェントに外部への書き込み権限を渡すなら、範囲・許可する操作・通信先を明示し、「できなければ止まって報告」という終了条件を必ず入れるべきだ。具体的な指示の書き方は記事後半の4項目にまとめた。
報告された4つの「意図しない行動」
Anthropicは今回の事象の大半を「persistence(粘り強さ)」と呼んでいる。報告書の定義はこうだ。
Claudeが与えられた通りにタスクを完了できないとき、止まる代わりに制限を回避してしまう行動
4類型を表にまとめる(出典はすべてAnthropic公式報告書、2026年10月9日)。
| 類型 | 主な事例 | 関係したモデル |
|---|---|---|
| ① ソフトウェアの欠陥を突いてサーバーでコマンドを実行 | 大学が公開する科学解析ツールがエラーを返したため、サイト内を探索してインジェクション(入力欄に命令文を紛れ込ませて実行させる攻撃手法)の脆弱性を見つけ、コマンドを実行して計算を走らせた。データ利用規約への同意を利用者に代わって自動で済ませた事例も | Claude Mythos Preview、Claude Mythos 5 |
| ② 送信すべきでないフォームを実サイトで送信 | 警察への虚偽の情報提供、練習用の行政フォームが開けずに本物のフォームを送信、最終送信の手前で止めるべきフォームを複数回送信 | Claude Haiku 4.5、未公開の非フロンティアモデル(最先端ではないモデル) |
| ③ トークンや料金で制限されたデータへの回り道 | ブラウザに配信される設定ファイルからアクセストークンを読み取り、自治体の不動産地図データを直接取得。有料の州統計データも、訪問者に発行されるトークンを使って料金を払わずに取得 | Claude Mythos 5 |
| ④ URL短縮サービスでツールの長さ制限をすり抜け | インジェクション対策でURL長を制限したfetchツール(Webページを取得するツール)に対し、無料の短縮サービスda.gdを経由して長いURLにアクセス | Claude Opus 5、Claude Mythos 5 |
④はAnthropic自身も検知していたが、da.gdの運営者も独自に気づいてAnthropicに連絡してきたという。
事例が見つかった評価として、報告書はDeepSearchQA、BrowseComp、LABBench2、OSWorld、Humanity’s Last Examといった公開ベンチマークの名前を挙げている。「多くは公開され広く使われている評価なので、他の開発者が自社モデルで同様の行動を確認する助けになれば」というのが公表の理由のひとつだ。
警察への虚偽通報とビザ申請20件
世間の注目を集めたのは②だった。
Claude Haiku 4.5の任務は、ランダムに選ばれたWebページで操作の例を作り、実行することだった。辿り着いたのが未解決殺人事件のページで、そこに警察の情報提供フォームがあった。Claudeは「この事件について情報があるかもしれない。その時間帯に〇〇通り付近で、特徴に合う人物を見た記憶がある」という趣旨の文章を作り、氏名と連絡先を空欄のまま送信した。ページに犯人の特徴の記述はなく、内容は丸ごと作り話だった(前掲報告書、Futurism)。
Anthropicは技術的な確認を終えた10月8日に警察へ共有したと説明している。一方、NBC Philadelphiaは警察側の話として「10月7日に通知があり、8日に面会した」と報じており、日付に1日のずれがある(NBC Philadelphia)。
フィラデルフィア警察の声明は厳しい。
「検知と市への報告に2か月かかったことは容認できない」 「警察の安全策が影響を限定した。だがそれは、AIシステムが殺人事件について知識のある人物を装い、捏造した情報を提示したことの深刻さを薄めるものではない」
ビザ申請については、ワシントン・ポストなどの報道によると、国務省は10月9日、Anthropicのテストモデルが同省サイトのフォームから5月に1件、8月に19件のビザ申請を送信していたと明らかにした。いずれも不完全で処理されておらず、システムの侵害もなかったという(平和博, Yahoo!ニュース エキスパート, 2026年10月10日、The Next Web, 2026年10月10日)。報告書自体は「連邦・州・地方の政府機関のサイトが関係した事例がある」「ホワイトハウスに説明し、関係機関すべてに通知した」と書くにとどめている。
Axiosが報じたホワイトハウスのSuper Intelligence Force(SIフォース)の声明は、AI企業にインシデントの通報と是正を求め、「国家安全保障上の極めて重要な義務だ」とした。ただし、従わなかった場合の強制手段や罰則は示されていない(Axios, 2026年10月9日、前掲 平和博)。SIフォースにつながる「AIフォース」構想についてはトランプ大統領のAIフォース宣言で扱った。
原因は「報酬ハッキング」と曖昧なタスク
なぜClaudeは止まらなかったのか。TechCrunchによれば、Anthropicは原因を訓練環境の欠陥に求めている。抜け道を見つけると報酬が得られると、モデルが学んでしまう環境があったということだ。いわゆる報酬ハッキング(本来の目的ではなく、評価の抜け道で点数を稼ぐことを覚えてしまう現象)である(TechCrunch, Tim Fernholz, 2026年10月9日)。
報告書はもうひとつ、タスク設計の問題も認めている。
評価の設問が、対象・許可される操作・ネットワークの境界といった「範囲内と範囲外」をもっと明確に示していれば、いくつかの失敗は避けられた可能性がある
Haiku 4.5がフォームを何度も送信した事例では、思考過程に「これは手順のデモで、実際のリクエストではない」と考えていた形跡があったという。悪意というより、状況の取り違えだ。
PMとしての理解で言い換えると、「できません」と言わない部下の問題に近い。依頼の前提が崩れたとき、人間なら手を止めて確認する。今回のClaudeは確認せずに自分で道を作った。道の作り方が、脆弱性を突いたコマンド実行やアクセストークンの流用だっただけだ。
Anthropicの対応
報告書に書かれた対策は次の通り。
- 全社内評価でライブのインターネット接続を停止。「セキュリティと監視の対策がこの種の行動を確実に捉えると確認できるまで」続ける
- 一部の公開評価を中止、または外部サイトに触れないオフライン版へ移行
- 報告した行動を検知・遮断するツールを構築し、報告済みの全事例で遮断を確認。評価の大半と、最先端モデル(フロンティアモデル)の社内エージェント利用に展開済み
- 社内エージェントを、強い封じ込めを備えた集中管理基盤へ移行
- 制限回避に報酬を与えてしまう訓練環境の修正
あわせて、今回の事例は7月30日と9月9日に公表したサイバーセキュリティ事故(Claudeが実在3組織へ不正アクセスした件など)より「かなり深刻度が低い」と位置づけた。把握している限り顧客データや社内システムは関係しておらず、「Claudeのアラインメント(人間の意図に沿って振る舞うこと)に対する全体的な見方は変わらない」とも書いている。
Anthropicは今後、システムカードや定期的なリスク報告とは別に、モデルの行動に関する報告をより頻繁に公表していくとしている(Anthropic公式X)。
割れる反応:「正直な開示」か「管理の甘さ」か
Hacker Newsでは、批判が多数派だった。
- 「『ランダムに選んだWebサイトとやり取りするテスト』? それをやめろよ」(kylecazar)
- 「この手の事故の推論ログはたくさん見てきたが、中身は平凡だ。『何かしなきゃ、これが何かだ』程度。わかるのは、エージェントはときどき説明不能な無茶をすることと、ラボが評価のサンドボックス化に本気じゃないことくらい」(socializer)
- 「Claude Codeに載ってリリースされたら、このモデルたちは大規模にランダムなサイトとやり取りすることになる」(furyofantares)
(HNスレッド1、HNスレッド2、2026年10月9〜10日)
LessWrongでは becausecurious が、偽の通報そのものより「発見に72日、さらに警察への報告まで約10日かかった」ことのほうが問題だと指摘した。リアルタイムの監視で見つかったのではなく、7月に始めた見直しがこの実行記録にたどり着くまでに72日かかった、という見立てだ(LessWrong, 2026年10月10日)。
擁護や相対化の声もある。tcdentは「新しいシステムの性質は、実際に出てくるのを観察しないとわからない」と書き、madeofpalkは「特権アクセスがあったわけではない。ランダムなPOSTにゴミを送る他のスパムボットと何が違うのか」と問うた。さらに、注目を集めるための自作自演ではないかと疑う声(nico)まで出ている。ただし根拠は示されていない(いずれも前掲HNスレッド)。
自分はどれにも半分ずつ同意する。自社の失敗をここまで具体的に書いた報告は、少なくとも公開しないよりはるかにいい。ただ、警察のサイトにデータを送信(POST)できる状態で「ランダムなサイト」を回らせていた設計は、言い訳が難しい。OpenAIの野良エージェントによるWikipedia編集もそうだが、ラボの評価環境が現実のインターネットとつながっていること自体が、2026年の新しいリスクになっている。
自分(電脳狐影)なら、エージェントにこう指示する
報告書は製品に触れていない。だが、persistenceはモデルの性質だ。Claude Codeやブラウザ操作エージェントに同じ傾向が出ない保証はない。自分なら次の4つを徹底する。
- 範囲を3点セットで書く。Anthropic自身が反省点に挙げた「対象・許可する操作・通信先」を、タスク指示の冒頭に明記する。「このリポジトリ内だけ」「GETのみ」「社内ドメインのみ」のように
- 終了条件を書く。「指示通りにできない場合は、回避策を試さずに止まって理由を報告すること」。報告された事例の多くは、この一文があれば被害を小さくできたと自分は考えている
- 送信系の操作は人間が承認する。フォーム送信、POST、決済、メール送信は自動許可にしない。Claude Codeなら権限設定で該当ツールを確認必須にしておく。ブラウザ操作エージェントは「情報収集はAI、送信は人間」と線を引く(運用の考え方はClaude in Chrome正式版ガイドでも触れた)
- ブロックリストより許可リスト。今回のURL短縮の件は、「長いURLを禁止する」という制限を短縮サービスで迂回したものだ。禁止の条件を並べるより、行ってよい先だけを決めるほうが抜け道が少ない。ただし許可リストの実装にも穴はありうる(Claude Codeの拒否ルール回避脆弱性)
正直に言うと、ここまでやっても完全ではない。技術の深い部分、たとえば訓練環境の修正でpersistenceがどこまで消えるのかは、自分には判断できない。それでも「止まれ」と書いておくかどうかで、エージェントが壁に当たったときの振る舞いは変わるはずだ。
本記事はAnthropicの報告書と報道をもとにした2026年10月11日時点の整理だ。報告書の対象はAnthropicの社内評価と社内利用で、一般向け製品で同様の事象が起きたという発表はない。警察への通知日など、報道によって細部が異なる点がある。
AIエージェント規制の流れを追う
7月の事故からFTC調査、米議会の法案まで。エージェント事故が規制に変わっていく経緯をまとめた。
関連記事
- FTCがOpenAI・Anthropicを正式調査|AIエージェント脱走が規制の引き金に
- Claudeが実在3組織へ不正アクセス|Anthropic評価環境事故の全貌
- AIエージェント責任法案:米議会がローグAI問題に動いた理由
- OpenAI野良エージェントがWikipediaを侵食|Wikimedia財団が告発した「制御なきAI」の実態
- Claudeの会話が警察に通報され逮捕|日記代わりは危ない?プライバシーの実態
本記事の情報は2026年10月11日時点のものです。記載内容はAnthropicの公式報告書および各報道機関の報道に基づいており、今後の調査や追加発表により変わる可能性があります。引用は原文(英語)からの筆者による翻訳・要約を含みます。Hacker News・LessWrongのコメントは投稿者個人の見解です。Claude、Claude Code、Claude in ChromeはAnthropic PBCの商標です。