ClaudeがRocqで123のOSSライブラリを形式検証|数兆回テストが逃した欠陥を発見
Hacker Newsのあるエンジニアがこう書いた。「形式検証は小さなコードベースか、専門家が膨大な時間を費やすかでなければ機能しなかった。今日まで」。2026年10月22日、AnthropicとTheoremが共同で発表したレポートが、その「今日まで」に終止符を打つ可能性を示した(出典:aiweekly「Anthropic Says Claude Formally Verified 123 OSS Libraries in Rocq」、2026年11月3日)。
- OSSライブラリへの依存リスクを管理したいセキュリティエンジニア
- 形式検証の可能性と限界を知りたい開発者・研究者
- LLMがソフトウェア開発に与える長期インパクトを追うPM
- サプライチェーン攻撃やメモリ安全性問題に関心のある方
AnthropicのFrontier Red TeamとTheoremが、Claudeを使ってGoogleのOSS-Fuzz由来123ライブラリ・239エントリポイントにRocq形式証明を生成した。証明はソースではなくRISC-Vアセンブリが対象。生成されたRocqは最終的に約1億8000万行に達し、数百件のバグを検出。うち一部は数兆回の自動テストをすり抜けていた。ただし「証明済み=バグゼロ」ではなく、あくまで特定条件下でのクラッシュ不能性だ。Theorem LabsはOSSプロジェクト向けに無償のOSS Verifyプログラムを開始した。
何を証明したか:手法とスケールの全貌
今回の対象はGoogleが運営するOSSのファジングインフラ「OSS-Fuzz」だ。同プロジェクトには1200以上のOSSプロジェクトのファズテストが集まっており、業界で広く使われているライブラリが多数含まれる。AnthropicとTheoremが選んだのはその中から123ライブラリ、239のファズエントリポイントだ(出典:devops.com「Claude Writes 180 Million Lines of Proofs」)。
証明が対象とするのはソースコードではなく、コンパイル後のRISC-Vアセンブリだ。TheoremがRISC-V命令セットとLinuxプロセス動作の形式モデルを提供し、ClaudeがRocq証明を書いた。各ファズテストがspecになり、「64MB以下の任意入力でこのコードがクラッシュしない」という命題をRocqチェッカーが機械的に検証する。
Claudeは試行段階で約10億行のRocqを生成し、最終的に機械検証を通ったのは約1億8000万行だった(出典:devops.com、X: AGTPinsights)。現在公開されているのは25ライブラリ・60エントリポイントの証明で、残りは未パッチのバグを露出させる恐れがあるとして非公開になっている。
ClaudeはどうやってRocq証明を書いたか
Rocqは学術的な定理証明支援系であり、AIがその証明を自動生成するのは近年まで困難とされてきた。今回のパイプラインでClaudeは各ファズターゲットに対してRocq証明の草案を生成し、Rocqチェッカーがエラーを返すとClaudeがそれを修正する、というループを繰り返した。
注目すべきはLean(数学の形式証明でよく使われる別のシステム)ではなくRocqを選んだ点だ。Theoremが既存のRISC-V形式モデルをRocqで持っていたことが主な理由だ。証明の信頼チェーンは最終的に「RISC-V命令セットのモデル」「Linuxプロセス動作のモデル」「定理の記述」「Rocqチェッカー自体」の4つに集約される(出典:kingy.ai「Anthropic Formal Verification: Claude’s Proofs and Their Limits」)。ユーザーが信頼する必要があるのはこの4点だけだ、とAnthropicは述べている。
XのAGTPinsightsはこの手法について「形式検証がこれまで専門家しか扱えなかったのは、仕様を書くことと証明を書くことに膨大な専門時間が必要だったからだ。ClaudeはLLMの推論能力でその両方を自動化し始めた」と評している(出典:X: AGTPinsights)。
数百件のバグ:テストが見逃し続けていたもの
今回の作業で検出されたバグは数百件に上り、うち一部は数兆回の自動テストをすり抜けてきたものだ(出典:aicybr.com「Claude Proves 239 OSS-Fuzz Entry Points」)。これはファジングの根本的な限界を示している。ファジングは「試した入力では動いた」という証拠を積み上げる手法だ。しかし入力空間は無限大であり、特定の組み合わせでのみ発現するバグはどれだけテストを回しても検出されない。
Anthropicによれば、Claudeはバグを発見した際にその修正も行いながら証明を進めた。証明が通らない原因がコードのバグにある場合、そのバグを修正してから証明を完成させるというフローだ。
Hacker Newsのあるコメントはこの側面に着目し、「形式検証が面白いのは、テストのカバレッジが100%でも絶対に捕まえられないクラスのバグが実在することを証明できる点だ」と書いた(出典:HN discussion on Anthropic formal verification)。セキュリティ研究者のTweagも「形式証明の最大のコストは証明のメンテナンスだが、バグ密度が高い領域では初期コストを上回るリターンがある」と分析している(出典:Tweag「2026-09-10: Formal Proofs and LLMs」)。
「証明済み=バグゼロ」ではない:限界と信頼の条件
Anthropic自身がはっきり認めている。「形式検証を行ったことはバグゼロを意味しない」と。今回の証明が保証するのは、シングルスレッドかつ静的リンクされたmusl libc環境下で動くRISC-Vバイナリが、64MB以下の入力でクラッシュしないという一点だ。
AddressSanitizerが検出しないタイプのメモリバグ、マルチスレッドでの競合状態、ライブラリを呼び出す側のコードの誤用はすべて対象外だ(出典:kingy.ai)。Hacker Newsの別のコメントは「証明はspecに対して正確なだけで、specが実態を正しく表しているかは別の問題だ。過去にLLM生成のLean証明で、形式記述が散文の主張と一致していない例がある」と指摘した(出典:HN discussion)。
また今回の証明はソースコードではなくコンパイル後のアセンブリに対するものだ。コンパイラのバグがあれば、ソースが正しくてもアセンブリは誤りうる。開発者が実際に信頼すべきものはRISC-Vモデル・Linuxモデル・定理記述・Rocqチェッカーの4層だ。これはゼロではないが、従来の「テストをたくさん回した」よりも確固とした基盤ではある。
さらに実運用上の課題がある。Tweagが指摘したように、証明はコードが変わるたびにメンテナンスが必要だ。Rustの場合は型システムである程度カバーできるが、C/C++ライブラリが多いOSS-Fuzzプロジェクトでは、コード変更のたびに証明を更新するコストが重くのしかかる可能性がある。
ファジングの次の標準になるか:普及への壁と可能性
Anthropicは今回の発表で踏み込んだ予測を示した。「LLMが形式検証のコストを下げることで、近い将来ファジングと同程度に実用的な手法になる」というものだ。ファジングが2000年代初頭に普及し、今や多くのCI/CDパイプラインに組み込まれているように、形式検証も将来的には日常的なツールになる可能性がある。
Theoremはこの流れを加速させるため、オープンソースプロジェクト向けの無償プログラム「OSS Verify」を立ち上げた。OSSメンテナが申し込めば、同じパイプラインで自分たちのプロジェクトを検証できる(出典:X: AGTPinsights)。
ただし現実的な壁もある。ある開発者はHNで「RustのPostgresリライトでLean/Rocqを使った経験があるが、うまくいくのは独立した関数レベルの検証だ。大規模なステートフルなシステムに拡張しようとすると証明の複雑さが爆発する」と書いた(出典:HN discussion)。LLMが扱いやすいのは局所的な関数レベルの性質であり、システム全体の振る舞いを証明するには依然として大きな課題が残る。
今回の発表は、AIが数学的証明という分野でOpenAI AstraのLean証明やDeepMindのAlphaProof Nexusと並ぶ実績を積み始めたことを示している。しかし数学の定理証明と実際の生産コードの検証は異なる。数学的定理はspecが明確だが、プロダクションコードのspecを誰が書き、メンテするかという問いは答えが出ていない。
AnthropicはCVP(Cyber Verification Program)を通じてセキュリティ組織へのアクセスを拡大しているが(参照:Anthropic CVP 3層構造)、今回の形式検証の取り組みはその技術的裏付けともいえる位置づけだ。
形式検証やAIセキュリティの最新動向を継続してフォローしたい方は、ニュースレター登録でお届けします。
関連記事
- 56年来の数学難問をAIが解いた|DeepMind AlphaProof Nexusの衝撃と限界
- OpenAI Astra:未解決数学10問をLean 4証明付きで解決
- AnthropicのCVP 3層構造|Claude Mythosがセキュリティ企業へ開放
- CursorのClaude Code拡張がSSHバックドアに汚染|5000人への影響と対処法
本記事は公開情報をもとに執筆した。Anthropicおよびウェブ上の二次報道を出典としており、すべての数値は公開時点のものだ。証明ファイルの一部は非公開のため独自検証は行っていない。セキュリティ方針や技術採用の判断には、必ず一次情報と自社環境での検証を行うこと。