#ベンチマーク

8件の記事

Elon MuskがGrok 4.5のprivate betaをSpaceX・Teslaで開始。1.5T V9モデルにCursorデータを追加学習し「Opusに匹敵」と主張するが独立ベンチマークはゼロ。Cursorユーザーが知るべき現実。

Claude Fable 5公開: SWE-Bench 80.3%の実力とガードレール論争

本日一般公開のClaude Fable 5はMythos同一モデルにセーフガードを追加。SWE-Bench Pro 80.3%、$10/$50の価格設定と「Ferrariに30mphリミッター」批判の実態を整理。

2026年5月にGAしたGemini 3.5 Flash。Terminal-Bench 76.2%でGemini 3.1 Pro超え、$1.50/$9で289トークン/秒。Claude・GPT-5.5との使い分けをPM視点で整理。

Redditで2300票の「退化」批判とCopilot 15倍請求問題を整理。SWE-bench 87.6%の実力と炎上の真因、移行コストを正直に評価する。

Gemini 3.1 Proのスペック・料金・ベンチマークを徹底解説。GPT-5.4・Claude Opus 4.6との比較や開発者の本音、PMとしての評価を日本語で詳説。

Nature誌掲載のAIベンチマーク「Humanity's Last Exam」を解説。Claude Opus 4.6やGemini 3 Proなど主要モデルのスコア比較、方法論の強みと弱点、そしてこの試験が示すAIの現在地。

Claude Sonnet 4.6はSWE-bench 79.6%でOpusとの差が1.2ptに縮小。価格はSonnet据え置きの入力$3/出力$15。adaptive thinking・1Mコンテキストの新機能とAPI移行手順、GPT-5.2・Gemini 3 Proとの競合比較を解説。

Gemini 3 Deep Thinkの使い方・料金・始め方を図解で解説。ARC-AGI-2で84.6%を達成した推論AIの実力を、GPT-5・Claude Opus 4.6と徹底比較。無料枠の制限やGoogle AI Ultra（月額36,400円）の費用対効果まで網羅。