2026年5月27日に発表されたITBench-AAは、AIエージェントのエンタープライズITタスクにおける性能を評価する初のベンチマークである[huggingface.co]。特にKubernetes環境におけるサイト信頼性エンジニアリング（SRE）のインシデント対応に焦点を当て、ログの読み取りや依存関係の追跡、根本原因の特定といったライブシステム診断能力を試す[huggingface.co]。評価の結果、Claude Opus 4.7が47%でトップに立ったものの、GPT-5.5 (xhigh) が46%、Qwen3.7 Maxが42%と、フロンティアモデルの多くが正答率5割未満に留まることが明らかになった[huggingface.co][themodelwire.com]。
ITBench-AAの評価方法論は、真の根本原因を超えて追加の寄与エンティティを提出するモデル（偽陽性）をペナルティの対象とする[出典2]。これは、AIエージェントの推論ループにおける「過剰分析エラー率」を直接的に評価するものである[出典2]。調査によれば、より多くのターンを費やして推論を行うモデルが、必ずしも高い精度を達成するわけではない[出典2]。むしろ、過剰な調査によって無関係な事象を誤検知する「空回り」が目立ち、スコアを押し下げていると見られる。AIが「何が本質的な原因か」を判断する能力には、依然として発展の余地があると言える。
コストパフォーマンスの観点からも、ITBench-AAは重要な示唆を与えている。オープンウェイトモデルのGemma 4 31B (Reasoning) は37%のスコアを記録し、GoogleのGemini 3.1 Pro Previewの30%を上回った[artificialanalysis.ai][artificialanalysis.ai]。さらに、Gemma 4 31Bのタスクあたりのコストは0.14ドルであり、Gemini 3.1 Pro Previewの2.23ドルと比較して大幅に低い[artificialanalysis.ai]。この結果は、企業がAIエージェントを導入する際、単純なモデルサイズやコストだけで判断すべきではないことを物語っている。特定のタスクに最適化されたモデルの選定こそが、実用化の鍵を握ると見られる。
ITBench-AAは今後、財務運用（FinOps）やセキュリティ（CISO）のタスクにも拡大される予定である[huggingface.co]。現在のフロンティアモデルでさえ、SREやFinOps等のシナリオのごく一部しか解決できていない状況だ[出典4]。このベンチマークが示す通り、現在のLLM性能と本番環境で自律的にITタスクを実行できるレベルとの間には大きな能力ギャップが存在する[出典4]。AIエージェントが真の自律性を獲得するためには、単なる推論能力の向上だけでなく、ノイズの中から真因を特定する「判断の鋭さ」をいかに磨くかが次なる技術的障壁となるだろう。
