OPENAI SEARCH INSIGHT

2026.08.10 / OpenAI最新情報

OpenAI、SWE-Bench Proの約3割に不備 推奨を撤回

この記事で分かること: OpenAIがSWE-Bench Proで確認した評価上の問題、その調査方法、AIコーディング能力の評価に及ぼす影響を知りたい。

OpenAIは2026年7月8日、AIモデルのコーディング能力を測るベンチマーク「SWE-Bench Pro」を分析した結果、データセットの約30%に評価を損なう問題があると推定したと発表しました。OpenAIは、今回判明した問題を踏まえ、以前に示していたSWE-Bench Proの採用推奨を撤回しています。

問題のある課題では、正しい機能を実装していても特定の実装方法を要求するテストによって不合格になる、あるいは設問に書かれていない要件を隠しテストが求める、といった事例が確認されました。OpenAIは、こうした評価の欠陥がモデル能力への誤解や、安全性判断の誤り、研究の優先順位への影響につながり得ると説明しています。

OpenAIがSWE-Bench Proの調査結果を公表

今回の発表は、OpenAIのResearchカテゴリで公開された「Separating signal from noise in coding evaluations」に基づくものです。OpenAIは、モデルの能力を正確に測定することが、適切な配備と安全性に関する判断に不可欠だと位置付けています。

これは、OpenAIのPreparedness Frameworkに関係する判断も含むとしています。

OpenAIはモデルを公開するたび、進歩を追跡する目的で、外部・内部の複数ベンチマークの結果を報告しています。一方で、評価そのものに結果を左右する欠陥があれば、能力を実際とは異なって理解してしまうおそれがあります。安全性を裏付ける根拠が誤って表現されるほか、研究開発で何を優先すべきかという判断にも影響し得る、というのが同社の問題提起です。

SWE-Bench Proとは何を測る評価なのか

SWE-Bench Proは、ソフトウェア開発におけるエージェント型AIのコーディング能力をより適切に追跡することを目指して設計されたベンチマークです。OpenAIによると、先行する「SWE-bench Verified」を改善する目的で、より長い作業期間と、より現実に近いコーディングタスクを扱うようにしたものです。

課題は、公開・非公開のリポジトリにおける機能変更の履歴からプログラムで抽出されます。モデルには、新機能のために追加されたテストを通過しつつ、既存の機能を壊さない解決策を実装することが求められます。731課題からなる公開分割では、最先端モデルの合格率が8カ月間で23.3%から80.3%へ上昇していました。

しかし、スコアの急伸だけでは、モデルが実務的なソフトウェア開発能力をどこまで獲得したのかを判断できません。課題文、テスト、正解とされる修正内容の間にずれがあれば、合格・不合格のいずれも能力を正確に示さない可能性があるためです。

約3割の課題に見つかった4種類の問題

OpenAIは、SWE-Bench Proのデータセットをデータポイント分析パイプラインで調査しました。このパイプラインは、モデルによる課題への試行、課題のメタデータ、失敗時のトレースを確認し、評価上の欠陥が疑われる課題を抽出する仕組みです。

その結果、同パイプラインは200件、全体の27.4%を壊れた課題として検出しました。経験豊富なソフトウェアエンジニアによる人手のアノテーションでは249件、34.1%が壊れていると判定されました。OpenAIはこれらを踏まえ、SWE-Bench Proの課題のおよそ30%に問題があると推定しています。

• 過度に厳格なテスト：課題文で指定されていない実装の細部まで要求し、機能として正しい提出を不合格にする問題です。
• 要件が不十分な課題文：隠しテストが求める要件が設問に書かれておらず、合理的に推測することも難しい問題です。
• カバレッジが低いテスト：要求された機能を十分に確認していないため、不完全な修正でも合格してしまう問題です。
• 誤解を招く課題文：モデルを誤った挙動へ導いたり、テストが求める内容と矛盾したりする問題です。

特に、実装方法まで固定するテストは、特定の変更を検証するためには有効でも、複数の妥当な解法を許容する能力評価には適さない場合があります。OpenAIは、機能的に正しい提出まで無効にし得る点を課題として挙げています。

調査はエージェントと人間のレビューを組み合わせた

OpenAIはまず自動フィルターで286件の「問題がある可能性のある課題」を抽出しました。フィルターはモデルへの指示、モデルの解答試行、その解答を採点するテストを横断的に確認します。その後、抽出対象について、人間の監督を伴うエージェント調査と、ソフトウェア開発経験者による人手アノテーションを並行して実施しました。

エージェント調査では、Codexベースの調査エージェントに課題のリポジトリと実行環境へのアクセスを与えました。エージェントはテストの実行、リポジトリ内のファイル確認、モデル試行の失敗パターンの調査などを行い、周辺コードやリポジトリの慣行を調べれば解消できる曖昧さと、真に要件が不足している問題を見分けることを目指しました。

複数回の独立した調査の後、研究者が要約を確認して最終判断を行ったとしています。

人手アノテーションでは、ベンチマークの目的、問題分類、判断が難しい例について訓練を受けた経験者が、各課題を5人ずつレビューしました。レビュー担当者は、課題文、テストケース、正解の参照修正である「gold patch」をまず独立して確認し、その後にパイプライン分析や記録を補助情報として用いました。見解の対立や確信度の低い事例は、追加調査へ回されたとしています。

人間のレビュー担当者は、調査エージェントよりも課題を壊れていると判定する傾向がありました。分類の一致しないケースもあった一方、エージェントのパイプラインが問題ありとした課題のうち、「壊れていない」が人間の最多ラベルになったものはなかったとOpenAIは説明します。エージェントが検出した分類と人間の判断は74%のケースで重なりました。

ベンチマークの欠陥が評価結果を左右する理由

ベンチマークは、同じ条件でモデルを比較し、能力の進展を継続的に測るための基盤です。ただし、その課題が公平でなければ、数値の高さは真の能力を過大に示し、数値の低さは本来できるはずの能力を過小に示す可能性があります。

OpenAIは、評価が有意義なシグナルを提供するには、攻略されにくく、信頼しやすく、能力またはアラインメントを本当に反映している必要があると述べています。

OpenAIによれば、オープンソースのリポジトリにある課題やプルリクエストは、もともと人間同士の協業を目的に作られたものです。保守担当者と貢献者の長いやり取りを経ていることもあり、問題説明、マージされたコード、ユニットテストが、AI評価向けの独立した明確な課題として完全に整合するとは限りません。

同社は、プルリクエストに含まれるテストが特定の変更を検証するために書かれており、実装方法に依存しない解決基準を定義するものではない場合があると指摘します。この構造は、現実的な開発履歴を利用する利点と、標準化された公平な評価を行う難しさが両立しにくいことを示しています。

Agent Memories編集部の考察

以下は公式発表の事実ではなく、Agent Memories編集部の考察です。今回の発表が示す重要点は、AIコーディング評価において「実務に近いデータを使うこと」と「採点可能な評価条件を整えること」は別の課題だという点です。実際のリポジトリ履歴は現実性を持つ反面、当時の文脈、暗黙の合意、特定の修正方針を前提としている場合があります。

また、モデルの性能向上は、ベンチマークの課題を見つけ出す能力も高めます。OpenAIは、モデルが改善したことで、プロンプト、テスト、修正パッチ、実行トレース、例外的なケースを、より深く一貫して調べられるようになったと説明しています。これは、AIを評価対象にするだけでなく、評価データの品質管理にも活用する流れを示すものと考えられます。

ただし、今回の約30%という推定を、あらゆるコーディング評価や全モデルの性能にそのまま当てはめることはできません。公式発表が対象としたのはSWE-Bench Proであり、同ベンチマークの調査結果です。

モデルの比較結果を読む際には、スコアだけでなく、どの課題群を用いたのか、テストが何を測っているのか、データ品質をどのように検証したのかを確認する重要性が増しています。

よくある質問

SWE-Bench Proは利用できなくなったのですか？

OpenAIの公式発表で確認できるのは、同社が以前の採用推奨を撤回したことです。利用停止、提供条件、公開範囲の変更については、この発表本文では示されていません。

OpenAIは何件の課題を問題ありと判断したのですか？

データポイント分析パイプラインでは200件、全体の27.4%が壊れた課題として検出されました。人手アノテーションでは249件、34.1%が壊れていると判定されました。OpenAIは総合して約30%と推定しています。

なぜ人間のレビューとエージェント調査で数字が異なるのですか？

OpenAIは、人間のレビュー担当者の方が壊れた課題と判定する傾向が強く、1つの課題に複数の問題ラベルを付ける傾向もあったと説明しています。エージェントとレビュー担当者の判断には重なりがある一方、問題の見方や分類の違いもありました。

評価の問題はモデルが実際より高く見える場合だけですか？

いいえ。カバレッジの低いテストでは不完全な修正が合格し、能力を過大に示す可能性があります。一方、過度に厳格なテストや要件不足の課題文では、機能的に妥当な解答が不合格となり、能力を過小に示す可能性があります。

まとめ

OpenAIはSWE-Bench Proを監査し、過度に厳格なテスト、要件不足の課題文、カバレッジの低いテスト、誤解を招く課題文という4類型の問題を確認しました。調査パイプラインでは27.4%、人手アノテーションでは34.1%が壊れた課題と判定され、同社は全体の約30%に問題があると推定しています。

OpenAIは、こうした結果を受けてSWE-Bench Proの採用推奨を撤回しました。今後は、経験豊富なソフトウェア開発者がモデル能力の評価を目的に設計し、人間による監督をより適切に組み込んだ新たなベンチマークの開発を、評価コミュニティに期待するとしています。

本カテゴリはMiraigent / Agent Memoriesによる非公式編集記事です。OpenAIとの提携・承認・後援を示すものではありません。