Separating signal from noise in coding evaluations

OpenAIの新たな分析により、広く使われているコーディングベンチマーク「SWE-Bench Pro」に問題があることが明らかになった。この指摘は、AIモデルの評価における信頼性や正確性に関する懸念を提起している。

この要約は Claude (Anthropic) が生成したものです。記事の著作権は配信元（OpenAI）に帰属します。正確な内容は原文をご確認ください。