AI 程式設計作業分數再次不準確，OpenAI 發現 SWE-Bench Pro 存在問題

OpenAI 發布了一份程式評估審計報告，指出 SWE-Bench Pro 中約有 30% 的問題不適合進行有效評估。 SWE-Bench Pro 最初用於測試 AI 代理的真實程式設計能力，也被 OpenAI 推薦為 SWE-bench Verified 的替代評估集。OpenAI 審計了 SWE-Bench Pro 中 731 個公開的問題。 自動化流程標記了 200 個問題，佔 27.4%；手動標記流程發現了 249 個問題，佔 34.1%。主要問題包括：問題描述不完整、測試要求過於嚴格、隱藏測試檢查額外標準，以及測試覆蓋率不足。 這可能導致模型評分不準確：失敗不一定意味著模型無能，通過也不一定意味著問題已真正解決。 OpenAI 表示，在過去 8 個月內，最先進模型在此類公開問題上的通過率從 23.3% 上升到 80.3%。然而，在問題本身存在雜訊的情況下，這種分數的提高需要更謹慎地解讀。 OpenAI 已撤回其先前推薦使用 SWE-Bench Pro 的建議，並呼籲社群重建一個更可靠的程式評估。 [動態探針擊敗]