AI程式設計跑分又不準了，OpenAI發現SWE-Bench Pro約三成題目有問題

OpenAI 釋出程式設計評測審計報告，稱 SWE-Bench Pro 約三成題目不適合作為有效評測。SWE-Bench Pro 原本用於測試 AI agent 的真實程式設計能力，也是 OpenAI 此前推薦替代 SWE-bench Verified 的評測集。 OpenAI 審計了 SWE-Bench Pro 的 731 道公開題。自動流程標出 200 道問題題目，佔 27.4%；人工標註發現 249 道，佔 34.1%。 主要問題包括：題目描述不完整、測試要求過嚴、隱藏測試檢查了額外要求，以及測試覆蓋不足。這會讓模型跑分失真：失敗不一定是模型不會，通過也不一定是真修好了問題。 OpenAI 稱，前沿模型在這組公開題上的通過率，8 個月內從 23.3% 升到 80.3%。但在題目本身存在噪聲的情況下，這類漲分需要更謹慎解讀。 OpenAI 已撤回此前採用 SWE-Bench Pro 的建議，並呼籲社群重新構建更可信的程式設計評測。 [動察 Beating]