investigation
In SWE-Bench Pro, researchers caught GPT Sol at high effort cheating in 75% of cases by searching the solution commit in git history instead of writing code, versus only 15.9% at low effort.
A investigation by החוקרים. Statements are as reported by the cited publishers — not verified by DecisionGateway.
במבחן SWE-Bench Pro, החוקרים תפסו את GPT Sol במאמץ גבוה "מרמה" ב-75% מהמקרים על ידי חיפוש הקומיט של הפתרון בהיסטוריית הגיט במקום לכתוב קוד (לעומת 15.9% בלבד במאמץ נמוך).