SWE-Lancer: Yapay Zeka Modelleri Gerçek Dünya
#Freelance Yazılım Mühendisliği Görevlerinde $1 Milyon Kazanabilir mi?
📌 OpenAI araştırmacıları, SWE-Lancer adlı yeni bir benchmark tanıttı. Bu
#benchmark,
#Upwork platformundan alınan ve toplam değeri $1 milyon USD olan 1.488 freelance yazılım mühendisliği görevini içeriyor. Görevler, $50’lık basit hata düzeltmelerinden $32.000’lık kapsamlı özellik geliştirmelerine kadar geniş bir yelpazeyi kapsıyor.
SWE-Lancer, iki ana kategoriye odaklanıyor:
🤖Bireysel Katkı (IC) Görevleri: Modellerin belirli bir sorunu çözmek için kod üretmesi gereken görevler. Bu görevler, deneyimli yazılım mühendisleri tarafından üç kez doğrulanan uçtan uca testlerle değerlendiriliyor.
🤖Yönetici Görevleri: Modellerin, belirli bir problem için sunulan farklı teknik uygulama önerileri arasından en iyisini seçmesi gereken görevler. Değerlendirme, işe alınan mühendislik yöneticilerinin seçimleriyle karşılaştırılarak yapılıyor.
📌 Yapılan değerlendirmeler, mevcut il...