SWE-Lancer बेंचमार्क प्रस्तुत करना
Remote Labor Index बेंचमार्क का मूल्यांकन करता है कि क्या GPT-5 और Claude Sonnet 4.5 जैसे फ्रंटियर AI मॉडल अपवर्क-शैली के प्लेटफार्मों से वास्तविक फ्रीलांस कोडिंग नौकरियों को पूरा करके $1 मिलियन कमा सकते हैं। परिणाम दिखाते हैं कि मॉडलों ने हजारों की बजाय लाखों लोगों को अर्जित करने वाले कार्यों का केवल एक मामूली अंश ही पूरा किया है। विफलता अस्पष्ट आवश्यकताओं, बहु-फ़ाइल जटिलता और आत्म-सत्यापन अंतराल ills कौशल स्वच्छ बेंच मार्क्स पर कब्जा नहीं करते हैं, यह सुझाव देते हुए AI जल्द ही फ्रीलांसरों की जगह नहीं लेगा।
क्या फ्रंटियर AI मॉडल वास्तव में फ्रीलांस कोडिंग काम करके $1 मिलियन कमा सकते हैं?
Remote Labor Index नामक एक नया बेंचमार्क बड़े भाषा मॉडल को आश्चर्यजनक तरीके से परीक्षण में डालता हैः अमूर्त पहेलियों पर उन्हें स्कोर करने के बजाय, यह उन्हें वास्तविक बाजार से वास्तविक फ्रीलांस नौकरियों में छोड़ देता है और पूछता है कि क्या वे काम वितरित कर सकते थे और भुगतान किया गया।
यदि आप AI की प्रगति का पालन करते हैं, तो आपने शायद मॉडल के बाद मॉडल को कोडिंग बेंचमार्क पर चकाचौंध स्कोर पोस्ट किया है। लेकिन उन परीक्षणों में आमतौर पर ज्ञात उत्तरों के साथ स्वच्छ, स्व-निहित समस्याएं शामिल होती हैं। आरएलआई एक अलग मार्ग लेता है। यह अपवर्क शैली प्लेटफार्मों से वास्तविक परियोजना पोस्टिंग एकत्र करता है मानव फ्रीलांसर किस तरह के गिग्स के लिए प्रतिस्पर्धा करते हैं और मापता है कि AI सिस्टम उन्हें अंत तक कैसे संभालते हैं।
बेंचमार्क वास्तव में क्या करता है
सेट में प्रत्येक कार्य एक वास्तविक नौकरी सूची है, जो क्लाइंट की आवश्यकताओं के साथ पूरी होती है, किसी भी संलग्न फ़ाइलों और बजट को वास्तव में काम का भुगतान किया जाता है। मॉडल को वही संक्षिप्त मिलता है जो एक मानव फ्रीलांसर प्राप्त करेगा, एक डिलिवरेबल उत्पन्न करता है, और फिर इसके आउटपुट को ग्राहक द्वारा स्वीकार किए जाने के खिलाफ आंका जाता है. भुगतान केवल तभी मायने रखता है जब काम बार से मेल खाता हो।
शोधकर्ताओं द्वारा पूछा गया मुख्य प्रश्न सुखद रूप से ठोस है: यदि आप एक मानव के बजाय AI एजेंट को काम पर रखते हैं, तो क्या यह पूरा किए गए गिग्स में $1 मिलियन जमा कर सकता है? इसे बेंचमार्क अंक को डॉलर में परिवर्तित करने की तरह सोचें।
कैसे मॉडल प्रदर्शन किया
परिणाम AI पक्ष के लिए विनम्र थे। सबसे मजबूत फ्रंटियर मॉडल जिसमें GPT-5 और Claude Sonnet 4.5 जैसे सिस्टम शामिल हैं, वे उन नौकरियों का केवल एक मामूली अंश पूरा करने में कामयाब रहे जो उन्होंने कोशिश की थी, लाखों डॉलर के लक्ष्य के बजाय हजारों डॉलर प्रति रन की कमाई में अनुवाद किया गया था। अधिकांश कार्य रास्ते में कहीं रुक गएः गलतफहमी वाली आवश्यकताएं, लापता डिलिवरबल्स या आउटपुट जो ग्राहक द्वारा वास्तविक ठेकेदार से स्वीकार किए जाने से कम हो गए थे।
ये वही मॉडल हैं जो प्रतिस्पर्धी प्रोग्रामिंग बेंचमार्क को कुचलते हैं, जिससे पता चलता है कि असली फ्रीलांस काम में कुछ ऐसा शामिल होता है जिसे क्लीन टेस्ट नहीं पकड़ पाते: अस्पष्ट निर्देश, क्लाइंट-विशिष्ट प्राथमिकताएं, मल्टी-फ़ाइल प्रोजेक्ट्स गन्दा निर्भरता के साथ, और यह जानने की आवश्यकता कि ग्राहक वास्तव में क्या चाहता है बजाय इसके कि उन्होंने सचमुच लिखा था।
यह क्यों महत्वपूर्ण है
इस तरह के बेंचमार्क क्षेत्र को अधिक ईमानदार मापदंड की ओर धकेलते हैं। एक मॉडल जो लीटकोड-शैली की समस्याओं को पूरा कर सकता है, उसे अभी भी एक बड़े अंतर को पाटना होगा इससे पहले कि वह वास्तविक मंच पर काम करने वाले पेशेवर का स्थान ले सके। आरएलआई शैली मूल्यांकन डॉलर में उस अंतराल को दृश्यमान बनाता है एक मुद्रा जिसे हर कोई समझता है।
यह इस बात पर भी इशारा करता है कि AI उपकरण बनाने वाले लोगों के लिए मूल्य कहां है। विफलताएं विनिर्देश समझ, लंबी क्षितिज कार्य प्रबंधन और आत्म-सत्यापन के आसपास क्लस्टर करने की प्रवृत्ति रखती हैं। वे बिल्कुल ऐसे क्षेत्र हैं जहां बेहतर एजेंट मचान, स्मृति और टूलींग स्कोर को ऊपर ले जा सकते हैं।
किसको ध्यान देना चाहिए
यदि आप एक डेवलपर सोच रहे हैं कि क्या AI फ्रीलांस प्लेटफार्मों को खाने के बारे में है, तो यह डेटा बताता है कि समयरेखा प्रचार से अधिक लंबी है। अगर आप AI एजेंटों का निर्माण या निवेश करते हैं, तो वर्तमान सिस्टम कहां टूटते हैं इसका एक उपयोगी नक्शा है। और यदि आप फ्रीलांसर हैं, यह एक उचित संकेत है कि आपके ग्राहक अभी भी निर्णय, संचार और स्वाद कम से कम अब के लिए महत्व देते हैं
मिलियन-डॉलर का सवाल, उचित रूप से पर्याप्त है, खुला रहता है। लेकिन एक बेंचमार्क होना जो इसे डॉलर के संदर्भ में पूछता है यह एक वास्तविक कदम आगे है।
Comments (0)