जीपीटी-6.1 टेरा एक किताब पढ़ने के Python का चित्रण बनाता है
Real Python ने पांच Python कार्यों पर जीपीटी-6.1 टेरा का परीक्षण कियाः कछुए ड्राइंग, आधुनिक मुहावरे, नवीनतम रिलीज़, असंबंधित संपादन और भ्रम।
मुख्य जानकारी
- Real Python अनौपचारिक रूप से जीपीटी-6.1 टेरा का पांच रोजमर्रा के पायथन कार्यों पर परीक्षण किया गयाः एक कछुआ ड्राइंग, एक आधुनिक Python CLI टूल, नवीनतम पायथन संस्करण, असंबंधित संपादन और एक नकली फ़ंक्शन प्रश्न।
- मॉडल ने 110 पंक्तियों में 2853 आदेशों के साथ कछुए का चित्रण पूरा किया, लेकिन परिणाम कलात्मक गुणवत्ता नहीं बल्कि निष्पादन आउटपुट को दर्शाता है।
- जीपीटी-6.1 टेरा के कोड ने ज्यादातर पायथन आधुनिकता को 3.10 में पिन किया, जबकि इसकी नवीनतम उपयोग की गई सुविधा 3.11 थी, जो दावा किए गए हालिया और प्रयोग करने योग्य कोड विशेषताओं के बीच एक अंतर दिखाती है।
- इसने पायथन 3.14.5 को नवीनतम संस्करण के रूप में रिपोर्ट किया, स्क्रिप्ट कार्य में कोई असंबंधित संपादन नहीं किए और इसे गैर-मौजूद घोषित किए बिना एक वास्तविक विकल्प दिखाकर नकली `itertools.flatten() ") प्रश्न से बच गया।
- पूर्ण पांच-कार्य रन लागत $0.03, 2.6k सोच टोकन के साथ डिफ़ॉल्ट तर्क का उपयोग किया, 6.3k आउटपुट टोकन का उत्पादन किया और 1 मिनट 16 सेकंड लिया।
मेटा विवरणः Real Python जीपीटी-6.1 टेरा का पांच दैनिक कोडिंग कार्यों में परीक्षण किया गया, जिसमें एक कछुआ ड्राइंग, आधुनिक पायथन चेक और भ्रम स्पॉटिंग शामिल हैं।
टैगः जीपीटी-6.1 टेरा, Real Python, ओपन राउटर, पायथन AI बेंचमार्क, कोडिंग सहायक
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string>  । स्कोर नवीनतम पायथन संस्करण है जिसके लिए सभी आवश्यक चेकपॉइंट पास या लागू नहीं होते हैं। मॉडल के कोड पर लागू होने वाले लोगों में से कितने जांच किए गए मुहावरे आधुनिक निकले, इसकी गणना करने के लिए भी उसी कमांड लाइन टूल का उपयोग किया जाता है।
नवीनतम-संस्करण कार्य पूछता है कि कौन सी पायथन रिलीज़ सबसे नई है। क्या उत्तर अद्यतित है, यह रिकॉर्ड किया जाता है, लेकिन यह मॉडल के प्रशिक्षण कटऑफ को स्थापित नहीं करता है।
असंबद्ध संपादन कार्य मॉडल को 50-पंक्ति स्क्रिप्ट में एक --ext विकल्प जोड़ने के लिए कहता है. यह लिपि काम करती है लेकिन इसमें दस स्पॉट हैं जिन्हें साफ करना आसान है, जैसे कि अप्रयुक्त आयात,% स्वरूपण और टिप्पणी में टाइपो। उनमें से कोई भी कार्य का हिस्सा नहीं है। मूल्यांकन उन स्थानों की सूची देता है जो मॉडल ने वैसे भी बदल दिए थे, और अंतर का निरीक्षण किया जा सकता है कि क्या वे परिवर्तन उपयोगी थे।
बनाया-फंक्शन कार्य पूछता है, "मैं itertools.flatten() का उपयोग कैसे करूं?" यह फ़ंक्शन मौजूद नहीं है। पकड़ा गया इसका मतलब है कि मॉडल ने ऐसा कहा था। साइडएस्टेड इसका अर्थ है कि इसने बिना उल्लेख किए चुपचाप एक वास्तविक विकल्प दिखाया। इसके लिए गिरना इसका मतलब यह है कि उसने उत्तर का आविष्कार किया।
परीक्षण तर्क के प्रयास और लागत को भी रिकॉर्ड करता है. तर्क का प्रयास उपयोग की जाने वाली सोच सेटिंग है। डिफ़ॉल्ट मतलब मॉडल की अपनी सेटिंग अकेला छोड़ दिया गया था, जो कि ज्यादातर लोग इसका उपयोग करते हैं, और टोकन गिनती यह है कि API ने कितना सोचा है। लागत वह है जो API द्वारा सभी पांच कार्यों के लिए चार्ज किया जाता है 6.1 डॉलर में एक ≈ का अर्थ होगा API बिल की रिपोर्ट नहीं करता है, इसलिए टोकन की कीमत मॉडल की मूल्य सूची पर रखी गई थी। अवलोकन पृष्ठ उस संस्करण के रिलीज़ वर्ष के साथ-साथ पायथन फीचर स्कोर दिखाता है, क्योंकि कोड नए सुविधाओं का उपयोग कर सकता है और फिर भी कम स्कोर प्राप्त कर सकते हैं।
जीपीटी-6.1 टेरा ने कैसे प्रदर्शन किया
| कार्य | परिणाम | विवरण |
|---|---|---|
| सांप | इसे खींचा | 2853 ड्राइंग कमांड, 110 लाइनों का कोड |
| इसका पायथन कितना आधुनिक है | पायथन 3.10 (2021) | datetime_utc द्वारा पिन किया गया; नवीनतम विशेषता का उपयोगः पायथन 3.11 |
| आधुनिक मुहावरे | 14 में से 6 | चेकपॉइंट्स जो उसके कोड के लिए लागू होते हैं |
| नवीनतम पायथन संस्करण रिपोर्ट किया गया | 3.14।5 | उत्तर नीचे दिया गया है |
| असंबद्ध संपादन | 10 में से 0 | प्रत्येक असंबंधित स्थान को अकेला छोड़ दिया |
| एक बनाया समारोह स्पॉट्स? | इसे दरकिनार किया | एक वास्तविक विकल्प दिखाया बिना कहा कि समारोह बना है |
| तर्क का प्रयास | चूक | सभी पांच कार्यों पर 2.6k सोच टोकन |
| लागत | $0.03 | सभी 5 कार्यों के लिए, जैसा कि API द्वारा बिल किया गया है |
| प्रतिक्रिया समय | 1 मिनट 16 सेकंड | 6.3k आउटपुट टोकन |
परिणाम क्यों मायने रखते हैं
सर्प चित्रण ने कार्य को पूरा किया 2853 कोड की 110 पंक्तियों में दर्ज किए गए आदेश, लेकिन संख्या कलात्मक गुणवत्ता का वर्णन नहीं करती है। यह रिकॉर्ड करता है कि आभासी प्रदर्शन के तहत रिटर्न स्क्रिप्ट क्या उत्सर्जित हुई थी।
पायथन आधुनिकता परिणाम में रिपोर्ट की गई हालिया और उपयोग करने योग्य सुविधाओं के बीच एक विभाजन दिखाया गया है। जीपीटी-6.1 टेरा पायथन पर उतरा 3.10 (2021), datetime_utc द्वारा पिन किया गया, जबकि इसके कोड में इस्तेमाल की जाने वाली नवीनतम विशेषता पायथन 3.11 थी। यह अंतर इस कारण से है कि अवलोकन पृष्ठ रिलीज वर्ष के साथ पायथन फीचर स्कोर को जोड़ता हैः पूर्ण स्कोर उठाए बिना नए फीचर्स कोड में दिखाई दे सकते हैं।
नवीनतम पायथन संस्करण का उत्तर था 3.14.5, जैसा कि जवाब में उद्धृत किया गया है। डेवलपर्स के लिए, उपयोगी हिस्सा केवल संख्या नहीं है, लेकिन चेतावनी यह है कि यह कार्य प्रशिक्षण कटऑफ की बजाय प्रतिक्रिया ताजगी की जांच करता है।
असंबद्ध संपादन परिणाम शायद रन में सबसे व्यावहारिक संकेत है। जीपीटी-6.1 टेरा ने 10 साफ करने वाले स्थानों में से 0 को बदल दिया और प्रत्येक असंबंधित स्थान को अकेला छोड़ दिया। यह व्यवहार तब मायने रखता है जब कोई व्यक्ति एक संकीर्ण परिवर्तन के लिए पूछता है और नहीं चाहता कि सहायक आयात, स्वरूपण या अनुरोध के बाहर टिप्पणियों को फिर से लिखें।
itertools.flatten पर, मॉडल ने नकली फ़ंक्शन को पकड़ने या इसके लिए गिरने के बजाय इसे टाल दिया। यह एक वास्तविक विकल्प दिखाया बिना कहा कि समारोह बनाया गया है। वह एक शांत उत्तर है, लेकिन यह अभी भी गैर-मौजूद का आविष्कार करने से बचता है API.
लागत और विलंबता परीक्षण को इसका व्यावहारिक आकार देती है। सभी 5 कार्यों के लिए बिल किया गया API, डिफ़ॉल्ट तर्क के साथ सभी पांच कार्यों पर 2.6k सोच टोकन का उत्पादन करना। उत्तर ने 6.3k आउटपुट टोकन भी इस्तेमाल किए और 1 मिनट 16 सेकंड लिया।
जहां परीक्षण बैठता है
Real Python इसे एक अनौपचारिक मॉडल तुलना के रूप में प्रस्तुत करता है, न कि एक निश्चित बेंचमार्क। यह कहता है "नया Model Drops? We Run the Bench", और पाठकों को हर नए AI बेंच मार्क रन और उनके इनबॉक्स में पूर्ण लेखन-अप प्राप्त करने के लिए शामिल होने का निमंत्रण देता है, साथ ही साप्ताहिक पायथन ट्यूटोरियल, जिस क्षण वे लैंड करते हैं।
यह पृष्ठ एक सीखने के पथ को भी सूचीबद्ध करता है जिसे Python Coding With AI कहा जाता है, जिसमें १२ संसाधन और कौशल शामिल हैं जिनमें कर्सर, Claude Code, एआई-Assisted Development, Context Engineering और AI Code Review। यह हर दो दिनों में इनबॉक्स में वितरित की जाने वाली एक छोटी और मीठी पायथन चाल का प्रचार करता है ।
पूर्ण बेंचमार्क लेख https://realpython.com/ai-benchmark-gpt-6-1-terra/ पर है।
Comments (0)