मॉडल तुलनाएँ

क्या Gemini 4 कार्बन वास्तविक कार्य पर परीक्षण किए जाने पर आर्गन से बेहतर है?

60 पृष्ठों के Stanford AI Index परीक्षण में, आर्गन ने चार्ट रीडिंग और तर्क पर कार्बन से मेल खाया, और तेज था; कार्बन अंतिम दृश्यों की मदद करता है।

क्या Gemini 4 कार्बन वास्तविक कार्य पर परीक्षण किए जाने पर आर्गन से बेहतर है?

मुख्य जानकारी

  • 60 पन्नों के Stanford AI Index अध्याय में, मिथुन 4 आर्गन ने घने चार्ट पढ़ने और एक प्रबंधक के भ्रामक 32%32% हेडकाउंट कट claim दावे को सत्यापित करने में मिथून 4 कार्बन से मेल खाया, जबकि तेज़ और सस्ता था।
  • दोनों मॉडल लंबे संदर्भ वाले दस्तावेज़ तर्क पर लगभग बराबरी पर थे, जिसमें आर्गन के लिए 79.0% और कार्बन के लिए 79.3% का स्कोर था, समग्र खुफिया मानदंडों में एक बड़ा अंतर होने के बावजूद।
  • मिथुन 4 कार्बन ने अप्रत्याशित जांच जोड़कर अतिरिक्त कठोरता दिखाई, जैसे कि गोल करने के मुद्दों को संभालना और सबसे खराब मामले की सीमाओं की गणना करना, हालांकि दोनों एक ही मूल निष्कर्ष पर पहुंचे।
  • सबसे बड़ा अंतर अंतिम दृश्य परिणाम में दिखाई दिया: अर्गोन ने एक संकीर्ण स्लाइड-जैसे एनीमेशन का उत्पादन किया, जबकि कार्बन ने स्पष्ट, मीटिंग के लिए तैयार 1080p व्याख्याकार वीडियो बनाया।
  • व्यावहारिक बात यह है कि आर्गन अधिकांश विश्लेषण के लिए पर्याप्त है, जबकि कार्बन का उपयोग करने लायक है जब कार्य को पॉलिश अंतिम पैकेजिंग की आवश्यकता होती है।

जेमिनी 4 कार्बन और आर्गन स्प्लिट परिणाम एक 60-पेज AI रिपोर्ट पर

Is Gemini 4 Carbon better than Argon when tested on real work?

मेटा विवरण: 60 पृष्ठ Stanford AI Index अध्याय पर एक हाथ-पर मिथुन 4 कार्बन बनाम आर्गन परीक्षण से पता चलता है कि अल्ट्रा कब मदद करता है और जब प्रो दस्तावेज़ तर्क के लिए पर्याप्त होता है।

टैगः मिथुन 4 कार्बन, मिथून 4 आर्गन,AI दस्तावेज़ तर्क, गूगल AI अल्ट्रा, हेलोमेट

विशेष रुप से प्रदर्शित छवि: अमूर्त, मैत्रीपूर्ण चित्रण शैली, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं हैः एक तेज दस्तावेज़ पाठक और दो पैनलों पर धीमा दृश्य बिल्डर।

Google के मिथुन 4 कार्बन बनाम मिथून 4 आर्गन का वजन करने वाले पाठकों के लिए, 60-पेज Stanford AI Index अध्याय पर एक हाथों-पर मिथुन 4-कार्बन बनाम अर्गोन परीक्षण से पता चलता है कि Google AI Pro में शामिल मॉडल अधिकांश विश्लेषण को संभाल सकता है, जबकि $99.99-एक महीने Google AI Ultra मॉडल अंतिम पैकेजिंग चरण में अपना स्थान प्राप्त करता है। परीक्षण में पाया गया कि जेमिनी 4-आर्गॉन , घने चार्ट पढ़ने और प्रबंधक के दावे की जांच करने पर मिथुन -4 कार्बन से मेल खाता था, और तेज था।

स्कोर और सेटअप

अधिकांश प्रारंभिक मिथुन 4 कार्बन बनाम आर्गन तुलना कोडिंग सूट और एसक्यूएल बग्स पर ध्यान केंद्रित करती है। Artificial Analysis के समग्र Intelligence Index पर, कार्बन 60 स्कोर करता है और आर्गोन 50 अंक देता है। लेकिन लंबे संदर्भ वाले दस्तावेज़ तर्क पर, जिसका अर्थ है एक बार में कई पृष्ठों को पढ़ना, दोनों लगभग बराबरी पर हैं, 79.3% और 79.0% । यह अंतर महत्वपूर्ण है क्योंकि Google चार्ट से भरी घनी रिपोर्टों पर उच्च-सटीक ज्ञान कार्य के लिए कार्बन पिच करता है।

परीक्षण में स्टैनफोर्ड के अर्थशास्त्र अध्याय का उपयोग किया गया था, जिसमें निवेश डेटा, भर्ती सर्वेक्षण और उत्पादकता अध्ययन शामिल हैं। यह परिदृश्य पृष्ठ 225 से आया है। एक बॉस मैकिन्से चार्ट को देखता है और टीम को बताता है कि विपणन और बिक्री अगले वर्ष 32% स्टाफ कटौती की उम्मीद करता है। कार्य यह सत्यापित करना था कि क्या चार्ट उस कथन का समर्थन करता है और फिर सोमवार की बैठक के लिए एक छोटा दृश्य बनाता है।

सब कुछ हेलोमेट में चलाया गया। उस कार्यक्षेत्र में, प्रत्येक AI सहायक, जिसे मेट कहा जाता है, अपना व्यक्तित्व और स्मृति रखता है, जबकि एक परियोजना दस्तावेजों को एक स्थान पर रखती है, मैट्स के माध्यम से साझा की जाती है और संस्करण इतिहास के साथ अद्यतित रखी जाती है। 60-पेज का पीडीएफ एक बार अपलोड किया गया था। चूंकि स्विचिंग मॉडल संदर्भ नहीं खोते हैं, इसलिए परीक्षक आर्गन के साथ प्रतिक्रिया पुनः उत्पन्न कर सकता है, फिर कार्बन में स्वैप करें और जारी रखें।

Is Gemini 4 Carbon better than Argon when tested on real work?

पढ़ना और तर्क करना

तर्क का परीक्षण करने से पहले, परीक्षण ने जांच की कि क्या आर्गन आस-पास के गद्य पर भरोसा किए बिना कच्चे चार्ट को पढ़ सकता है। पृष्ठ 225 में मैककिन्सी सर्वेक्षण से दो चार्ट शामिल हैं। कार्य दोनों को तालिकाओं में बदलना था और चित्र 4.4.34 के लिए, पिछले वर्ष में वास्तविक गिरावट के साथ प्रत्येक व्यावसायिक फ़ंक्शन को सूचीबद्ध करना था, अगले वर्ष में अपेक्षित कमी और उनके बीच अंतर, अंतराल द्वारा सॉर्ट किया गया।

पृष्ठ में एक जाल है। चार्ट के ऊपर पैराग्राफ बड़े अंतराल वाले चार कार्यों का नाम देता है लेकिन रणनीति और कॉर्पोरेट वित्त को छोड़ देता है, जो 12% से 28% तक जाता है, पेज पर दूसरा सबसे बड़ा अंतर होता है। अर्गोन ने पीडीएफ पेज दिया, कोड में वेक्टर बार चौड़ाई मापी और सभी 11 कार्यों की पहचान की, जिसमें रैंक 2 पर रणनीति और कंपनी वित्त शामिल हैं, 16 प्रतिशत अंकों का अंतर। अकेले चार्ट निष्कर्षण के लिए कार्बन की आवश्यकता नहीं थी।

तर्क परीक्षण ने दोनों मॉडलों को एक ही सवाल पूछा: केवल तालिकाओं और अध्याय का उपयोग करते हुए, क्या बॉस 32% आंकड़ा सही पढ़ रहा है, डेटा क्या समर्थन करता है, और उसे क्या कहा जाना चाहिए? दोनों गलत रीडिंग पकड़े। 32% सर्वेक्षण में शामिल कंपनियों की हिस्सेदारी है जो कर्मचारियों में कमी के बजाय विपणन और बिक्री में कुछ गिरावट की उम्मीद करती है। दोनों साथी चार्ट से संदर्भ निकालते हैंः केवल 4% कंपनियां कुल मिलाकर कटौती की अपेक्षा करती हैं 20%, जबकि 32% ब्रैकेट में अधिकांश कंपनियां मामूली कटौती 3% से 10% की उम्मीद कर रही हैं।

दोनों मॉडलों ने अक्ष इकाई को चिह्नित किया और चित्रा 4.4.33 से 3% से 10% टूटने को खींच लिया। जब आगे धकेल दिया गया, तो उन्होंने स्वीकार किया कि रिपोर्ट विभाग द्वारा कटौती के आकार को नहीं तोड़ती है। दोनों का अनुमान लगभग समान निहित औसत हैः कुल मिलाकर -2% और विपणन और बिक्री के लिए -2.3% से - 2.6% तक। बॉस की 32% कटौती 2% के करीब है।

कार्बन ने एक अप्रत्याशित चेक जोड़ा। इसने चार्ट के सलाखों की राशि 101% पर ध्यान दिया, समझाया कि यह कैसे गोल किया गया था, और सबसे खराब स्थिति में बाउंड चलाया गया था। यदि प्रत्येक मार्केटिंग टीम को कटौती की उम्मीद थी 20%, तो सर्वेक्षण किए गए फर्मों में औसत परिवर्तन - 5.89% होगा, फिर भी 32% कटौती का पांचवां हिस्सा से कम है। आर्गन उसी निष्कर्ष पर पहुंचा लेकिन उस मंजिल की जांच प्रदान नहीं की।

दृश्य परिणाम

राउंड 3 में अंतराल खुल गया। प्रॉम्प्ट एक पंक्ति थी, जिसमें त्रुटि, प्रारूप, लंबाई या लेआउट के बारे में कोई संकेत नहीं था: एक छोटा एनीमेशन बनाएं जो दिखाता है कि डेटा वास्तव में क्या कहता है, पृष्ठ 225 से बॉस के दावे के आधार पर।

Is Gemini 4 Carbon better than Argon when tested on real work?

आरगोन ने तीन स्पष्टीकरणात्मक प्रश्न पूछने के लिए विराम लिया: एमपी 4, जीआईएफ या एचटीएमएल; केवल मार्केटिंग या समग्र; त्वरित लूप या चरण-दर-चरण। परीक्षक ने इसे निर्णय लेने के लिए कहा। कार्बन ने कुछ भी नहीं पूछा और सीधे पीडीएफ पर चला गया। कार्बोन ने 13 मिनट 7 सेकंड में 28 टूल कॉल किए, जबकि आर्गन ने 9 मिनट 54 सेकेंड में 8 कॉल किए। यह Google के विवरण से मेल खाता है कि कार्बन अपने काम का निरीक्षण करने और सत्यापित करने के लिए अतिरिक्त सोच टोकन खर्च करता है, जिसका अर्थ है आउटपुट से पहले अतिरिक्त आंतरिक गणना।

दोनों ने एक HTML एनीमेशन लिखा और हेलोमेट के अंतर्निहित कंप्यूटर का उपयोग करके चैट के अंदर एमपी 4 में इसे प्रस्तुत किया। अर्गोन के पास दो की सबसे तेज वैचारिक रूपरेखा थी, जिसमें 100 सर्वेक्षण किए गए कंपनियों के खिलाफ 100 टीम के सदस्यों का विरोध था और स्क्रीन पर निहित औसत की गणना की गई थी।

अंतिम वीडियो अलग-अलग थे। जब 1.5x गति पर एक साथ खेला गया, तो अर्गोन ने 20 सेकंड के स्लाइड डेक का उत्पादन किया। इसकी स्क्रीन छोटे पाठ से भरी हुई थीं, दृश्य हर चार सेकंड में पलट गए और इसके अपने प्लेबैक नियंत्रण वीडियो के अंदर दिखाई दिए। कार्बन ने 41 सेकंड 1080p एक्सप्लेनर का निर्माण कियाः 100 सीटों में से 32 तक काउंटर टिक करता है, कैमरा चार्ट के अक्ष लेबल पर ज़ूम होता है, और प्रत्येक बीट एक कमरे को इसे पढ़ने के लिए पर्याप्त समय तक एक विचार रखता है।

किसको इसका उपयोग करना चाहिए/कौन इसे छोड़ना चाहिए

एक ही 60 पन्नों की रिपोर्ट पर तीन दौर के बाद, नियम सरल हैः पढ़ने और विश्लेषण के लिए आर्गन पर रहें, और कार्बन को केवल तभी लाएं जब आउटपुट अन्य लोगों के सामने जाना चाहिए।

यह Google की कीमतों को अजीब बनाता है। यदि कोई उपयोगकर्ता पूरे दिन मिथुन के अंदर रहता है, तो हर महीने अतिरिक्त $80 का भुगतान करना Google AI Ultra समझ में आता है, तब कम जब आर्गन पहले से ही लंबे दस्तावेज़ तर्क पर बंधे हुए हैं। One Hacker News टिप्पणीकार ने कार्बन के 75 वें प्रतिशत समय को 60 सेकंड में पहली टोकन तक पहुंचने की सूचना दी, पहला आउटपुट दिखाई देने से पहले देरी। हेलोमेट में, कार्बन प्लस योजना से शामिल है, हालांकि भारी दैनिक रन कार्बन प्लस को बढ़ा सकते हैं। परीक्षक मैक्स का उपयोग करता है, लगभग अल्ट्रा के समान मूल्य। If Gemini केवल मॉडल परिवार थे जो छूए गए थे, अल्ट्रा अधिक कार्बन मात्रा प्रदान करेगा। वहां मूल्य मेट्स, मेमोरी और प्रोजेक्ट फाइलों को एक साथ रख रहा है जबकि तैयारी के लिए अर्गोन चुनते हैं, दृश्य के लिए कार्बन, या एंथ्रोपिक और ओपन एआई मॉडलों के लिए जब गूगल अपने पिकर को फिर से जोड़ता है, जैसा कि उसने किया था जब जेमिनी एप्लिकेशन ने जेमिनी प्रो को हटाना शुरू कर दिया था।

उन कार्यों के लिए जहां लेआउट, पेसिंग, सत्यापन या मल्टी-स्टेप कोड निष्पादन यह निर्धारित करता है कि क्या परिणाम का उपयोग किया जा सकता है, जैसे क्लाइंट-तैयार विज़ुअल्स, इंटरैक्टिव एक्सप्लेनर्स और मुश्किल डिबगिंग, कार्बन पर विचार करने योग्य है। दस्तावेज़ विश्लेषण, सारांश और ड्राफ्टिंग के लिए, अर्गोन Google AI Pro मासिक कूद के बिना एक ही वर्कलोड को संभालता है। लेखक मिथुन 4 कार्बन का उपयोग करने के पांच तरीकों पर भी ध्यान देता है Google AI Pro या भुगतान करें जैसा आप जाते हैं, जिसमें बिलिंग और ओपन राउटर शामिल हैं, और मौजूदा योजनाओं के शीर्ष पर प्रत्येक की लागत क्या होती है। जवाब खोजने के लिए; जब उत्तर पैक करना होगा तो कार्बन प्रयोग करें।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.