मैं 22 घंटे के लिए एक स्थानीय एजेंट चलाया एकल DGX Spark पर, और यह समय से बाहर 1,330 बार.
DGX Spark ने 21 घंटों के लिए Qwen3.8 को 27B से vLLM तक चलाया, 1,330 पांच मिनट की टाइमआउट और भारी समवर्तीता के बावजूद बड़े शोध को समाप्त किया।
मुख्य जानकारी
- एक एकल DGX Spark ने Qwen3.8 27B को 21.5 घंटे के मल्टी-एजेंट रिसर्च वर्कफ़्लो के माध्यम से चलाया, 2,874 मॉडल चरणों को पूरा किया और केवल तीन मानव इनपुट के साथ 91 उप एजेंट सत्रों में 3.77M आउटपुट tokens उत्पन्न किया।
- इस दौरे से एक पूर्ण शोध परिणाम प्राप्त हुआ: प्रति फर्म 93 फाइलें, 1,819 पंक्तियों की वर्गीकृत कार्यपुस्तिका और 122 मजबूत मैचों की शॉर्टलिस्ट, 1,330 क्लाइंट-साइड पांच मिनट के टाइमआउट के बावजूद।
- रिपोर्ट किए गए 48.5 tokens प्रति सेकंड एंड-टू-एंड वॉल क्लॉक थ्रूपुट थे, न कि एक vLLM डिकोड बेंचमार्क; वास्तविक मुद्दा चरम क्लाइंट समवर्तीता था, जिसमें केवल चार सक्रिय अनुक्रमों के लिए कॉन्फ़िगर किए गए server के खिलाफ 30 तक बकाया कदम थे।
- टाइमआउट धीमी लंबी पीढ़ियों के बजाय कतार या रुके हुए अनुरोधों के साथ दृढ़ता से सहसंबद्ध थेः 1,304 गैर-टाइम आउट चरण 300 सेकंड से अधिक समय तक चले, जबकि अधिकांश टाइम्ड-आउट अनुरोधों ने बहुत कम या कोई प्रारंभिक डेटा नहीं दिया।
- संभावित बाधा बहुत बड़े संकेतों को शुरू करने या पूर्व भरने के लिए प्रतीक्षा कर रहे अनुरोध थे, यह दर्शाता है कि स्थानीय एजेंट वर्कलोड्स को व्यर्थ क्लाइंट-साइड प्रतीक्षा से बचने के लिये समवर्ती, कतार और टाइमआउट ट्यूनिंग की आवश्यकता होती है।
मेटा विवरणः One DGX Spark ने 21 घंटे के अनुसंधान एजेंट के माध्यम से Qwen3.8 27B चलाया, काम पूरा करते समय 2,874 चरणों, 3.77M आउटपुट tokens और 1,330 पांच मिनट का टाइमआउट दर्ज किया।
टैगः Local AI, एजेंट कार्यप्रवाह, vLLM, DGX Spark, Qwen3.8
विशेष रुप से प्रदर्शित छवि: एक छोटे AI server का अमूर्त अनुकूल चित्रण शैली कई एजेंट धागे भेज रहा है, जिसमें कोई वास्तविक लोग, लोगो या पाठ नहीं हैं।
स्थानीय AI एजेंटों का मूल्यांकन करने वाले पाठकों के लिए, यह सत्र दिखाता है कि एक DGX Spark Qwen3.8 27B के साथ क्या कर सकता हैः इसने 21 घंटे 36 मिनट तक एक एजेंट चलाया, 2,874 मॉडल चरणों को लॉग किया, tokens आउटपुट 3.77M का उत्पादन किया और फिर भी 1,330 क्लाइंट अनुरोध पांच मिनट की चुप्पी के बाद निरस्त किए जाने के बाद एक बड़ा शोध पैकेज दिया।
सेटअप और कार्यभार
पहले के परीक्षणों में Qwen3.8 27B से लेकर DeepSeek Harness, या DSH, को DGX Spark, RTX 5090 और Radeon R9700 पर चलाया गया था। एक अनुवर्ती ने आरटीएक्स 5090 वीडियो मेमोरी दबाव समस्या को अलग कर दिया। दोनों वास्तविक एजेंट सत्रों का इस्तेमाल किया, सिंथेटिक बेंचमार्क नहीं. यह रन सबसे छोटा है: एक मशीन, एक लंबा सत्र, एक कार्यभार।
DGX Spark ने vLLM को पहले-लेख कॉन्फ़िगरेशन के साथ सेवा दीः Unsloth NVFP4 चेकपॉइंट, FP8 कुंजी-मूल्य कैश, 0.80 मेमोरी बजट, 262,144 - token मॉडल की लंबाई, चार समवर्ती अनुक्रम और तीन ड्राफ्ट tokens के साथ बहु- token पूर्वानुमान सट्टा डिकोडिंग। DeepSeek Harness क्लाइंट-साइड OpenAI संगत अंतबिंदु के खिलाफ चलाया गया। कुछ भी री-ट्यून नहीं किया गया। सर्विंग फ्लैग्स पहले आइटम से आते हैं, निर्यात नहीं; निर्यात रिकॉर्ड मॉडल, context window, कदम, प्रयास और पुनः परीक्षण, लेकिन server प्रक्रिया नहीं।
काम का बोझ बड़े पैमाने पर कंपनी अनुसंधान था: 93 निजी इक्विटी समूहों को लें, प्रत्येक पोर्टफोलियो कंपनी ढूंढें, एक लिखित प्रोफ़ाइल के खिलाफ प्रत्येक स्कोर करें, नोट्स लिखें और शॉर्टलिस्ट तैयार करें। मूल एजेंट ने प्रोफ़ाइल पढ़ी, स्रोत Portable Document Format फ़ाइल को GenOffice के साथ परिवर्तित किया और एक रूब्रिक बनाया. इसने 33 अनुसंधान उप-एजेंटों को लहरों में भेजा, पहले प्राइवेट इक्विटी समूह बैच और फिर कंपनी स्तर के बैच। उन लोगों ने 58 और भेजे, 91 उप-एजेंट सत्रों के लिए। प्रत्येक शोधकर्ता ने फर्म की वेबसाइट निकाली, एक-एक करके पोर्टफोलियो कंपनियों को खोजा और पूर्व संपर्क के लिए ग्राहक संबंध प्रबंधन निर्यात किया। 91 सत्रों मेंः 3,847 टूल कॉल, जिसमें 1,944 शेल कमांड शामिल हैं, ज्यादातर कर्ल और ग्रेप, 1,186 वेब खोजें, और 105 फ़ाइल लिखता है।
मानव इनपुट तीन संदेश थे: कार्य 18:32 Coordinated Universal Time, एक-पंक्ति स्कोपिंग सुधार 18:50, और एक 00:45 Coordinated Universal Time पर जारी है। पंद्रह घंटे से अधिक समय तक बिना किसी निगरानी के चला। संदर्भ संपीड़न माता-पिता में तीन बार और सबगेंट्स पर सात बार फायर किया गया।
वह समय अंतराल जो वास्तविक नहीं था
इस दौरे के परिणामस्वरूप प्रति फर्म 93 शोध फाइलें, 1,819 पंक्तियों की कार्यपुस्तिका में प्रत्येक पोर्टफोलियो कंपनी को एक पंक्ति में वर्गीकृत किया गया था और शॉर्टलिस्ट के साथ वर्ड समीक्षाः 122 कंपनियों को मजबूत मैचों के रूप में चिह्नित किया गया है और 17 पहले से ही ग्राहक संबंध प्रबंधन प्रणाली में हैं।
परिभाषाएँ: चरण/प्रारंभ और चरण/अंत के बीच एक मॉडल प्रतिक्रिया है; प्रयास एक अनुरोध है, जो प्रति कदम कई हो सकता है; पुनः प्रयास समय समाप्ति का अनुसरण करता है; बिना बाइट्स के 300 सेकंड के बाद समय समाप्त होना। token गणना संचयी उपयोग हैं, अद्वितीय संदर्भ नहीं है और इनपुट में प्रत्येक चरण में पुनः प्रस्तुत इतिहास शामिल है।
प्रति सेकंड रिपोर्ट किए गए 48.5 tokens आउटपुट tokens को पूर्ण दीवार घड़ी से विभाजित किया जाता है, जिसमें ऑर्केस्ट्रेशन, टूल निष्पादन, प्रतीक्षा और पुनः प्रयास ओवरहेड शामिल हैं। यह vLLM डिकोड बेंचमार्क नहीं है। लगभग 0.75 शब्दों पर token, 3.77M आउटपुट tokens के बारे में है 2.8 मिलियन शब्द, 35 उपन्यासों की लंबाई, एक छोटी मशीन द्वारा हजारों अलग-अलग अनुरोधों पर एक दिन से कम समय में निर्मित, एक लंबी पीढ़ी नहीं। एक काल्पनिक स्थिर 240-वाट ड्रॉ पर, 21.6 घंटे लगभग 5.2 किलोवाट-घंटे की खपत करेंगे, लेकिन वास्तविक शक्ति को मापा नहीं गया था।
सभी 2,874 चरणों की क्लाइंट-अवलोकन अवधि को जोड़कर 384.9 घंटे देता है, जबकि सत्र 21.6 चला। अंतर समवर्ती है: 384.9 चरण-घंटे से अधिक 21.6 दीवार घड़ी घंटे का मतलब औसत 17.8 कदम बकाया, 30 पर एक शिखर के खिलाफ server चार सक्रिय अनुक्रमों के लिए विन्यस्त। vLLM max-num-seqs निष्पादित अनुक्रमों को कैप करता है, प्रतीक्षा अनुरोध नहीं। ग्राहक के पास उड़ान में मॉडल अनुरोधों की कोई सीमा नहीं थी। माता-पिता ने तरंगों में सबएजेंट भेजे, वे अपने स्वयं के भेजा और एजेंट और एंडपॉइंट के बीच कुछ भी उन्हें वापस नहीं रखा।
पहली लहरों के दौरान 107 से 127 प्रति घंटा, जब 26 से 27 कदम उत्कृष्ट थे और दूसरी चोटी पर 134 से 173 प्रति घंटे। वे शून्य के करीब गिर गए जब 12 से कम कदम बकाया थे। 22 घंटे के डिब्बे में, आर = 0.86 चेतावनी: एक समय-बाहर कदम कम से कम पांच और मिनट के लिए बकाया रहता है, इसलिए टाइमआउट समवर्तीता को बढ़ाते हैं साथ ही इसका अनुसरण करते हैं; सातवें घंटे में औसतन 20 उत्कृष्ट कदम थे लेकिन केवल 34 टाइमआउट्स थे।
भेजने से निरस्त करने तक मापा गया, 1,330 समय-बाहर प्रयास कुल 114.4 संचयी क्लाइंट अनुरोध-घंटे हैं, जो सभी ग्राहक चरण-समय का लगभग 30% है। यह क्लाइंट-साइड ओवरलैपिंग समय है, निष्क्रिय server समय नहीं, और किसी ने भी उपयोगी आउटपुट का उत्पादन नहीं किया क्योंकि प्राप्त डेटा को निरस्त करने पर फेंक दिया गया था। लंबे कदम समस्या नहीं थे: 2,114 चरणों में से जो कभी समय समाप्त नहीं हुए, 1,304 300 सेकंड से अधिक चले। वे कभी भी बिना डेटा के 300 सेकंड नहीं गए। एक समय सीमा 300 सेकंड है बिना बाइट के।
निर्यात में server समय नहीं है, इसलिए यह कतार, प्रीफिल या सीधे डिकोड नहीं दिखा सकता। लेकिन समय-चिह्न मौन को बाधित करते हैं। मान लें कि जब भी कोई बाइट आता है तो क्लाइंट निष्क्रिय टाइमर रीसेट हो जाता है, अंतिम बाइट के 300 सेकंड बाद एक समय-बाहर प्रयास समाप्त होता है, इसलिए लॉग की गई अवधि माइनस 300 नवीनतम बिंदु है जिसे यह कुछ भी सुन सकता था। सभी 1,330 टाइमआउट के लिए, वह बिंदु शुरू होने की कोशिश से 28 सेकंड के भीतर आता है; मध्यवर्ती लगभग 8 सेकंड; 454 एक सेकंड से कम। किसी को भी डेटा प्राप्त करने से पहले लगभग 28 सेकंड तक नहीं मिला। निर्यात में यह नहीं बताया गया है कि पहले क्या आया, हेडर या प्रारंभिक टुकड़ा। अग्रणी परिकल्पना: अनुरोध शुरू होने की प्रतीक्षा कर रहे थे, या तो चार स्लॉट में से एक के लिए लगभग 16 अन्य अनुरोधों के पीछे कतारबद्ध हैं, या औसतन 70,000 tokens के बारे में पूर्व-पूर्ति करते हुए। इनको अलग करने के लिए server मीट्रिक की आवश्यकता है; यह दावा नहीं किया गया कि vLLM बोतल का गला था।
पुनः प्रयास बजट प्रारंभिक प्रयास के बाद पांच पुनरीक्षण है, अधिकतम छह प्रयासों के लिए। 732 रिकवर किए गए चरणों को एक से पांच टाइमआउट के बाद पूरा किया गया; 15 सबसे खराब लोगों ने पाँच बार समय समाप्त कर दिया और छठे पर सफल रहे। 28 खोए हुए कदम प्रत्येक शो एक से पांच तक दोहराता है, छह टाइमआउट, फिर कोई प्रतिक्रिया नहीं। वे अंतराल के लिए खाते हैंः 1,302 टाइमआउट एक पुनः प्रयास द्वारा पीछा किया गया था, और 28 अंतिम थे। 28 खोए हुए कदमों के बाद एजेंट का पता नहीं लगाया गया। कार्यपुस्तिका से गायब दो फर्मों को इन चरणों में खोया नहीं गया था; उनकी शोध फाइलें पूर्ण हैं।
शोध के परिणाम में वास्तव में क्या है
थ्रूपुट और रीटेस्ट सही साबित नहीं होते हैं, इसलिए डिलिवरबल्स को सीधे चेक किया गया। स्रोत Portable Document Format में 93 फर्मों को सूचीबद्ध किया गया है, न कि उनकी पोर्टफोलियो कंपनियों को, इसलिए यह कवरेज की पुष्टि करता है लेकिन अस्तित्व नहीं। कवरेज में कमी आई: केवल 91 फर्मों ने कार्यपुस्तिका तक पहुंच बनाई। अन्य दो पूरी तरह से शोधित थे, 32 वर्तमान पोर्टफोलियो कंपनियां थीं और तीन ने मजबूत मैच बनाए, लेकिन कभी नहीं बनाया। एकत्रीकरण स्क्रिप्ट अनुभाग शीर्षक "## पोर्टफोलियो (वर्तमान) " से बिल्कुल मेल खाती है, जबकि दो शोध फ़ाइलों ने मामूली रूपों का उपयोग किया। कार्यपुस्तिका फर्म सारांश पत्रक शून्य कंपनियों के साथ दोनों फर्मों की समीक्षा दिखाता है, और कुछ भी चिह्नित नहीं किया गया है। यह एक पाइपलाइन बग है, न कि किसी मॉडल की विफलता, लेकिन ठीक उसी तरह के मूक नुकसान लंबे समय तक बिना निगरानी वाले रन आसानी से चूक जाते हैं।
कार्यपुस्तिका में, 1,819 पंक्तियों में से 302 के पास कोई संख्यात्मक स्कोर नहीं हैः 279 को दायरे से बाहर रखा गया है, जैसे कि वित्तीय सेवाएं और शुद्ध सेवाएँ; 21 का कोई फैसला नहीं है; 2 बिना किसी अंकों के निर्णय लेते हैं। पंद्रह कंपनियां एक से अधिक बार दिखाई देती हैं। पूर्ण कंपनी शीट में 130 मजबूत-मिलान फैसले और 19 ग्राहक संबंध प्रबंधन हिट हैं, जबकि 122 और 17 शॉर्टलिस्ट पर।
एक डेस्क रिव्यू ने पूर्ण कंपनी शीट की पहली 25 पंक्तियों को रिसर्च नोट्स और रूब्रीक के साथ चेक किया। वे यादृच्छिक नहीं हैंः शीट पहले मजबूत मैचों को सॉर्ट करती है, इसलिए सभी 25 7 या उससे अधिक रेटिंग वाली कंपनियां हैं, जहां त्रुटियों की सबसे ज्यादा लागत होती है। पांच त्रुटियांः तीन कंपनियों ने नोट्स को छोड़ने के रूप में लेबल किया, फिर भी सभी अन्य क्षेत्रों को खाली करके 8/10 अंक प्राप्त किए; एक पंक्ति जिसका व्यवसाय विवरण और राजस्व कंपनी से मेल नहीं खाता है; दो प्रायोजकों के तहत सूचीबद्ध एक कंपनी विरोधाभासी वर्णन के साथ। तीन बहिष्कृत कंपनियों ने 130 बनाम 122 के अंतर का हिस्सा शॉर्टलिस्ट शीट में नहीं लिया। कोई भी आविष्कार नहीं हुआ, हालांकि कई 2026 संरचनाएं हैं जिन्हें स्वतंत्र रूप से सत्यापित नहीं किया जा सका।
25 पंक्तियों में पांच स्पष्ट त्रुटियां उस उपसमूह के लिए 20% त्रुटि दर है। क्योंकि यह एक क्रमबद्ध सूची का शीर्ष है, न कि यादृच्छिक ड्रॉ, यह कार्यपुस्तिका में अनुमान नहीं है। मजबूत-मिलान सूची एक उपयोगी प्रारंभिक बिंदु है, समाप्त उत्तर नहीं। परीक्षक ने इसे चलाए जाने के बाद से काम किया है और त्रुटि दर की तुलना में इसकी समग्र उपयोगिता अधिक पाई गई है।
अगला परीक्षण और पाठकों को क्या देखना चाहिए
दो प्रयोगों की योजना बनाई गई है। पहला vLLM के प्रोमेथियस मैट्रिक्स के साथ एक समान कार्यभार को फिर से चलाता है। मेट्रिक्स एंडपॉइंट कतार समय और समय-से-प्रथम token को उजागर करता है, जो कि मौन के प्रयासों के लिए पूर्वावलोकन से कतार प्रतीक्षा को अलग करता है। दूसरा, लापता क्लाइंट बैकलैश को जोड़ता हैः इन-फ्लाइट मॉडल अनुरोधों पर एक सेमाफ़ोर, दो से चार तक की सीमा, लगभग server के चार सक्रिय अनुक्रमों से मेल खाता है, जबकि एजेंट बीच में उपकरण का काम करते रहते हैं।
परीक्षण में टाइम-आउट काउंट, औसत चरण अवधि और पूर्ण कार्य दर दर्ज की जानी चाहिए। यदि टाइम-आउट घट जाता है और पूरा किया गया कार्य बना रहता है, तो टोपी ने मदद की। यदि दोनों गिरते हैं, तो एजेंटों ने दी गई समवर्तीता का उपयोग किया। न तो परिणाम 48.5 tokens प्रति सेकंड को एक hardware छत बना देगा, क्योंकि शीघ्र लंबाई, कैशिंग, टूल विलंबता और कार्यभार मिश्रण उस संख्या को स्थानांतरित करते हैं। न तो परीक्षण चलाया गया है, इसलिए कोई अनुकूलन परिणाम दावा नहीं किया जाता है।
व्यापक बिंदु यह है कि स्थानीय अनुमान को निरंतर एजेंट कार्य पर आंका जाना चाहिए, शिखर tokens प्रति सेकंड नहीं। टाइमआउट ओवरहेड वास्तविक था: लगभग 30% क्लाइंट स्टेप समय निरस्त प्रयासों में चला गया। लेकिन पुनः प्रयास नीति ने 760 प्रभावित चरणों में से 732 को पुनर्प्राप्त किया, और कार्यप्रवाह समाप्त हो गया. पहले से प्रकाशित और कभी रिट्यून नहीं किए गए कॉन्फ़िगरेशन पर, एक DGX Spark ने सत्र को डिलीवरी तक ले जाया।

Comments (0)