एजेंटिक कोडिंग के लिए 30 बिलियन-पैरामीटर मिश्रण-विशेषज्ञ मॉडल के साथ एक AI एजेन्ट हार्नेस का संचालन
एक 32 जीबी Ryzen 9 नोड क्लाईन के लिए Qwen 3 कोडर 30B चलाता है, जो bandwidth सीमाओं के बावजूद GPUs या क्लाउड शुल्क के बिना स्थानीय एजेंटिक कोडिंग सक्षम करता है।
मुख्य जानकारी
- एक डेवलपर ने Qwen 3 Coder 30B, 30-अरब-पैरामीटर MoE कोडिंग मॉडल, स्थानीय रूप से Ollama के माध्यम से 32GB Ryzen 9 3900X नोड पर VSCode में AI एजेंट हार्नेस के रूप में क्लाइन का उपयोग किए बिना NVIDIA GPU चलाया।
- सेटअप भूमिकाओं को अलग करता हैः मॉडल निर्णय लेता है, जबकि क्लाइन उन्हें निष्पादित करता है, एजेंट लूप का प्रबंधन करता है और उपकरण के उपयोग को संभालता है।
- मुख्य प्रदर्शन बाधा मेमोरी बैंडविड्थ है, न कि CPU या GPU कंप्यूटिंग, जिसके परिणामस्वरूप प्रति सेकंड लगभग 2.75 टोकन होते हैं, लेकिन सिस्टम में शून्य-निकट वृद्धिशील लागत होती है।
- हालांकि क्लाउड H100 अनुमान से धीमा है, स्थानीय सेटअप अधिक टोकन-प्रति-डॉलर कुशल हो सकता है और आवर्ती बादल शुल्क, विक्रेता लॉक-इन और तीसरे पक्ष के डेटा साझाकरण से बचा जाता है।
- नेटवर्क कॉन्फ़िगरेशन सरल हैः Ollama पोर्ट पर सुनता है 11434 OLLAMA_HOST के साथ सभी इंटरफेस से बंधा हुआ, जिससे लैपटॉप चलाने वाले Cline को स्थानीय नेटवर्क पर कनेक्ट करने की अनुमति मिलती है।
मेटा विवरणः एक सितंबर 2026 सेटअप मेमोरी-बैंडविड्थ ट्रेडऑफ के साथ 32GB Ryzen 9 3900X नोड, no NVIDIA GPU पर Qwen 3 कोडर 30B और क्लाइन की सेवा दिखाता है।
टैगः AI एजेंट, लोकल एलएलएम, ओल्मा, क्लाइन, एज AI
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक नेटवर्क केबल द्वारा लैपटॉप से जुड़े गेराज कंप्यूटर का अमूर्त मैत्रीपूर्ण चित्रण, टोकन स्ट्रीम और कोड फ़ाइलों के साथ; कोई वास्तविक व्यक्ति नहीं, कोई लोगो नहीं, न ही पाठ।
डेवलपर्स जो क्लाउड अनुमान शुल्क का भुगतान किए बिना AI कोडिंग एजेंटों का परीक्षण करना चाहते हैं, वे एक सितंबर 2026 परियोजना से सीख सकते हैं Robert David Hernandez, में स्थित एक सॉफ्टवेयर इंजीनियर San Francisco Bay Area. उन्होंने कम लागत वाले किनारे डिवाइस पर AI Agent Harness के लिए एक अनुमान अंत बिंदु के रूप में 30-अरब पैरामीटर AI मॉडल की सेवा करने का वर्णन किया है। सेटअप जोड़े Cline v4 1.19 VSCode में qwen-3-coder:30b Ollama के माध्यम से चल रहे गैरेज नोड पर जिसमें 32GB RAM और Ryzen 9 3900X है।
क्यों एक गैरेज नोड प्रयोगों के लिए GPU की जगह ले सकता है
हर्नांडेज़ रोजमर्रा के सॉफ्टवेयर विकास के हिस्से के रूप में फ्रेम करता है। वह कहते हैं कि उनके कार्यालय में डेवलपर्स पहले से ही आईडीई के अंदर निजी सीमा AI मॉडल और निजी सीमा AI Agent Harnesses का उपयोग करते हैं। गैरेज प्रयोग एक संकीर्ण सवाल पूछता हैः क्या स्थानीय कोडिंग एजेंट उपयोगी एजेन्टिक काम कर सकता है जब मॉडल नेटवर्क लिंक पर सेवा प्रदान की जाती है, जबकि वृद्धिशील खर्च करीब रखते हुए $0?
समस्या स्थान में लागत, डेटा गोपनीयता, मेमोरी और कंप्यूटिंग संसाधन शामिल हैं। क्लाउड अनुमान की आवर्ती लागत हैः Claude Code Pro प्रति घंटा लागत $20 / मो, जबकि एक NVIDIA H100 पर Lamba Labs लागत $3-$4 प्रति घंटे, या लगभग $120 / mo 10 घंटे / सप्ताह है। हार्डवेयर की कीमतें भी उच्च हैं, GPU और RAM के साथ सितंबर में इस लेखन के रूप में सभी समय की ऊंचाइयों पर 2026 । गोपनीयता पक्ष पर, बादल AI मॉडल प्रदाताओं पर निर्भर करते हुए तृतीय पक्ष कंपनियों को डेटा भेजने की आवश्यकता होती है।
स्थानीय हार्डवेयर की अपनी सीमाएं हैं। हर्नांडेज़ के पास M3 MacBook Air में 24 जीबी का RAM है. उनका कहना है कि इसमें बहुत अधिक कंप्यूटिंग है, लेकिन यह उपयोगी होने के लिए पर्याप्त बड़े मॉडल लोड नहीं कर सकता; एक 9B मॉडल को लोड करने से ध्यान देने योग्य स्टैटर होता है। समाधान तीन विकल्पों का उपयोग करता हैः पहले से मौजूद लैब हार्डवेयर का उपयोग करना जारी रखें, ओपन-वेट एमओई कोडिंग मॉडल चुनें जो खुले स्रोत रनटाइम ओलमा के माध्यम से स्थानीय रूप से चलाया जा सके, और विकास लैपटॉप पर सीधे वीएसकोड के अंदर ओपन-सोर्स AI Agent Harness Cline का उपयोग करें। उस संयोजन का उद्देश्य लागत को नियंत्रित करना, विक्रेता लॉक-इन से बचना और स्व-होस्टिंग और फाइन-ट्यूनिंग संभव बनाना है।
कैसे मॉडल और हार्नेस ने काम को विभाजित किया
आर्किटेक्चर दो भूमिकाओं को अलग करता है। AI मॉडल निर्णय लेता है। AI Agent Harness उन फैसलों को निष्पादित करता है, एजेंट लूप का प्रबंधन करता है , सुरक्षा जांच संभालता है और टूल के साथ बातचीत करता है. अनुरोध प्रवाह में, हार्नेस मॉडल एंडपॉइंट पर एक POST अनुरोध भेजती है और एक खंडित JSON टोकन स्ट्रीमिंग प्रतिक्रिया प्राप्त करती है।
क्लाईन v4.1.19 इस परियोजना में हार्नेस है। यह एक ओपन-सोर्स प्रोजेक्ट है, जो अपाचे 2.0 के तहत लाइसेंस प्राप्त है, जिसमें गिटहब रिपॉजिटरी है। हर्नांडेज़ ने इसे इसलिए चुना क्योंकि यह Model Context Protocol (एमसीपी) और देशी टूल उपयोग दोनों का समर्थन करता है। इसमें फ़ाइल रीड / राइट एक्सेस, टर्मिनल निष्पादन, ब्राउज़र उपयोग और प्राकृतिक वार्तालाप हैं। यह सख्त प्लान एंड एक्ट लूप के माध्यम से मानव-इन-द-लूप सुरक्षा गार्डरेल्स भी प्रदान करता है, जिसके लिए विनाशकारी कार्यों से पहले स्पष्ट अनुमोदन की आवश्यकता होती है।
मॉडल Qwen 3 Coder 30B है, जिसे qwen-3-coder:30b के रूप में सूचीबद्ध किया गया है Ollama Library. इसका लाइसेंस Apache 2.0 है। कई मॉडलों की तुलना करने के बाद, हर्नान्डेज़ ने इस मिश्रण विशेषज्ञों (एमओई) मॉडल का चयन किया क्योंकि यह उन्नत कोड पीढ़ी और टूल-चालित एजेंटिक व्यवहार के लिए बनाया गया है। यह 256K टोकन की एक देशी संदर्भ लंबाई का समर्थन करता है। इसे मानक Q4_K_M क्वांटिसेशन के साथ चलाने से लगभग 18.6GB RAM की आवश्यकता होती है। 32 जीबी नोड पर, जो भारी स्वैप उपयोग को मजबूर किए बिना संदर्भ खिड़कियों और ऑपरेटिंग सिस्टम के लिए जगह छोड़ता है।
गति सीमा स्मृति है, नहीं CPU
बोतलबंदी यह नहीं है कि मशीन के पास एक NVIDIA GPU है। यह मेमोरी बैंडविड्थ है। प्रत्येक उत्पन्न टोकन को RAM से सभी मॉडल भार पढ़ने की आवश्यकता होती है, इसलिए गति सीमा GPU कंप्यूटिंग के बजाय स्मृति बैंडवीड है।
गैरेज नोड्स RAM को 16-बाइट बस चौड़ाई के साथ 3200 MT/s का रेटिंग दिया गया है। यह 51.2GB / s की सैद्धांतिक बैंडविड्थ देता है। व्यवहार में, सेटअप प्रति सेकंड लगभग 2.75 टोकन पैदा करता है। वह मामूली है, लेकिन इसमें कोई वृद्धिशील पूंजीगत व्यय नहीं होता है।
लागत की तुलना व्यापार को और अधिक स्पष्ट बनाती है। Ryzen 9 3900X टोकन-प्रति-डॉलर दक्षता पर क्लाउड H100 को हरा सकता है, भले ही यह इंटरैक्टिव उपयोग के दौरान धीमा हो। एच 100 कच्ची गति खरीदता है, लेकिन प्रत्येक टोकन प्रीमियम क्लाऊड मार्कअप रखता है। उत्पादन में, एक टीम संभवतः ग्राहकों के लिए उच्च थ्रूपुट का चयन करेगी। गेराज लैब में, लक्ष्य लागत प्रभावी प्रयोग है।
सिस्टम कम टोकन उत्पादन लागत और $0 वृद्धिशील पूंजीगत व्यय प्राप्त करता है। यह तेजी से प्रतिक्रिया समय देता है। मेमोरी बैंडविड्थ सीमित कारक बनी हुई है, इसलिए अनुभव इस बात पर निर्भर करता है कि एजेंट वर्कफ़्लो कितना धैर्य सहन कर सकता है।
सेटअप, फ़ायरवॉल और कोडिंग परीक्षण
सर्वर नोड मॉडल संस्करण qwen-3-coder:30b के माध्यम से चलाता है Ollama संस्करण 0.34.2 पर win-11, एक उपलब्ध का उपयोग कर TCP Port 11434. क्लाइंट नोड Cline संस्करण v4 और VSCode संस्करण 1.138 .0 चलता है, जिसमें सेटअप नोट्स में 600 सूचीबद्ध हैं। भौतिक लेआउट सरल हैः सर्वर मॉडल की मेजबानी करता है, जबकि लैपटॉप हार्नेस को संचालित करता है।
नेटवर्क कॉन्फ़िगरेशन भी हल्का है। गैरेज नेटवर्क में 1Gbps लिंक है, जो आराम से प्रति सेकंड टोकन की एक छोटी संख्या के लिए आवश्यक किलोबाइट-स्केल बैंडविड्थ को संभाल सकता है। प्रयोगशाला में एक DNS सेवा मौजूद है, लेकिन लेखन विन्यस्त नहीं करता है DNS. कुंजी सर्वर सेटिंग OLLAMA_HOST="0.0:11434" पर्यावरण चर है. स्टार्टअप पर, ओलमा का उपयोग उस सेटिंग को सर्वर नोड पर सभी इंटरफेस से बांधने के लिए किया जाता है, ताकि क्लाइंट नोड इसे प्राप्त कर सके। फ़ायरवॉल नियम को गेराज सबनेट से इनबाउंड TCP Port 11434 की अनुमति देनी चाहिए।
सिस्टम का परीक्षण करने के लिए, हर्नान्डेज़ ने क्लाईन से एक बहु-चरण कोडिंग कार्य करने के लिये कहा: uv का उपयोग करके एक Python Hello World प्रोजेक्ट बनाएं, /api/v1/hello पर प्रतिक्रियाओं की सेवा के लिए FastAPI का उपयोग करें, अल्पाइन बेस और uvicorn के साथ एक डॉकर कंटेनर शामिल करें, यूनिट टेस्ट जोड़ें, और कस्टमाइज फाइलों को जोड़ें। मॉडल वेट्स मेमोरी में स्ट्रीमिंग शुरू कर दिया, और मेमरी उपयोग लगभग 80% तक बढ़ गया और स्थिर हो गया। एजेंट तब टर्मिनल कमांड निष्पादित करता है, फ़ाइलें बनाता है, और प्लान एंड एक्ट अनुमोदन लूप के अंदर रहते हुए कोड लिखता है। परिणामी कंटेनराइज्ड API फास्ट सर्विस 200 ओके वापस आ गई जब GET / api / v1 / hello बुलाया गया था।
डेवलपर्स के लिए इसका क्या मतलब है
पाठकों के लिए, मूल्य यह नहीं है कि यह सेटअप एक उत्पादन AI सेवा की जगह लेता है। यह दर्शाता है कि यदि मशीन में पर्याप्त 30B कोडिंग मॉडल नेटवर्क लिंक पर स्थानीय रूप से प्रदान किया जा सकता है और वर्कफ़्लो धीमी पीढ़ी स्वीकार करता है। निजी कोडिंग कार्यों, कम लागत वाले प्रयोगों और टीमों के लिए जो तीसरे पक्ष के क्लाउड प्रदाताओं को कोड भेजने से बचना चाहते हैं।
अगला स्पष्ट अपग्रेड GPU हार्डवेयर है। चूंकि टोकन पीढ़ी मेमोरी बैंडविड्थ द्वारा सीमित है, जबकि पीसीआईई बस में बहुत जगह है, हर्नान्डेज़ एक आरटीएक्स 4090 को 24 जीबी वीआरएएम के साथ एक मजबूत अगले कदम के रूप में इंगित करता है। तब तक, qwen-3-coder: 30b और Cline उच्च थ्रूपुट उत्पादन पथ की बजाय कम लागत वाली सप्ताहांत परियोजना बनाते हैं।
परियोजना मूल रूप से Medium पर Towards AI में प्रकाशित की गई थी। Robert David Hernandez एक सॉफ्टवेयर इंजीनियर है, जो वर्तमान में टिकटॉक Traffic Infrastructure Global Engineering टीम के सदस्य हैं और पहले माइक्रोसॉफ्ट में थे। उनके पास यूनिवर्सिटी ऑफ Illinois Chicago से एमएस है और लिंक्डइन और गिटहब पर लिंक कनेक्ट करता है।
Comments (0)