एआई के साथ कोडिंग

एलएलएमओएन एक LLM -देशी मार्कअप भाषा है जो अब 3 बिलियन और 8 बिलियन मापदंडों के साथ ग्रेनाइट 4.1 मॉडल में उपलब्ध है।

ग्रेनाइट 4.1 LLMON पूर्वावलोकन मॉडल LLM - नेटिव मार्कअप का उपयोग त्वरित निर्देशों को अलग करने के लिए करते हैं, जो क्षमता बनाए रखते हुए इंजेक्शन जोखिम को कम करता है।

एलएलएमओएन एक LLM -देशी मार्कअप भाषा है जो अब 3 बिलियन और 8 बिलियन मापदंडों के साथ ग्रेनाइट 4.1 मॉडल में उपलब्ध है।

मुख्य जानकारी

  • LLMON एक LLM -देशी मार्कअप भाषा है जिसे ग्रेनाइट 4.1 3B और 8B पूर्वावलोकन मॉडलों में जोड़ा गया है ताकि भाषा मॉडल के लिए शीघ्र संरचना स्पष्ट हो सके।
  • यह निर्देशों, डेटा और आवश्यकताओं को स्पष्ट रूप से अलग करके अप्रत्यक्ष त्वरित इंजेक्शन के खिलाफ सुरक्षा में सुधार करता है, कुछ बेंचमार्क पर हमले की सफलता दर लगभग शून्य हो जाती है।
  • LLMON पूर्वावलोकन मॉडल अप्रासंगिक संदर्भ से संदूषण को कम करते हुए ग्रेनाइट 4.1 इंस्ट्रक्ट मॉडलों के तुलनीय सामान्य प्रदर्शन बनाए रखते हैं।
  • एलएलएमओएन JUST या एक चैट टेम्पलेट नहीं है: यह आरक्षित विशेष tokens , स्पष्ट टैग, स्थानीय नेस्टिंग का उपयोग करता है और इसमें लॉसलेस JSON रूपांतरण उपकरण शामिल हैं और LoRA ट्यूनिंग के माध्यम से कस्टम टैग के लिए समर्थन प्रदान करता है।

Meta Description: ग्रेनाइट 4.1 3B और 8B LLMON पूर्वावलोकन मॉडल सामान्य क्षमता को बनाए रखते हुए अप्रत्यक्ष त्वरित इंजेक्शन के प्रतिरोध में सुधार करते हुए, स्पष्ट संरचना जोड़ते हैं

LLMON is an LLM -native markup language now available in Granite 4.1 models with 3 billion and 8 billion parameters.

टैगः LLMON, ग्रेनाइट 4.1, त्वरित इंजेक्शन, LLM सुरक्षा, JSON

विशेष रुप से प्रदर्शित छवि: ब्लॉक, टैग और डेटा के साथ एक स्वच्छ संकेत संरचना आरेख का अमूर्त अनुकूल चित्रण; कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।

ग्रेनाइट 890000890001 या ग्रैनेट 4.1 8B का उपयोग करने वाले डेवलपर्स के लिए, नए एलएलएमओएन पूर्वावलोकन मॉडल अगले tokens को उत्पन्न करने से पहले शीघ्र संरचना स्पष्ट बनाने का एक तरीका प्रदान करते हैं। इस रिलीज़ में ग्रेनाईट-4.1-3b-LLMON-पूर्वावलोकन और ग्रेनेटाइट -4.1-8 बी-एलएल एम ओ एन-प्रीव्यू शामिल है, जो कि प्रयोगात्मक मॉडलों से व्युत्पन्न होते हैं और ग्रैनिट 4.1 आधार मॉडल से उपभोग और LLM Object Notation चिह्नित पाठ उत्पन्न करने के लिए प्रशिक्षित होते हैं, या LLMON, उच्चारण "नींबू"। यह टूलकिट, वर्कफ़्लो उदाहरणों, टेम्पलेट्स, कन्वर्टर्स, Mellea समर्थन और ध्यान विज़ुअलाइज़ेशन के साथ GitHub रिपॉजिटरी भी जोड़ता है।

क्यों एलएलएमओएन लंबे संदर्भों के लिए मायने रखता है

LLMs अपने संदर्भ में जो कुछ भी दिखाई देता है, उससे tokens का अगला सेट उत्पन्न करता है। एक लंबे प्रक्षेपवक्र के दौरान, वह संदर्भ कई अलग-अलग टुकड़ों को जमा कर सकता हैः सिस्टम प्रॉम्प्ट, पिछले वार्तालाप मोड़, निर्देश जो पुनर्प्राप्त दस्तावेजों पर कार्य करते हैं, टूल प्रतिक्रियाएं या उपयोगकर्ता डेटा, अनुमत आउटपुट और तर्क श्रृंखलाओं को सीमित करने वाली आवश्यकताएँ। उस संरचना का अधिकांश हिस्सा मॉडल में निहित है या JSON जैसे प्रारूपों में एन्कोड किया गया है, जिन्हें LLMs द्वारा पचाने के लिए डिज़ाइन नहीं किया गया था।

वह निहित संरचना मुख्य कारणों में से एक है LLMs , विशेष रूप से छोटे मॉडल, नाजुक हो सकते हैं और कभी-कभी अप्रत्याशित तरीकों से विफल हो जाते हैं। यह हमलावरों के लिए उद्घाटन भी बनाता है। त्वरित इंजेक्शन एक उदाहरण हैः दुर्भावनापूर्ण निर्देश डेटा के अंदर छिपाया जा सकता है और मॉडल द्वारा माना जाता है जैसे कि यह एक वैध आदेश था।

एलएलएमओएन एक LLM -देशी मार्कअप भाषा है जिसका उद्देश्य संरचना और अर्थशास्त्र को सीधे संवाद करना है। सिमेंटिक रूप से सुसंगत घटकों को आरक्षित विशेष - token डिलीमिटर्स में लिपटे सार्थक टैग के साथ चिह्नित किया जाता है। नेस्टिंग सहित डेटा स्कीमों को इस तरह से कहा गया है जो LLM का कारण है, जिसका अर्थ है कि एक मॉडल जो पिछले संदर्भ से token द्वारा पाठ की भविष्यवाणी करता है। अद्वितीय पहचानकर्ता किसी विशिष्ट निर्देश को इंगित करना संभव बनाते हैं जो संदर्भ में कहीं भी दिखाई दे सकता है और उस निर्देश को डेटा पेलोड पर बाध्य कर सकता है जिस पर इसे कार्य करना चाहिए, जैसे programming भाषाओं में फ़ंक्शंस और तर्क कैसे काम करते हैं।

पूर्वावलोकन मॉडल व्यवहार में क्या बदलते हैं

दो पूर्वावलोकन मॉडल एलएलएमओएन-चिह्नित पाठ को पढ़ने और लिखने के लिए डिज़ाइन किए गए हैं। इस रिलीज़ में LLMON के साथ काम करने के लिए टूल और वर्कफ़्लो और टेम्पलेट्स के उदाहरणों के साथ एक GitHub भंडार भी शामिल है।

मुख्य व्यावहारिक प्रभाव निर्देशों और डेटा के बीच स्पष्ट अलगाव है। उपयोगकर्ता डेटा में छिपे हुए अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन ज्यादातर एलएलएमओएन मॉडल द्वारा अनदेखा किए जाते हैं क्योंकि मॉडल यह देख सकता है कि कौन सा पाठ कमांड है, कौन सा टेक्स्ट सामग्री है, और कौन से पाठ आवश्यकताओं को बताता है। कुछ बेंचमार्क पर, हमले की सफलता दर लगभग शून्य तक गिर जाती है, जबकि नियमित निर्देश-ट्यून वाले मॉडलों को उच्च संभावना के साथ अपहरण किया जा सकता है।

रिलीज़ में यह भी बताया गया है कि यह मजबूती सामान्य क्षमता दंड के बिना आती है। मानक बेंचमार्क श्रेणियों में, एलएलएमओएन मॉडल ग्रेनाइट 4.1 इंस्ट्रक्ट मॉडलों के बराबर प्रदर्शन करते हैं। उन टीमों के लिए जो पहले से ही ग्रैनेट 4.1 3B या 8B के साथ प्रयोग कर रहे हैं, संदेश यह है कि LLMON पूर्वावलोकन में स्वैपिंग तुलनीय समग्र प्रदर्शन को संरक्षित कर सकता है जबकि त्वरित इंजेक्शन के लिए बहुत मजबूत प्रतिरोध प्रदान करता है।

एक अन्य लाभ अप्रासंगिक संदर्भ से संदूषण को कम करना है। असंबद्ध मार्गों, पुरानी चैट मोड़ और टूल आउटपुट के उत्तर में खींचने की संभावना कम होती है क्योंकि प्रत्येक निर्देश उस सटीक डेटा से बंधा हुआ होता है जिस पर यह लागू होता है। निर्देश, डेटा और आवश्यकताओं को स्पष्ट रूप से चिह्नित किया जाता है, इसलिए संरचना और अर्थ जो पहले से ही एप्लिकेशन के कोड स्तर पर मौजूद हैं उनका उपयोग मॉडल द्वारा किया जा सकता है।

डेवलपर्स Mellea में दृष्टिकोण की कोशिश कर सकते हैं, जिसमें अपने LLM कॉल को स्वचालित रूप से LLMONizing द्वारा सक्षम मूल एलएलएमओएन समर्थन है। मौजूदा JSON पाइपलाइनों के लिए, रिलीज़ में कन्वर्टर्स शामिल हैं जो बिना किसी नुकसान के मौजूदा JSON को ललमन में बदल देते हैं। टीमें अपनी संरचना और संबद्ध टैग भी परिभाषित कर सकती हैं, फिर एक निम्न-रैंक अनुकूलन ( reinforcement learning ४) को ट्यून करती हैं ताकि मॉडल उस कस्टम शब्दावली को समझे।

LLMON JUST या एक चैट टेम्पलेट क्यों नहीं है

JSON को पार्सर्स के लिए बनाया गया था, न कि कारण भाषा मॉडल के लिए। एक JSON प्रॉम्प्ट में, tokenizer व्याकरण का सम्मान करने के लिए बाध्य नहीं है, और स्ट्रक्चरल मार्कर जैसे घुंघराले ब्रैकेट्स, उद्धरण चिह्न और कॉलन भी सामान्य पाठ के अंदर दिखाई दे सकते हैं। एक मॉडल में, दस्तावेज़ के भीतर एक उद्धरण चिन्ह और एक फ़ील्ड बंद करने वाले उद्धरण अंक समान हो सकते हैं token । जो नियम स्पष्ट होते हैं वे विश्लेषक के लिए सांख्यिकीय पैटर्न बन जाते हैं। नेस्टिंग की गहराई कोष्ठकों की गिनती द्वारा दर्शाया जाता है और Transformers लंबे समय तक ऐसी संरचना पर नज़र रखने में कमजोर होने के लिए जाना जाता है।

LLMON is an LLM -native markup language now available in Granite 4.1 models with 3 billion and 8 billion parameters.

LLMON एक अलग दृष्टिकोण लेता है. यह XML जैसी मार्कअप भाषा है जिसका संरचनात्मक सीमांकन सामान्य वर्णों के बजाय विशेष tokens आरक्षित हैं। इसका मतलब है कि संरचना और सामग्री शब्दावली के अलग-अलग हिस्सों का उपयोग कर सकती है। टैग प्रत्येक स्पैन की शुरुआत में दिखाई देते हैं, स्पैन के बीच सीमाएं स्पष्ट होती हैं, और नेस्टेड संरचनाओं को स्थानीय रूप से कहा जाता है ताकि मॉडल को लंबी दूरी पर पदानुक्रम बनाए रखने की आवश्यकता न हो।

चूंकि कई टीमें पहले से ही JSON का उपयोग करती हैं, इसलिए इस रिलीज में रूपांतरण उपकरण और उदाहरण नोटबुक शामिल हैं जो JSON को एलएलएमओएन में अनुवाद करते हैं और बिना किसी नुकसान के वापस आते हैं।

एलएलएमओएन चैट टेम्पलेट्स को प्रतिस्थापित नहीं करता है. यह उन्हें समृद्ध करता है। एक नियमित चैट template मॉडल को बताता है कि कौन सा हिस्सा किस भूमिका से संबंधित है, जैसे सिस्टम, उपयोगकर्ता या सहायक। LLMON मॉडल को बताते हैं कि प्रत्येक घटक का क्या अर्थ है और कैसे घटक एक दूसरे के भीतर और भूमिकाओं में संबंध रखते हैं।

LLMON पूर्वावलोकन मॉडल अपने स्वयं के चैट टेम्प्लेट के साथ जहाज करते हैं। व्यवहार में, एक डेवलपर उसी संदेश सूची का निर्माण करता है जो किसी भी चैट मॉडल को पारित किया जाएगा और सामान्य रूप से apply_chat_template कॉल करेगा। टेम्पलेट एलएलएमओएन संरचना देता है। अंतर यह है कि एक मोड़ अब इसके हिस्सों का नाम दे सकता है और प्रत्येक को exec: True या False के रूप में चिह्नित कर सकता है। ट्रू नामक भाग रेंडर आउटपुट के नीचे एक्सेक ब्लॉक में बाध्य होता है, जिसमें कहा जाता है कि कौन सा निर्देश चलाना है और वह किस पर संचालित होता है। एक हिस्सा फॉल्ट अभी भी संदर्भ में प्रस्तुत किया गया है लेकिन कुछ भी नहीं द्वारा संदर्भित किया जाता है।

ब्लॉक पहचानकर्ता एक निश्चित सेट से खींचे गए दो-वर्ण लेबल होते हैं; tokenizer प्रासंगिक टुकड़ों को एकल tokens के रूप में एन्कोड करता है, इसलिए किसी ब्लॉक को संबोधित करने पर हमेशा दो tokens , कोई फर्क नहीं पड़ता कि कौन सा पहचानकर्ता तैयार किया गया है। एक उदाहरण में, भूमिका अभी भी एक उपयोगकर्ता की बारी है, लेकिन इसके घटक पांच अलग-अलग पता लगाने योग्य ब्लॉकों के साथ मॉडल तक पहुंचते हैं। एक छठा ब्लॉक, निष्पादन ब्लॉक, उन्हें एक साथ बांधता है और कहता हैः इस निर्देश को चलाएं, इन दोनों आवश्यकताओं के अधीन, और यहां नामित ब्लॉक में उत्तर डालें, जो वही सहायक ब्लॉक है जिसे मॉडल भरता है।

कैसे मॉडल त्वरित इंजेक्शन का प्रबंधन करते हैं

अप्रत्यक्ष संकेत इंजेक्शन एक प्रकार का हमला है जहां दुर्भावनापूर्ण निर्देश डेटा पेलोड में छिपा होता है, जैसे कि पुनर्प्राप्त दस्तावेज़, टूल प्रतिक्रिया या उपयोगकर्ता द्वारा प्रदान किया गया डेटा। एलएलएमओएन के निर्देश/डेटा पृथक्करण को ठीक इस समस्या से निपटने के लिए डिज़ाइन किया गया है।

टीम ने ओपीआई बेंचमार्क का उपयोग करके कई open-source और बंद-स्रोत मॉडल के खिलाफ एलएलएमओएन पूर्वावलोकन की तुलना की, जो क्लासिक natural language processing कार्यों के डेटा में इंजेक्शन डालता है। कई हमले रणनीतियों का उपयोग किया जाता है। रिपोर्ट किए गए मीट्रिक स्थिरता है, जिसे 1 माइनस हमला सफलता दर के रूप में परिभाषित किया गया हैः उन हमलों का हिस्सा जहां मॉडल इंजेक्टेड निर्देश को निष्पादित नहीं करता है।

विज्ञप्ति में कहा गया है कि परीक्षण किए गए सभी गैर-एलएलएमओएन मॉडल अत्यधिक संवेदनशील थे, उच्च संभावना के साथ इंजेक्टेड निर्देशों को निष्पादित करते हैं। ओपीआई बेंचमार्क पर, एलएलएमऑन व्यावहारिक रूप से समस्या को समाप्त करता है, जो सबसे अच्छे सीमावर्ती मॉडल की तुलना में 47% अधिक हमलों से बचता है और सर्वश्रेष्ठ open-source model से 95% अधिक होता है। इसी तरह के रुझान एएसबी और स्ट्रुक बेंचमारकों पर रिपोर्ट किए जाते हैं।

रिलीज़ सीमाओं के बारे में स्पष्ट हैः ये बेंचमार्क स्थिर अप्रत्यक्ष संकेत इंजेक्शनों के लिए मजबूती का परीक्षण करते हैं। निर्देश/डेटा अलगाव सीधे उस प्रकार के हमले को संबोधित करता है। टीम का कहना है कि यह कई चैट मोड़ पर सामने आने वाले अनुकूली हमलों के लिए मजबूतता में सुधार करने पर सक्रिय रूप से काम कर रहा है।

परिणामी व्यवहार को एक विशेषाधिकार नियम के रूप में वर्णित किया गया है जो अतिरिक्त गार्डरेल की बजाय प्रशिक्षण लेआउट से बाहर आता है। निष्पादन ब्लॉक के माध्यम से प्राप्त निर्देश आधिकारिक होता है। इनपुट, जैसे डेटा, दस्तावेज, टूल स्कीमा या टूल परिणामों तक पहुंचने वाली कोई भी चीज पढ़ने के लिए सामग्री होती है, न कि पालन करने के लिए कमांड। इंस्ट्रक्शन और डेटा स्पैन जिन्हें निष्पादन खंड में नहीं बुलाया जाता है उन्हें अनदेखा कर दिया जाता है। यह एक सीखा हुआ व्यवहार है, एक लागू गारंटी नहीं।

प्रशिक्षण, बेंचमार्क और कस्टम शब्दावली

मॉडल जारी किए गए निर्देश मॉडलों के बजाय ग्रेनाइट 4.1 बेस चेकपॉइंट से शुरू होते हैं, इसलिए एलएलएमओएन व्यवहार को मौजूदा चैट प्रारूप पर स्तरित करने के बजाय पोस्ट-प्रशिक्षण के दौरान सीखा जाता है।

LLMON छह डिलीमिटर्स को परिभाषित करता है जो टैग की शुरुआत और अंत को चिह्नित करते हैं और नेस्टिंग और एंकरिंग की अनुमति देते हैं। ये tokenizer में आरक्षित एकल tokens के रूप में स्थापित किए गए हैं। टीम ने एक पारंपरिक निर्देश-ट्यूनिंग कॉर्पस को एलएलएमओएन में फिर से क्रमबद्ध किया: प्रत्येक प्रॉम्प्ट घटक अपना स्वयं का पता लगाने योग्य ब्लॉक बन जाता है, और प्रत्येक मोड़ एक निष्पादन ब्लॉक होता है जिसका नामकरण निर्देश चलाने के लिए होता है, जिस पर यह संचालित होता है और जहां आउटपुट जाता है। कार्य मिश्रण वह होता है जिसे एक सामान्य इंस्ट्रक्ट मॉडल देखता है, जिसमें चैट, मल्टी-टर्न इंटरैक्शन, retrieval-augmented generation ( RAG ), और कॉल टूल शामिल होते हैं, यही कारण है कि बेंचमार्क प्रदर्शन परंपरागत रूप से ट्यून मॉडल के करीब रहता है।

LLMON is an LLM -native markup language now available in Granite 4.1 models with 3 billion and 8 billion parameters.

training data को डिकोय निर्देशों और डेटा ब्लॉकों के साथ भी बढ़ाया जाता है जो संदर्भ में मौजूद होते हैं लेकिन जानबूझकर अनबाउंड छोड़ दिए जाते हैं, जबकि लक्ष्य आउटपुट अपरिवर्तित रहता है। यह मॉडल को निष्पादन ब्लॉक द्वारा निर्धारित निर्भरताओं का पालन करना सिखाता है और बाकी की उपेक्षा करता है।

reinforcement learning निम्नानुसार है। इस रिलीज में पांच अनुक्रमिक Group Relative Policy Optimization (जीआरपीओ) चरणों का वर्णन किया गया है जो बहु-डोमेन तर्क, मानव प्रतिक्रिया ( RLHF ), ज्ञान कैलिब्रेशन और गणित से reinforcement learning . एक अंतिम Direct Preference Optimization (डीपीओ)) चरण इंजेक्शन प्रयासों के लिए मॉडल की अपनी प्रतिक्रियाओं से निर्मित एक हजार ऑन-पॉलिसी वरीयता जोड़ियों का उपयोग करता है।

उपयोगकर्ताओं को यह जांचने में मदद करने के लिए कि मॉडल के अंदर क्या हो रहा है, रिलीज़ Hugging Face Spaces पर एक LLMON Attention Visualization की ओर इशारा करती है, जो दिखाता है कि कैसे निर्देश/डेटा अलगाव ध्यान परतों में खेलता है।

एलएलएमओएन एक निश्चित योजना से बंधा नहीं है। डेवलपर्स टैग नाम और संरचनाएं चुन सकते हैं जो डोमेन को फिट करते हैं और उन्हें पढ़ने और लिखने के लिए एडाप्टर को ठीक-ठाक कर सकते हैं। रिलीज साइंसवर्ल्ड पर यह प्रदर्शित करता है, एक टेक्स्ट-आधारित बेंचमार्क जहां एक एजेंट प्राथमिक विज्ञान कार्यों को निष्पादित करता है जैसे कि उबलते पानी, एक समय में एक कमांड जारी करके और सिम्युलेटर से स्कोर प्राप्त करना।

साइंसवर्ल्ड के लिए, टीम ने कार्यों को हल करने में शामिल योजना प्रक्षेपवक्रों की संरचना पर कब्जा करने वाली शब्दावली को परिभाषित किया। शब्दकोश में instr.task.goal, req.planning_policy.rule, data.state.room और assistant.next_action जैसे टैग शामिल हैं। ScienceWorld के संदर्भ समाधानों का प्रत्येक चरण इन टैग के साथ रेंडर किया गया था, और एक LoRA LLMON मॉडल के शीर्ष पर ट्यून किए गए थे। प्रशिक्षित मॉडल तब आयोजित-आउट गेम खेलता है और नई शब्दावली में अपनी अगली कार्रवाई लिखता है।

पूर्वावलोकन कैसे करें

यह एक प्रायोगिक पूर्वावलोकन है, अन्वेषण और मूल्यांकन के लिए तैयार लेकिन उत्पादन के लिए नहीं।

मॉडलः ग्रेनाइट-4.1-3b-एलएलएमओएन पूर्वावलोकन और ग्रेनाईट -4.1-8b-LLMON पूर्वाभ्यास

विज़ुअलाइज़ेशन डेमोः LLMON Attention Visualization

एलएलएमओएन भंडारः https://github.com/generative-computing/llmon

मेलेआः https://github.com/generative-computing/mellea

कागजः https://arxiv.org/abs/2610.38120 और https://arxiv.org/abs/2603.22519

रिलीज़ में उपयोगकर्ताओं से यह रिपोर्ट करने के लिए कहा गया है कि क्या काम किया, क्या टूट गया और वे GitHub Discussions में अगले उपयोग मामलों को देखना चाहते हैं।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.