एआई के साथ कोडिंग

Lazare, Veni Foras AI एजेंटों में backdoors सम्मिलित करने के लिए निष्क्रिय न्यूरॉन्स reprograms.

Microsoft Lazarus अनुसंधान दिखाता है छिपा हुआ LLM dormant न्यूरॉन्स के माध्यम से backdoors, बनाने provenance, वजन अखंडता, और फाउंड्री नियंत्रण आवश्यक.

Lazare, Veni Foras AI एजेंटों में backdoors सम्मिलित करने के लिए निष्क्रिय न्यूरॉन्स reprograms.

मुख्य जानकारी

  • Microsoft के शोधकर्ताओं ने 'लाजरस' की पहचान की, जो एक बैकडोर तकनीक है जो LLM के अंदर कम संख्या में निष्क्रिय न्यूरॉन्स को फिर से प्रोग्राम करती है, जिसके लिए पुनः प्रशिक्षण की आवश्यकता नहीं होती और मॉडल को सामान्य दिखने देता है जब तक कि कोई छिपा हुआ ट्रिगर दुर्भावनापूर्ण व्यवहार को सक्रिय नहीं करता।
  • ट्रिगर सूक्ष्म हो सकता है, जैसे कि एक विशिष्ट तिथि, और सक्रिय होने के बाद, समझौता किया गया मॉडल हमलावर-नियंत्रित आदेशों को AI एजेंट में इंजेक्ट कर सकता है जिनके पास उपकरण या टर्मिनलों तक पहुंच होती है।
  • चूंकि खतरा एप्लिकेशन कोड के बजाय मॉडल वेट्स में एम्बेडेड है, इसलिए मानक मूल्यांकन इसका पता नहीं लगा सकते हैं, जिससे वजन अखंडता और मॉडल प्रजनन AI सुरक्षा के महत्वपूर्ण हिस्से बन जाते हैं।
  • Microsoft Foundry ओपन-वेट मॉडलों को उनके मूल प्रकाशकों से जोड़कर, उन्हें नियंत्रित कंटेनरों में चलाने और निष्पादन वातावरण को स्कैन करके जोखिम का समाधान करता है, जबकि भविष्य की सुरक्षा में रेड-टीमिंग टूल, वेट स्कैनिंग और सत्यापित मॉडल हस्ताक्षर शामिल हैं।
  • मूल पाठ यह है कि मॉडल भार को software कलाकृतियों की तरह माना जाना चाहिए: टीमों को उनकी उत्पत्ति, निगरानी व्यवहार, सीमा अनुमतियां और किसी भी एकल लेखा परीक्षा पर भरोसा करने के बजाय गहन रक्षा का उपयोग करना चाहिए।

मेटा विवरण: Microsoft के शोधकर्ताओं ने लाजरस, एक AI मॉडल बैकडोर पाया जो निष्क्रिय न्यूरॉन्स को फिर से प्रोग्राम करता है। जानें कि क्यों मॉडल प्रजनन, वजन अखंडता और फाउंड्री मायने रखते हैं।

Lazare, veni foras reprograms dormant neurons to insert backdoors into AI agents.

टैग: AI सुरक्षा, मॉडल उत्पत्ति, Microsoft Foundry, खुले वजन, लाजरस

एक छिपे हुए निष्क्रिय न्यूरॉन और ढाल मॉडल पाइपलाइन के साथ neural network का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है

AI एजेंटों को तैनात करने वाली सुरक्षा टीमों, प्लेटफ़ॉर्म मालिकों और डेवलपर्स के लिए, यह लेख व्यावहारिक रूप से बताता है कि Microsoft Lazarus AI मॉडल बैकडोर का क्या अर्थ है। यह दिखाता है की कैसे एक सामान्य व्यवहार वाले एजेंट को छिपे हुए कमांड एक्जीक्यूटर में बदल सकता है, और क्यों प्रजनन, वजन अखंडता और नियंत्रित तैनाती AI सुरक्षा के आवश्यक हिस्से बन रहे हैं।

लाजरस बैकडोर क्या करता है

Microsoft शोधकर्ताओं ने एक तकनीक की पहचान की जिसे वे लाजरस कहते हैं। मूल विचार इतना सरल है कि यह परेशान करने वाला हैः एक हमलावर 10 से कम निष्क्रिय न्यूरॉन्स को large language model या LLM के अंदर रीप्रोग्राम कर सकता है, और उन न्यूरॉन का उपयोग छिपे हुए ट्रिगर डिटेक्टरों के रूप में करता है। कोई प्रशिक्षण आवश्यक नहीं है। मॉडल मानक मूल्यांकन पास करना जारी रख सकता है और सामान्य रूप से व्यवहार कर सकते हैं जब तक कि एक विशिष्ट ट्रीगर प्रकट न हो जाए।

ट्रिगर को नाटकीय होने की आवश्यकता नहीं है। शोधकर्ताओं के उदाहरण में, ट्रिजर दिनांक परिवर्तन के रूप में साधारण हो सकता है। एक बार जब घड़ी मध्यरात्रि 2027 में गुजर जाती है, तो संशोधित मॉडल पर बनाया गया एजेंट सामान्य कार्य के बीच में हमलावर का आदेश जारी कर सकता है । यदि उस एजेंट के पास उपकरण या टर्मिनल तक पहुंच होती हैं, तो कमांड डाउनलोडर कोड डाउनलोड और चला सकता है, रहस्यों को चुरा सकता है या उपयोगकर्ता ने एजेंट को जो भी अनुमतियां दी हैं उनका उपयोग करके विनाशकारी कार्यों को निष्पादित कर सकते हैं।

यह महत्वपूर्ण है क्योंकि मॉडल अभी भी नियमित जांच के दौरान साफ दिख सकता है। दुर्भावनापूर्ण व्यवहार सशर्त, निष्क्रिय और आसपास के अनुप्रयोग में एक स्पष्ट कोड परिवर्तन की बजाय आंतरिक परिवर्तन से जुड़ा हुआ है।

क्यों वजन में मामूली बदलाव बड़े जोखिम पैदा कर सकता है

लाजरस तकनीक एक ऐसी संपत्ति का शोषण करती है जो अधिकांश तंत्रिका मॉडल में मौजूद होती हैः कई न्यूरॉन्स शायद ही कभी सक्रिय होते हैं। उन निष्क्रिय न्यूरॉनों को पुनः नियोजित किया जा सकता है ताकि वे केवल तभी फायर करें जब कोई छिपा हुआ ट्रिगर मौजूद हो। शोधकर्ताओं ने समझाया कि पूर्व-प्रशिक्षण आंतरिक प्रतिनिधित्व को इतनी अच्छी तरह से व्यवस्थित कर सकता है कि लगभग 50 उदाहरणों पर फिट एक रैखिक वर्गीकरणकर्ता इसके बिना इनपुट से ट्रिगर्स वाले इनपुट को अलग कर सके।

एक बार रीप्रोग्राम्ड न्यूरॉन फायरिंग हो जाने पर, यह मॉडल के आंतरिक आउटपुट पथ को प्रभावित कर सकता है, जिसे अनुसंधान में अवशिष्ट धारा के रूप में संदर्भित किया गया है। एक न्यूरॉन्स एक token इंजेक्ट करने में मदद कर सकते हैं, और कई न्यूरोन मनमाने पेलोड का उत्पादन करने के लिए एक साथ जंजीरबद्ध किए जा सकते हैं। एजेंट सेटिंग में, वे पेलोस कमांड बन सकते हैं जो उपयोगकर्ता के वातावरण में चलते हैं।

हमले के लिए विदेशी hardware की भी आवश्यकता नहीं है. यदि किसी मशीन में मॉडल चलाने के लिए पर्याप्त RAM हैं, तो उसके पास इस प्रकार का वजन-स्थान संशोधन करने के लिए काफी कम्प्यूटेशनल क्षमता है।

अनुसंधान मार्च में एक त्वरित प्रयोग के रूप में शुरू हुआ। टीम ने ओपस 4.5 के साथ Claude Code का उपयोग किया और इसे प्रशिक्षण के बिना कुछ सक्रियणों को हार्डवायरिंग करके एक मॉडल को बैकडोर करने के लिए कहा। यह सफल रहा, और वह परिणाम अब लाजर नाम की विधि के महीनों लंबे अध्ययन में विकसित हुआ। शोधकर्ताओं ने यह भी नोट किया कि ओप्स 4.5 के साथClaude Code ने अधिकांश तकनीक को स्वायत्तता से खोजा था।

Microsoft फाउंड्री अब क्या करती है

Microsoft का कहना है कि सबसे तात्कालिक रक्षा एक स्कैनर नहीं है, बल्कि यह नियंत्रित करता है कि मॉडल कहां से आता है और क्या इसके वजन बदल गए हैं। Microsoft Foundry को Azure Direct Models और Hugging Face मॉडलों के माध्यम से खुले-वजन वाले मॉडल का उपयोग करने वाले ग्राहकों के लिए उत्पाद स्तर की प्रतिक्रिया के रूप में प्रस्तुत किया गया है।

फ़ाउंड्री प्रत्येक ऑनबोर्ड open-weight model को अपने मूल प्रकाशक से जोड़ती है, जो मॉडल कार्ड में पहचानी गई जानकारी का उपयोग करती है। मॉडल तब Microsoft के स्वयं के कंटेनरों के अंदर चलाया जाता है, और उस आसपास के software पर्यावरण को महत्वपूर्ण कमजोरियों के लिए स्कैन किया जाता है। एक साथ, ये नियंत्रण दो चीजों को संबोधित करते हैंः मॉडल की उत्पत्ति और इसके चारों ओर निष्पादन वातावरण की अखंडता।

विश्वसनीय प्रयोगशालाओं के मॉडलों के लिए, Microsoft में कहा गया है कि फाउंड्री ग्राहक पेपर में वर्णित हमले पैटर्न से सुरक्षित हैं। इसका कारण सीधा हैः लाजरस को एक मॉडल के वजन को बदलने की आवश्यकता होती है। यदि परिनियोजन पाइपलाइन यह पुष्टि कर सकती है कि वेट अपेक्षित प्रकाशक से आए थे और ऑनबोर्डिंग से पहले संशोधित नहीं किए गए थे, तो हमला अनदेखा पेश करना बहुत कठिन हो जाता है।

Lazare, veni foras reprograms dormant neurons to insert backdoors into AI agents.

शेष चिंता यह है कि एक भरोसेमंद प्रदाता स्वयं से समझौता किया जा सकता है, उदाहरण के लिए अपने प्रशिक्षण बुनियादी ढांचे या किसी अंदरूनी सूत्र के माध्यम से। Microsoft का कहना है कि अध्ययन की सिफारिशों पर काम पहले ही शुरू हो चुका है। इसमें पता लगाने की तकनीकों को रेड-टीमिंग हार्नेस में बदलना शामिल है, इस बात की खोज करना कि क्या सीमा एजेंट खुले वजन वाले मॉडल ऑनबोर्ड होने पर अतिरिक्त सुरक्षा संकेत के रूप में भार स्कैन कर सकते हैं, और सत्यापित प्रासंगिकता और छेड़छाड़-प्रूफ ऑडिट ट्रेल के साथ मॉडल हस्ताक्षर करने की योजना बना रहे हैं।

Microsoft भी Microsoft Threat Intelligence से मार्गदर्शन की ओर इशारा करता है। कंपनी इस बात पर जोर देती है कि कोई भी ऑडिट सुरक्षित व्यवहार की गारंटी नहीं दे सकता है। इन नियंत्रणों को रक्षा-गहन दृष्टिकोण के भीतर एक परत के रूप में माना जाना चाहिए, न कि पूर्ण ढाल।

software जैसे मॉडल भारों का उपचार कैसे करें

शोधकर्ताओं का व्यापक संदेश यह है कि एक बैकडोर मॉडल खतरे की बिल्कुल नई श्रेणी नहीं है। इसे software से समझौता किया गया है. वही सुरक्षा सिद्धांत जो बाइनरी, पुस्तकालयों और तैनाती कलाकृतियों पर लागू होते हैं वे मॉडल भार के लिए भी लागू होते हैंः जानें कि आप क्या चला रहे हैं, इसकी उत्पत्ति को सत्यापित करें, इसकी अनुमतियां सीमित करें और इसके व्यवहार की निगरानी करें।

डिटेक्शन मदद करता है, लेकिन इसकी सीमाएं हैं. फ्रंटियर एजेंटों को असामान्य वजन संशोधनों की तलाश करने के लिए कहा जा सकता है, और वे संकेत पा सकते हैं कि कुछ बदल गया है। फिर भी, कोई स्कैन किसी भी संदेह से परे यह साबित नहीं कर सकता है कि एक मॉडल सुरक्षित है। विश्वसनीय पहचान मूल, अपरिवर्तित भार के खिलाफ तैनात भार की तुलना पर निर्भर करती है। इससे प्रासंगिकता महत्वपूर्ण हो जाती हैः टीमों को यह जानने की आवश्यकता होती है कि मॉडल कहां से आया था और क्या यह डेवलपर और तैनाती के बीच बदल गया था।

अध्ययन में यह भी कहा गया है कि यह खुले वजन के खिलाफ कोई तर्क नहीं है। हमले को एक चेकपॉइंट तक लिखने की आवश्यकता होती है, इसलिए आंतरिक रूप से विकसित मॉडल उसी तरह उजागर होते हैं। समझौता किए गए खाते, छेड़छाड़ की गई पाइपलाइन या असुरक्षित भंडारण परिवर्तन शुरू करने के लिए पर्याप्त हो सकते हैं। जो मायने रखता है वह यह नहीं है कि भार खुला है या बंद है, लेकिन क्या वजन अखंडता की रक्षा और लेखा परीक्षा की जा सकती है।

Microsoft के व्यावहारिक निष्कर्ष यह है कि वजन को कोड की तरह ऑडिट किया जाना चाहिए। स्कैनिंग मॉडल भार अभी तक सामान्य अभ्यास नहीं है, और शोधकर्ताओं का तर्क है कि इसे बदलना चाहिए। चूंकि AI एजेंटों को उपकरण, टर्मिनल और वास्तविक वर्कफ़्लो तक अधिक पहुंच प्राप्त होती है, इसलिए मॉडल भार में एक छोटा अस्पष्टीकृत परिवर्तन तकनीकी जिज्ञासा के बजाय सुरक्षा घटना बन सकता है।

Comments (0)

  1. No comments yet. Be the first to share what worked for you.

Leave a comment

Comments are reviewed before they appear. Your email address is not published.