Anthropic s फ्रंटियर रेड टीम का हवाला देते हुए

मेटा विवरणः Anthropic Frontier Red Team पाता है GLM -5.3 ने 100 बाइनरी शोषण कार्यों में से 4% का अपहरण कर लिया; Claude Mythos Preview 6% तक पहुंच गया, पहले के मॉडल शून्य थे।

टैगः GLM -5.3, Claude मिथक पूर्वावलोकन, द्विआधारी शोषण, AI सुरक्षा

विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> द्विआधारी धाराओं का अमूर्त मैत्रीपूर्ण चित्रण, नियंत्रण पथों की शाखाएं और एक छोटी ढाल, कोई पाठ नहीं, कोई लोगो नहीं, लोग नहीं।

सुरक्षा शोधकर्ताओं, डेवलपर्स और AI की सुरक्षा को ट्रैक करने वाले पाठकों के पास एक संक्षिप्त जानकारी हो सकती है कि Anthropic Frontier Red Team मूल्यांकन बाइनरी शोषण के बारे में क्या कहता है। स्रोत प्रकाशन तिथि प्रदान नहीं करता है, लेकिन रिपोर्ट शीर्षक GLM -5.3 और उन्नत साइबर क्षमताओं का प्रसार, कहते हैं कि GLM -5.3 ने यादृच्छिक रूप से चयनित आंतरिक Binary Exploitation बेंचमार्क से 100 कार्यों पर परीक्षणों के 4% में पूर्ण नियंत्रण प्रवाह अपहरण का उत्पादन किया। Claude Mythos Preview उसी उपाय पर 6% तक पहुंच गया। पहले के मॉडल, जिनमें Claude Opus और 4.6 शामिल थे, उनमें से किसी में भी सफल नहीं हुए।

परिणाम छोटा है, लेकिन परिवर्तन नहीं

द्विआधारी शोषण आक्रामक सुरक्षा कार्य का एक वर्ग है जिसका उद्देश्य संकलित कार्यक्रम को कुछ अनपेक्षित करना है। नियंत्रण प्रवाह अपहरण उस वर्ग के भीतर एक मुख्य तकनीक हैः डेटा पढ़ने या software दुर्घटनाग्रस्त होने के बजाय, हमलावर प्रोग्राम का अनुसरण करने वाले पथ को बदल देता है जबकि यह चलता है। रिपोर्ट पूर्ण नियंत्रण प्रवाह हाइजैक वाक्यांश का उपयोग करती है, जो सुझाव देती है कि मूल्यांकन आंशिक विसंगति के बजाय निष्पादन मार्ग में पूर्ण परिवर्तन की तलाश कर रहा था।

हेडलाइन संख्या कम है। चार प्रतिशत और छह प्रतिशत एक ऐसी प्रणाली का वर्णन नहीं करते हैं जो वन्य में software को भरोसेमंद रूप से तोड़ती है। वे एक संकीर्ण बेंचमार्क का वर्णन करते हैं जहां दो नए मॉडल शून्य सफलताओं से कुछ सफलताओं तक पार हो गए। AI सुरक्षा कार्य के पाठकों के लिए, वह सीमा महत्वपूर्ण है क्योंकि यह जोखिम की तस्वीर बदलता हैः तुलनात्मक मॉडलों में अनुपस्थित क्षमता अब मापने योग्य दर पर मौजूद है, भले ही दर मामूली बनी हुई हो।

4% और 6% के आंकड़ों को कैसे पढ़ें

मूल्यांकन में आंतरिक Binary Exploitation बेंचमार्क से यादृच्छिक रूप से चयनित 100 कार्य शामिल थे। रिपोर्ट परिणाम को परीक्षणों के प्रतिशत के रूप में बताती है। यह विवरण मायने रखता है। स्रोत यह नहीं कहता है कि प्रत्येक कार्य एक बार या कई बार प्रयास किया गया था, इसलिए सबसे सुरक्षित रीडिंग संख्याओं को सफल कार्यों की निश्चित संख्या में परिवर्तित करने के बजाय परीक्षणों की दर के रूप मे रखना है।

Claude Mythos Preview और GLM -5.3 के बीच 2 प्रतिशत अंक का अंतर दिखाई देने वाला अंतर है, लेकिन रिपोर्ट की अपनी रूपरेखा शून्य से गैर-शून्य तक व्यापक बदलाव पर अधिक ध्यान केंद्रित करती है। केवल 100 यादृच्छिक चयनित कार्यों और कोई सार्वजनिक कार्य टूटना, आत्मविश्वास अंतराल या पर्यावरण विवरण नहीं होने के साथ, आंकड़ों को एक बेंचमार्क के स्नैपशॉट के रूप में माना जाना चाहिए, न कि सार्वभौमिक क्षमता स्कोर।

क्यों पहले शून्य सफलता मायने रखती है

तुलना में Claude Opus 4.6 और GLM -5.2 शामिल हैं, और रिपोर्ट कहती है कि वे किसी भी कार्य में सफल नहीं हुए। यही कारण है कि मूल्यांकन पर चर्चा की जा रही हैः नए मॉडल ने केवल एक कम संख्या से थोड़ा उच्च निम्न संख्या तक स्कोर में सुधार नहीं किया। उन्होंने उन मॉडलों को स्थानांतरित कर दिया जो इस नमूने पर पूरी तरह से असफल थे जहां पूर्ण नियंत्रण प्रवाह अपहरण हुआ था।

आंतरिक बेंचमार्क का उपयोग अक्सर सार्वजनिक रिलीज़ से पहले एक मॉडल की गुप्त क्षमताओं को जांचने के लिए किया जाता है। जब सुरक्षा-केंद्रित बेन्चमार्क शून्य से गैर-शून्य तक चलता है, तो मूल्यांकनकर्ता आमतौर पर इसे अधिक निगरानी, सख्त उपयोग नियंत्रण और बेहतर रक्षात्मक टूलिंग के लिए ट्रिगर के रूप में मानते हैं। GLM -5.3 और उन्नत साइबर क्षमताओं का प्रसार, इस चिंता की ओर इशारा करते हैंः मुद्दा केवल यह नहीं है कि एक मॉडल क्या कर सकता है, लेकिन क्या समान क्षमता मॉडल परिवारों में अधिक आम हो जाती है।

रिपोर्ट क्या साबित नहीं करती है

रिपोर्ट में यह नहीं कहा गया है कि GLM -5.3 या Claude Mythos Preview वास्तविक दुनिया के हमलों को स्वायत्त रूप से लॉन्च कर सकते हैं। यह malware , शोषण चेन, या चरण-दर-चरण निर्देश प्रदान नहीं करता है। यह मूल्यांकन में उपयोग किए जाने वाले संकेतों, सैंडबॉक्स, लक्ष्य कार्यक्रमों या ऑपरेटर कौशल स्तर का वर्णन नहीं करता। यह यह भी नहीं दिखाता है कि मॉडल हर द्विआधारी दोहन कार्य पर समान रूप से प्रभावी हैं, क्योंकि बेंचमार्क आंतरिक और यादृच्छिक रूप से चुना गया था।

वे सीमाएं महत्वपूर्ण हैं। एक नियंत्रित मूल्यांकन के भीतर 4% या 6% दर वास्तविक दुनिया की सफलता दर के समान नहीं है। यह भी हर उपयोगकर्ता आसानी से परिणाम को पुनः पेश कर सकते हैं कहने के लिए ही नहीं है. निष्कर्ष उपयोगी है क्योंकि यह मापा क्षमता में परिवर्तन का प्रतीक है, इसलिए नहीं कि यह एक व्यापक परिचालन खतरा साबित करता है।

किसको इस परिणाम का पालन करना चाहिए

सुरक्षा टीमों और मॉडल मूल्यांकनकर्ताओं के लिए, परिणाम एक अनुस्मारक है कि छोटे बेंचमार्क प्रतिशत अभी भी सार्थक हो सकते हैं जब आधार रेखा शून्य थी। उन डेवलपर्स के लिए जो सुरक्षा अनुसंधान में AI मॉडलों का उपयोग करते हैं, यह लॉगिंग, अनुमति सीमाओं और कैसे पता लगाने के बारे में व्यावहारिक प्रश्न उठाता है जब कोई मॉडल शोषण पथ बनाने में मदद कर रहा होता है। सामान्य पाठकों के लिए सबसे उपयोगी टेकअवे यह नहीं है कि AI एक सार्वभौमिक साइबर हथियार बन गया है, लेकिन परीक्षण किए गए मॉडलों में कभी अनुपस्थित क्षमता अब नियंत्रित मूल्यांकन में कम दर पर दिखाई दी है।