ओएस-हेलिक्स Graphical User Interface इंटरैक्शन और कोड निष्पादन को देशी कंप्यूटर का उपयोग करने वाले एजेंटों में एकीकृत करता है।
ओएस-हेलिक्स एक नीति को डेस्कटॉप दृश्य कार्यों और कोड का समन्वय करने के लिए प्रशिक्षित करता है, जो 66.44% पर पहुंचता है OSWorld सत्यापित और 63.87% WindowsAgentArena.
मुख्य जानकारी
- ओएस-हेलिक्स केवल एक जीयूआई एजेंट को कोड टूल जोड़ने के बजाय, GUI क्रियाओं और कोड निष्पादन दोनों का समन्वय करने के लिए एक एकल कंप्यूटर-उपयोगी एजंट को प्रशिक्षित करता है।
- यह एक प्रमुख डेस्कटॉप स्वचालन चुनौती को संबोधित करता हैः एप्लिकेशन के साथ दृश्य रूप से बातचीत करने और अधिक सटीक फ़ाइल या सिस्टम संचालन के लिए कोड का उपयोग कब करना है।
- प्रशिक्षण प्रक्रिया में पुनरुत्पादित डेस्कटॉप वातावरण, फ़िल्टर किए गए जीयूआई और कोड ट्रेजेक्टोरियों का उपयोग पर्यवेक्षित प्रशिक्षण के लिए किया जाता है।
- ओएस-हेलिक्स-27B-आरएल ओएसवर्ल्ड-सत्यापित पर 66.44% और विंडोजएजेंट एरिना में 63.87% प्राप्त करता है, जिसमें बाद वाला विंडोज़ विशिष्ट training data के बिना प्राप्त होता है।
- परियोजना मॉडल और एक dataset की ओर इशारा करती है, जिसमें प्रशिक्षण और मूल्यांकन कोड जारी करने के लिए योजना बनाई गई है, जो भविष्य के प्रश्नों के रूप में व्यापक पुनरुत्पादितता और कार्य अनुकूलन को छोड़ती है।
ओएस-हेलिक्स एक एजेंट को डेस्कटॉप ग्राफिकल यूजर इंटरफेस क्रियाओं और कोड निष्पादन का समन्वय करने के लिए प्रशिक्षित करता है
मेटा विवरण: ओएस-हेलिक्स एक एजेंट को ग्राफिकल इंटरफेस क्रियाओं और कोड निष्पादन का समन्वय करने के लिए प्रशिक्षित करता है, जो ओएसवर्ल्ड-वेरिफाइड पर 66.44% तक पहुंचता है।
टैगः कंप्यूटर का उपयोग करने वाला एजेंट, ओएस-हेलिक्स, डेस्कटॉप स्वचालन, ग्राफिकल यूजर इंटरफेस, कोड निष्पादन
विशेष रुप से प्रदर्शित छवि: डेस्कटॉप विंडो और कोड ब्लॉकों का एक एजेंट द्वारा समन्वित अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
डेस्कटॉप स्वचालन में एक व्यावहारिक समस्या को हल करने के लिए ओएस-हेलिक्स नामक एक नया कंप्यूटर-उपयोग एजेंट पेश किया गया है: यह तय करना कि किसी एप्लिकेशन को अपने ग्राफिकल यूजर इंटरफेस के माध्यम से कब संचालित किया जाए और सटीक फ़ाइल या सिस्टम कार्य के लिए कोड पर कब स्विच किया जाए। ग्राफिक उपयोगकर्ता इंटरफ़ेस एजेंट में एक कोड टूल जोड़ने और इसे कॉल करने की उम्मीद करने के बजाय, परियोजना एक नीति को प्रशिक्षित करती है जो दोनों बातचीत पथों का समन्वय करती है।
डेस्कटॉप एजेंटों को कोड टूल से अधिक की आवश्यकता क्यों है
डेस्कटॉप कार्य अक्सर दृश्य नियंत्रण और प्रोग्रामेटिक स्थिति का मिश्रण करते हैं। ग्राफिकल यूजर इंटरफेस उपयोगकर्ताओं को दिखाता है कि वे क्या देखते हैंः बटन, मेनू, विंडो और एप्लिकेशन फीडबैक। कोड फ़ाइलों का निरीक्षण या संशोधित कर सकता है, आउटपुट की प्रक्रिया करता है, और सिस्टम स्टेट के साथ अधिक सीधे बातचीत करता है। एक एकल एजेंट जो केवल क्लिक करता है वह कुशल कोड पथों से चूक सकता है जबकि एक एजेंट जिसे केवल कोड चलाया जाता है वह कार्यों को पूरा करने के लिए आवश्यक दृश्य संदर्भ को अनदेखा कर सकते हैं। ओएस-हेलिक्स उन लक्ष्यों को लक्षित करता है जिनमें समन्वय कौशल की कमी होती है।
टीम ने प्रशिक्षण वातावरण कैसे बनाया
परियोजना प्रामाणिक कलाकृतियों के साथ अनुप्रयोगों को जोड़कर पुनरुत्पादित डेस्कटॉप वातावरण बनाती है। यह सत्यापन योग्य कार्य उत्पन्न करता है, फिर पर्यवेक्षित प्रशिक्षण के लिए फ़िल्टर्ड ग्राफिकल यूजर इंटरफेस और कोड प्रक्षेपवक्र का उपयोग करता है। उसके बाद, यह स्टेप-बैलेंस्ड जीएसपीओ के साथ ऑनलाइन प्रशिक्षण में जाता है। इस पद्धति को ग्राफिक उपयोगकर्ता इंटरफ़ेस कार्यों और कोड कार्यों के बीच अनुकूलन असंतुलन से निपटने के रूप में वर्णित किया गया है, इसलिए एजेंट सीखने के दौरान एक कार्रवाई प्रकार पर अधिक भरोसा नहीं करता है.
बेंचमार्क परिणाम और ट्रांसफर सिग्नल
OS-Helix-27B-RL ओएसवर्ल्ड-सत्यापित पर 66.44% और विंडोजएजेंट एरिना में 63.87% तक पहुंचता है। टीम नोट करती है कि दूसरा स्कोर विंडोज़ विशिष्ट training data के बिना प्राप्त किया जाता है। पाठकों के लिए, यह सुझाव देता है कि दृष्टिकोण एक एकल डेस्कटॉप सेटिंग से परे उपयोगी हो सकता है, हालांकि स्रोत व्यापक उत्पादन तत्परता या तैनाती विवरण का उल्लेख नहीं करता है।
अगला क्या है
परियोजना पृष्ठ मॉडल और एक dataset की ओर इशारा करता है, और टीम का कहना है कि प्रशिक्षण और मूल्यांकन कोड जारी करने के लिए आयोजित किया जा रहा है। लेखक प्रतिक्रिया और प्रश्नों को आमंत्रित करते हैं, अगले खुले बिंदु छोड़ते हैंः क्या बाहरी उपयोगकर्ता वातावरण को पुनः उत्पन्न कर सकते हैं और तुलना करें कि ग्राफिकल यूजर इंटरफेस और कोड समन्वय अपने स्वयं के डेस्कटॉप कार्यों में कैसे व्यवहार करते हैं।

Comments (0)