सिंथेटिक एंटरप्राइज डेटा मूल्यांकन Microsoft Copilot AI में वास्तविक विश्वास बनाने में मदद करते हैं।
Microsoft वास्तविक ग्राहक डेटा का उपयोग किए बिना Copilot AI का मूल्यांकन करने के लिए सार्वजनिक संकेतों से सिंथेटिक उद्यम किरायेदारों को उत्पन्न करता है।
मुख्य बिंदुओं का सारांश
- Microsoft ने ग्राहक डेटा का उपयोग किए बिना वास्तविक व्यावसायिक परिदृश्यों में Copilot का परीक्षण करने के लिए एक सिंथेटिक एंटरप्राइज़ डेटा मूल्यांकन मंच बनाया।
- सिंथेटिक किरायेदारों को सार्वजनिक संकेतों से उत्पन्न किया जाता है जैसे कि ओ * नेट व्यावसायिक डेटा, ऑनलाइन नौकरी पोस्टिंग और SEC फाइलिंग विश्वसनीय कंपनी वातावरण बनाने के लिए।
- मंच यथार्थवादी Copilot प्रश्नों का समर्थन करने के लिए उपयोगकर्ताओं, बैठकों, ईमेल, दस्तावेजों और समय-आधारित इतिहास के साथ गतिशील कार्यस्थलों का अनुकरण करता है।
- एक स्वचालित छह-चरण क्वेरी पाइपलाइन सामान्य कार्यस्थल कार्यों को उद्योग विशिष्ट, प्राकृतिक ध्वनि वाले परीक्षण प्रश्नों में परिवर्तित करती है।
- सिंथेटिक मूल्यांकन गोपनीयता, अनुपालन और Responsible AI जोखिमों को कम करते हुए Copilot की सटीकता, ग्राउंडिंग और उत्पादकता प्रदर्शन का आकलन करने में मदद करता है।
Microsoft ने मूल्यांकन के लिए एक Industry Evaluation Data Generation प्लेटफ़ॉर्म बनाया है, और इसका उद्देश्य उन टीमों पर है जिन्हें ग्राहक डेटा को छूने के बिना यथार्थवादी एंटरप्राइज़ सेटिंग्स में सहायक का परीक्षण करने की आवश्यकता होती है। मंच O * NET व्यावसायिक डेटा, ऑनलाइन नौकरी पोस्टिंग और SEC फाइलिंग जैसे सार्वजनिक संकेतों के आधार पर पूर्ण पैमाने पर सिंथेटिक किरायेदारों का निर्माण करता है। इसका घोषित लक्ष्य यह दिखाना है कि Copilot सही ढंग से बैठक सारांश, दस्तावेज़ प्रारूपण, सूचना लुकअप और उत्पादकता प्रश्नों का उत्तर देता है जबकि वास्तविक उपयोगकर्ता जानकारी को मूल्यांकन प्रक्रिया से बाहर रखता है।
क्यों वास्तविक उद्यम डेटा परीक्षण सेट नहीं हो सकता है
हर दिन, लाखों ज्ञान कार्यकर्ता दस्तावेजों का मसौदा तैयार करने, बैठकों को सारांशित करने, प्रासंगिक जानकारी की सतह और उत्पादकता में तेजी लाने के लिए Microsoft Copilot का उपयोग करते हैं। चूंकि सहायक AI प्रणालियों के एक नेटवर्क द्वारा संचालित होता है, Microsoft कहता है कि उच्च प्रदर्शन अनुमान से नहीं आता है; यह परीक्षण, मापने और लगातार पुनरावृत्ति से आता है। स्वास्थ्य देखभाल संगठन लगातार तेज, बेहतर निर्णय लेने के लिए टीमों से सुरक्षा संकेतों को सिंथेसाइज़ कर रहे हैं जो सीधे रोगी परिणामों और नियामक विश्वास को प्रभावित करता है। वे अपनी टीमों के लिए एक बैठक का सारांश और एक्शन आइटम निकालने के लिए Copilot पूछ सकते हैं। सहायक सेकंड के भीतर प्रतिलेख से विशिष्ट चर्चा बिंदुओं का हवाला देते हुए एक संरचित सारांश लौटा सकता है, लेकिन सिस्टम को अभी भी उत्तर को सटीक, पूर्ण और ठीक से ग्राउंड साबित करना होगा।
वास्तविक एंटरप्राइज डेटा प्राकृतिक परीक्षण सामग्री होगी क्योंकि यह वास्तविक संगठनों की पूरी जटिलता को पकड़ लेता हैः रिपोर्टिंग संरचनाएं, परियोजना इतिहास, संचार पैटर्न और डोमेन-विशिष्ट वर्कफ़्लो। इसका उपयोग नहीं किया जा सकता है, हालांकि, क्योंकि किसी भी परिस्थिति में मूल्यांकन के लिए संवेदनशील जानकारी का उपयोग नहीं कर सकते हैं. मंच सिंथेटिक वातावरण के साथ लाइव ग्राहक सामग्री को बदलकर इस तनाव को हल करता है जो व्यावसायिक कार्यप्रवाह की नकल करते हैं, उन मुद्दों को खोजने में मदद करते हैं जिन्हें सामान्य बेंचमार्क याद करेंगे, और वास्तविक डेटा की गोपनीयता, अनुपालन, प्रतिष्ठा और Responsible AI जोखिम से बचते हैं। सुरक्षा और गोपनीयता डिजाइन द्वारा प्लेटफॉर्म में अंतर्निहित हैं।
सार्वजनिक संकेतों से कृत्रिम किरायेदारों का निर्माण कैसे किया जाता है
Microsoft का दृष्टिकोण प्रत्येक सिमुलेटेड वर्कस्पेस को एक किरायेदार के रूप में मानता है, अपने स्वयं के उपयोगकर्ताओं, डेटा और कॉन्फ़िगरेशनों के साथ एक अलग संगठनात्मक वातावरण। प्रत्येक किराए पर लेने वाले में सिम्युलेटेड उपयोगकर्ता, मीटिंग्स, ईमेल, दस्तावेज़, कार्य कलाकृतियां और संगठనాత్మక संरचनाएं होती हैं। ये किराएदार स्केलेबल बेसलाइन होते हैं जिन्हें टीमें और संगठन आवश्यकतानुसार बना सकते हैं। वे उन संरचनात्मक और व्यवहारिक गुणों को पुनः पेश करने के लिए डिज़ाइन किए गए हैं जो एंटरप्राइज़ AI मूल्यांकन को सार्थक बनाते हैं। चित्र 1 प्लेटफॉर्म के तीन घटकों की पहचान करता हैः सिंथेटिक एंटरप्रेन्यूमेंट्स, स्वचालित क्वेरी जनरेशन पाइपलाइंस और संरचित गुणवत्ता फ्रेमवर्क। datasets वास्तविक उद्यम परिदृश्यों के खिलाफ सिस्टम AI का परीक्षण करने के लिये डिज़ाइन किया गया है, और पाइपलाइन तेजी से, पुनरुत्पादक निर्माण के लिए अभिप्रेरित हैं।
छोटे, मैन्युअल रूप से क्यूरेट किए गए परीक्षण जुड़नार पर भरोसा करने के बजाय, Microsoft पूर्ण पैमाने पर सिंथेटिक वातावरण उत्पन्न करता है। उन्हें प्रशंसनीय बनाने के लिए, इसने अपने कानूनी और नीति संगठन द्वारा समीक्षा की गई और अनुमोदित सार्वजनिक रूप से उपलब्ध स्रोतों का उपयोग किया। अमेरिकी श्रम विभाग के व्यावसायिक डेटाबेस से ओ * नेट डेटा संश्लेषित कर्मचारी भूमिकाओं और जिम्मेदारियों को आकार देता है, विभिन्न भूमिकाओं को सौंपी जाने वाली कार्य गतिविधियों के मिश्रण और आवृत्ति को कैलिब्रेट करता है, और क्लिनिकल ट्रायल समीक्षा या पोर्टफोलियो अपडेट जैसे उद्योग-विशिष्ट वर्कफ़्लो को दर्जी करता है । ऑनलाइन नौकरी पोस्टिंग यथार्थवादी भूमिका शीर्षक, रिपोर्टिंग पदानुक्रम और विभागीय रचनाएं प्रदान करती हैं। SEC फाइलिंग सूचनात्मक संगठनात्मक पैमाना, व्यवसाय इकाई संरचनाएँ और वित्तीय संदर्भ। चित्र 2 उन सार्वजनिक संकेतों को मूल्यांकन डेटा पीढ़ी के आधार के रूप में प्रस्तुत करता है.
परिवेश स्थिर स्नैपशॉट नहीं हैं। वे गतिशील, समय-परिवर्ती संगठनों का अनुकरण करते हैं जिसमें मीटिंग हिस्ट्री, प्रोजेक्ट टाइमलाइन, email थ्रेड होते हैं जो हफ्तों में विकसित होते हैं और संगठनात्मक परिवर्तन स्वाभाविक रूप से सामने आते हैं। यह इसलिए महत्वपूर्ण है क्योंकि Copilot क्वेरीज की एक बड़ी श्रेणी अंतर्निहित रूप से समय-जागरूक होती है, जिसमें पिछले गुरुवार को क्या तय किया गया था या पिछली त्रैमासिक समीक्षा के बाद से क्या बदल गया था। सार्थक उत्तरों के लिए अंतर्निर्मित डेटा में वास्तविक कालानुक्रम संरचना की आवश्यकता होती है। चित्र 3 कई उद्योगों में उत्पन्न तीन सिंथेटिक वातावरण सूचीबद्ध करता हैः नियामक सबमिशन वर्कफ़्लोज़, नैदानिक परीक्षण चर्चाओं और क्रॉस-फंक्शनल सुरक्षा समीक्षा बैठकों के साथ फार्मास्युटिकल पर्यावरण; पाइपलाइन सौदे, संचार, अनुपालन और ग्राहक पोर्टफोलियो समीक्षाओं के साथ पूंजी बाजार का माहौल; और स्प्रिंट प्लानिंग, कोड चर्चाएं और लॉन्च डोमेन समन्वय मोड के साथ आईटी / software वातावरण। उपयोगकर्ता उन सामान्य
कैसे स्वचालित क्वेरी वातावरण को परीक्षणों में बदल देती है
सिंथेटिक वातावरण सब्सट्रेट प्रदान करते हैं, लेकिन यथार्थवादी मूल्यांकन प्रश्नों की अभी भी आवश्यकता है। इन सवालों का परीक्षण करें कि क्या Copilot सही जानकारी को सतह पर ला सकता है, इसे सही ढंग से संश्लेषित कर सकता है और इसे उपयोगी रूप से प्रस्तुत कर सकता हैः हजारों ग्राउंड किए गए उद्योग-विशिष्ट क्वेरी लिखना बहुत महंगा और धीमा होगा। Microsoft ने एक छह-चरण स्वचालित पाइपलाइन बनाई, जिसे चित्र 4 में दिखाया गया है, सामान्य क्वेस्ट टेम्प्लेट को वास्तविक, उद्योग-विशेष प्रश्नों में बदलने के लिए। प्रक्रिया आम कार्यस्थल कार्यों के एक बड़े पुस्तकालय के साथ शुरू होती है, उन्हें किसी दिए गए उद्योग के लिए प्रासंगिक होने के लिए सीमित करती है, विशेष डोमेन भाषा और संदर्भ का उपयोग करके उन्हें अनुकूलित करती है,AI कृत्रिम पर्यावरण में आधारित प्रश्न उत्पन्न करने के लिए डेटा का उपयोग करता है, इन्हें अधिक प्राकृतिक और मानवीय ध्वनि के लिए फिर से लिखता है, और प्रत्येक प्रश्न को सटीकता और विशिष्टता के लिए मान्य करता है। परिणाम जीवन जैसे प्रश्नों का एक सेट है जो वास्तविक दुनिया परिदृश्यों में विश्वसनीय, स्केलेबल योग्य मूल्यांकन सक्षम बनाता है।
गुणवत्ता का आकलन एक आंतरिक सिमेंटिक फ्रेमवर्क के साथ किया जाता है ताकि यह सुनिश्चित हो सके कि डेटा सार्थक मूल्यांकन के लिए बार को पूरा करता है। ढांचा संरचनात्मक निष्ठा की जांच करता है, जो परीक्षण करता है कि रिपोर्टिंग पदानुक्रम, टीम आकार और क्रॉस-कार्यात्मक संबंध यथार्थवादी दिखते हैं या नहीं। यह प्रासंगिकता की जाँच करता है और पूछता है कि क्या क्वेरी और वर्कफ़्लो वास्तविक उद्यम उपयोग पैटर्न से मेल खाते हैं। यह व्यवहार यथार्थवाद की जांच करती है, यह पूछती है कि अनुकरण किए गए उपयोगकर्ता मानव जैसे संचार पैटर्न और सहयोग गतिशीलता प्रदर्शित करते हैं. यह सामग्री सुरक्षा की भी जांच करता हैः उत्पन्न सामग्री हानिकारक, आपत्तिजनक या व्यक्तिगत रूप से पहचाने जाने योग्य सामग्री से मुक्त होनी चाहिए, और इसे वास्तविक व्यक्तियों की नकल नहीं करनी चाहिए। स्वचालित सामग्री-सुरक्षा जांच मंच का हिस्सा हैं, और हर वातावरण पूरी तरह से सिंथेटिक है जिसमें कोई ग्राहक डेटा इनपुट नहीं है।
एंड-टू-एंड ऑटोमेशन पुनरुत्पादकता, पैमाने, पुनरावृत्ति की गति और क्रॉस-टीम स्थिरता को संबोधित करता है। मैनुअल प्रक्रियाएं हर बार सूक्ष्म रूप से अलग परिणाम उत्पन्न कर सकती हैं, जिससे रिलीज़ों के बीच मूल्यांकन की तुलना करना मुश्किल हो जाता है। उद्योग ऊर्ध्वाधर और कॉन्फ़िगरेशन वेरिएंट्स की संख्या किसी भी टीम द्वारा मैन्युअल रूप से उत्पादित किए जाने से अधिक होती है। मानकीकृत टूलिंग के बिना, विभिन्न टीमें असंगत प्रारूपों और गुणवत्ता स्तरों के साथ मूल्यांकन datasets का उत्पादन कर सकते हैं।
क्या Microsoft मंच परिवर्तन कहता है
प्लेटफ़ॉर्म के लिए पहली मानकीकृत मूल्यांकन आधार रेखा के रूप में तैयार किया गया है। Microsoft Copilot ब्लॉग पोस्ट walkthrough दृष्टिकोण को सिंथेटिक वातावरण पीढ़ी से स्वचालित क्वेरी पाइपलाइनों तक प्रस्तुत करता है, जो उस आधार रेखा को स्थापित करता है। डिजाइन दो प्रश्नों का उत्तर देता हैः क्या Copilot वह करता है जो उपयोगकर्ताओं को करने की आवश्यकता होती है, और क्या Microsoft इसे कभी भी अपने डेटा को छूने के बिना साबित कर सकता है। चूंकि डेटा संश्लेषित और सुरक्षा-स्क्रीन है, इसलिए Microsoft भर में टीमें इसका प्रयोग, बेंचमार्किंग और प्रतिगमन परीक्षण के लिए उपयोग कर सकती हैं गोपनीयता समीक्षा ओवरहेड या डेटा-हैंडलिंग प्रतिबंधों के बिना जो अन्यथा धीमा हो जाएगा। प्रत्येक तत्व, संगठनात्मक संरचनाओं से लेकर email सामग्री तक मीटिंग ट्रांसक्रिप्ट्स, सिंथेटिकेटेड उत्पन्न होते हैं, और किसी भी चरण में कोई वास्तविक ग्राहक डेटा उपयोग नहीं किया जाता है। टीम प्रतिष्ठा, अनुपालन या जोखिम पेश किए बिना datasets को व्यापक रूप से पुनः उपयोग और साझा कर सकते हैं। Responsible AI निजता एक व्यापक बाधा के तौर पर प्रस्तुत नहीं की गई है लेकिन यह सुनिश्चित करती है कि
परियोजना शुरू करने के बाद से, Microsoft कई आयामों में महत्वपूर्ण सुधार की रिपोर्ट करता है। सिंथेटिक डेटा गुणवत्ता पर, इसकी आंतरिक स्कोरिंग प्रणाली ने संरचनात्मक, प्रासंगिक और सांख्यिकीय निष्ठा में लाभ दिखाया। एक समग्र गुणवत्ता मीट्रिक के तहत जो मापता है कि वास्तविक एंटरप्राइज़ वातावरण की जटिलता और पैटर्न को कितनी बारीकी से दर्शाता है, प्रारंभिक पीढ़ी के दृष्टिकोण की तुलना में स्कोर में सुधार हुआ 39%। कुछ उद्योग-विशिष्ट वातावरण उच्चतम गुणवत्ता स्कोर 0.9 से ऊपर 1.0 तक पहुंच गए, यह प्रदर्शित करते हुए कि डोमेन-केंद्रित उत्पादन अत्यधिक यथार्थवादी मूल्यांकन वातावरण का उत्पादन कर सकता है।
स्केल और दक्षता पर, वर्णित परिणाम स्वचालित रन हैं जो बहु-दिवसीय मैन्युअल dataset निर्माण की जगह लेते हैं। पोस्ट में Microsoft Research Forum इवेंट श्रृंखला के लिए भी संकेत दिया गया है, सामान्य AI के युग में अनुसंधान के बारे में विचारों का एक निरंतर आदान-प्रदान, मांग पर उपलब्ध नवीनतम एपिसोड के साथ।
मेटा विवरणः Microsoft का सिंथेटिक Copilot मूल्यांकन मंच ग्राहक डेटा के बिना उद्यम AI का परीक्षण करने के लिए ओ*नेट, नौकरी पोस्टिंग SEC, फाइलिंग और किरायेदार सिमुलेशन का उपयोग करता है।
टैगः Microsoft Copilot, सिंथेटिक डेटा, उद्यम AI मूल्यांकन, ओ*नेट SEC, फाइलिंग
Featured image: 
Comments (0)