Databricks Genie आपको तेज और धीमी सोच का अभ्यास करने में मदद करता है।
Databricks Genie Flash मोड त्वरित उत्तर देता है, लेकिन छिपे हुए डेटा जाल को याद कर सकता है; मानक एजेंट मोड धीमा और अधिक सावधानीपूर्वक निष्कर्ष बदलता है।
मुख्य जानकारी
- Databricks Genie फ्लैश मोड लगभग 10 सेकंड में जवाब देता है, जबकि मानक एजेंट मोड अधिक समय लेता है लेकिन अधिक डेटा विवरण की जांच करता है।
- एक ही प्रश्न को मोड के आधार पर विपरीत उत्तर प्राप्त हो सकते हैंः फ्लैश अपूर्ण मासिक डेटा जैसे जाल को याद कर सकता है, जबकि मानक उन्हें पता लगा सकता है।
- फ़्लैश सबसे अच्छा काम करता है जब उपयोगकर्ता स्पष्ट रूप से सही जांच का नाम देते हैं, जैसे कि कुल मात्रा के बजाय प्रति दिन वॉल्यूम पूछना।
- मानक मोड ओपन-एंडेड प्रश्नों पर विश्वसनीयता में सुधार करता है, लेकिन यह ओवरथिंक भी कर सकता है, असमर्थित दावों को जोड़ सकता है और अधिक त्रुटियों का उत्पादन कर सकते हैं।
- व्यावहारिक विकल्प केवल तेज बनाम धीमा नहीं है: स्पष्ट, लक्षित प्रश्नों के लिए फ्लैश का उपयोग करें और छिपे हुए डेटा जोखिमों के साथ अन्वेषणात्मक विश्लेषण के लिए मानक।
मेटा विवरण: Databricks Genie Flash मोड लगभग 10 सेकंड में जवाब देता है लेकिन आंशिक-महीने के डेटा जाल को याद कर सकता है; मानक एजेंट मोड अधिक जांच करता है और लंबे समय तक लेता है।
टैगः Databricks Genie, फ्लैश, डेटा विश्लेषण, AI एजेंटों, व्यापार खुफिया
चित्रित छवि: सरल डेटा बारों पर एक बिजली के बोल्ट और आवर्धक ग्लास का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं, कोई लोगो नहीं, न ही पाठ।
एक त्वरित बटन ने निष्कर्ष को बदल दिया
Databricks Genie उपयोगकर्ताओं को सादे अंग्रेजी में कंपनी के डेटा के बारे में प्रश्न पूछने देता है और फिर डेटाबेस क्वेरी लिखता और चलाता है। फ्लैश और मानक एजेंट मोड के बीच टूल की पसंद का एक परीक्षण से पता चला कि उपयोगकर्ता धीमी तर्क की प्रतीक्षा करता है या नहीं, इसके आधार पर एक ही सवाल दो विपरीत उत्तर प्राप्त कर सकता है।
प्रश्न पूछा गया कि एक वितरण नेटवर्क में शिपमेंट की मात्रा सितंबर से अक्टूबर तक कैसे बदल गई। फ्लैश चालू होने के साथ, जीनी ने लगभग 10 सेकंड में जवाब दिया। इसने 300 शिपमेंट्स की कमी की सूचना दी, जो सितंबर में 900 2026 से लेकर अक्टूबर में 600 हो गई थी। AI फ्लैस बंद होने के बाद, जीन को 13 से 32 सेकंड का समय लगा और विपरीत निष्कर्ष पर पहुंचा। अक्टूबर डेटा 15 अक्टूबर को रुक जाता है, इसलिए सितंबर और अक्टूबर दिनों की अलग-अलग संख्या को कवर करते हैं। प्रति दिन मापा गया, सितंबर में 30 शिपमेन्ट से बढ़कर अक्टूबर में 40 हो गए।
दोनों उत्तर एक ही एजेंट से आए थे जो समान डेटा पढ़ रहा था। केवल अंतर मोड में था। प्रश्न प्रत्येक मोड में पांच बार पूछा गया था, और परिणाम हर बार उसी तरह विभाजित होते हैं। एक रन में, फ्लैश ने लिखा कि अक्टूबर अनिवार्य रूप से तारीख की सीमा की जांच किए बिना पूरा महीना था। डाटाब्रिक्स सरल कार्यों के लिए फ़्लैश की सिफारिश करता है, लेकिन यह वॉल्यूम सवाल आसान लग रहा था और यह नहीं कहा कि आधा अक्टूबर गायब था।
परीक्षण ने सामान्य डेटा जाल छुपाए
परीक्षक ने एक काल्पनिक डिलीवरी कंपनी बनाई, Meridian Parcel और अपने डेटा में जाल डाल दिया। प्रत्येक जाल में पहली नज़र में गलत नंबर दिखाया गया था और इसमें एक जांच थी जिसने सच्चाई को उजागर किया। ट्रैप्स में आधे रास्ते पर रुकने वाले डेटा के एक महीने शामिल थे, एक महीने के लिए हर पंक्ति दो बार लोड की जा रही थी, और पार्सल मिश्रण बदलने के कारण औसत गिर रहा था। प्रत्येक ट्रैप के लिए एक नियंत्रण नेटवर्क बनाया गया था ताकि पहला नंबर सही हो; एक अच्छा जवाब वहां कोई समस्या पैदा नहीं करना चाहिए।
प्रश्नों को तीन तरीकों से पूछा गया था: एक आंकड़ा पूछने के लिए लुकअप, चेक का नामकरण करने वाला एक निर्देशित सवाल और जीन पर जांच छोड़ने वाला एक खुला सवाल। परीक्षण दो राउंड चला। पहले दौर में चार रोजमर्रा के मामलों का उपयोग किया गया, जैसे कि शिकायत की गिनती बढ़ रही है जबकि शिकायत दर गिर जाती है। दूसरे दौर ने चार कठिन जाल का इस्तेमाल किया जो एजेंट के निर्देश कभी भी उल्लेख नहीं करते हैं, जैसे आधे महीने का डेटा। प्रत्येक प्रश्न ताजा वार्तालापों में प्रत्येक मोड में पांच बार पूछे गए थे, जिससे 480 उत्तर प्राप्त हुए।
प्रत्येक राउंड से पहले, परीक्षक ने सूचीबद्ध किया कि सही उत्तर में क्या होना चाहिए। Databricks Genie मॉडल ने उस सूची के खिलाफ हर जवाब को ग्रेड दिया बिना यह जाने कि किस मोड ने इसे लिखा था, और एक नमूने की मैन्युअल रूप से जांच की गई थी। एक समीक्षा में पहली दौर की सूची में दो गलतियां पाई गईं, इसलिए उन्हें ठीक कर दिया गया, सब कुछ फिर से रेट किया गया, और कुछ असमान ग्रेड हाथ से व्यवस्थित किए गए थे। परिवर्तन लॉग प्रत्येक बदलाव को सूचीबद्ध करता है।
जब फ्लैश पर्याप्त तेज़ है और जब यह नहीं है
जब प्रश्न ने जांच का नाम दिया, तो फ्लैश ने लगभग मानक के साथ-साथ किया। दोनों पहले दौर में सभी 40 निर्देशित उत्तरों में सही निष्कर्ष पर पहुंचे। दूसरे दौर में, फ़्लैश 40 में से 2 को याद करता है और स्टैंडर्ड कोई भी नहीं छोड़ता है। पहले राउंड की खोजों पर, फ्लैच हर एक को सही मिला। यह Daniel Kahneman के सोचने, तेज और धीमी गति से विचार से मेल खाता हैः एक तेज़ प्रणाली अच्छी तरह से काम कर सकती है जब इसे सही चीज़ की ओर इशारा किया जाता है। यदि उपयोगकर्ता प्रति दिन वॉल्यूम पूछता है, तो फ्लैश अनुपलब्ध आधे महीने को नोटिस किए बिना प्रति दिन मात्रा की गणना कर सकता है।
अंतर विवरण से आया। फ्लैश कभी-कभी इसके पीछे संख्याओं के बिना सही उत्तर देता था। एक दूसरे दौर की चूक अजीब थीः फ्लैच ने पाया कि दूरस्थ वितरण में शिकायत दर 8% से 7% तक गिर गई, फिर लिखा कि यह लगभग चौगुनी हो गया है। यहां तक कि जब चेक का नाम दिया जाता है, तब भी नंबरों को पढ़ने की आवश्यकता होती है।
खुले प्रश्नों पर विभाजन सबसे बड़ा था। दूसरे दौर में, फ्लैश आंशिक महीने पर सही निष्कर्ष तक पहुंच गया, 15 रन के 0 में डुप्लिकेट और मिक्स ट्रैप्स। मानक 10 में इसे प्राप्त किया। फ़्लैश आमतौर पर एक क्वेरी चलाता है और रिपोर्ट करता है कि उसने क्या देखा। जब प्रत्येक अक्टूबर पंक्ति को दो बार लोड किया जाता था, तो फ्लैश ने कहा कि सभी पांच रनों में मात्रा दोगुनी हो गई थी। जब शिकायत दर समग्र रूप से बढ़ी लेकिन दोनों डिलीवरी ज़ोन में गिरावट आई, तो फ्लेश ने बताया कि यह हर बार बदतर हुआ।
मानक ने उत्तर देने से पहले अधिक प्रश्न चलाए। मात्रा के सवाल पर, इसने जांच की कि प्रत्येक बार अक्टूबर डेटा किस तारीख को कवर करता है। प्रथम-राउंड डिलीवरी प्रश्न पर, उसने पार्सल को स्थानीय और दूरस्थ वितरण में चार पांच रन में विभाजित किया और पाया कि दोनों धीमे हो गए थे। कुल मिलाकर औसत 6.8 दिनों से 4.2 दिन तक गिर गया था क्योंकि केवल अक्टूबर में बहुत अधिक स्थानीय पार्सल भेजे जाते हैं, और स्थानीय पार्सल्स तेज होते हैं।
दूसरे दौर के खुले प्रश्नों पर, फ्लैश ने 11 सेकंड और स्टैंडर्ड को 26 का औसत लिया।
धीमी सोच से जांच बढ़ जाती है, लेकिन गलतियां भी बढ़ती हैं
स्टैंडर्ड त्रुटिहीन नहीं था। यह पांच में से केवल दो रन में डुप्लिकेट पंक्तियों को पाया, और कभी-कभी इस पर विचार किया गया। एक लुकअप ने केवल दो औसत के लिए कहा, लेकिन मानक ने "डिलीवरी का समय महीने-दर-महीने 2.6 दिनों तक बढ़ा दिया", जो कि जाल को पकड़ने के लिए बनाया गया है। एक नियंत्रण पर जहां शिकायत दर खराब हो गई थी, मानक ने दो बार एक महत्व परीक्षण चलाया और इसे बदतर कहने से इनकार कर दिया। दोनों मोडों के प्रत्येक अन्य उत्तर ने ज़ोन की जांच किए बिना बदतर बताया, इसलिए उनमें से कोई भी परीक्षक के चेक पास नहीं हुआ।
स्टैंडर्ड ने भी अधिक लिखा। पहले दौर में इसके औसत खुले उत्तर में 233 शब्द थे, जबकि फ्लैश के लिए 63 थे। उन खुले उत्तरों में, ग्रेडिंग मॉडल को 25 दावे मिले जो डेटा का समर्थन नहीं करते थे मानक के जवाबों में 8 के मुकाबले फ़्लैश की प्रतिक्रियाओं में। अधिक तर्क देने से मानक को उपयोगी होने और गलत होने के लिए अधिक जगह मिली।
इसलिए व्यावहारिक विकल्प केवल तेज़ बनाम धीमा नहीं है। फ्लैश तब काम करता है जब उपयोगकर्ता चेक का नाम दे सकता है, जैसे कि वॉल्यूम के बजाय प्रति दिन की मात्रा पूछना और जब उपयोगकर्ता सहायक संख्याओं के लिए कहता है क्योंकि फ़्लैश उन्हें छोड़ देता है। मानक प्रतीक्षा करने लायक है जब स्पष्ट संख्या किसी कारण से गलत हो सकती है जिसके बारे में उपयोगकर्ता ने सोचा ही नहीं था। आंशिक महीने, डुप्लिकेट पंक्तियां और मिश्रण में बदलाव हर खुले रन में फ्लैस को पकड़ते हैं।
Kahneman के शब्दों में, फ्लैश तेज, स्वचालित प्रणाली की तरह व्यवहार करता है, जबकि प्रश्न पूछने वाले व्यक्ति को धीमी गति से जांच करने वाली प्रणाली प्रदान करनी चाहिए। डेटा, प्रश्न, धावक, कच्चे उत्तर और ग्रेड github.com/Praneeth16/genie-flash-vs-standard पर प्रकाशित किए जाते हैं, इसलिए उपयोगकर्ता अपने स्वयं के जिन्न एजेंट पर एक ही परीक्षण चला सकते हैं।
स्रोत
डैनियल काहेनमैन. सोच, तेज और धीमी गति से। फरार, स्ट्रॉस और गिरौक्स, 2011.
डेटाब्रिक्स. AI/बीआई और जीनी रिलीज नोट्स 2026 (15 अक्टूबर 2026: फ्लैश बीटा) ।
डेटाब्रिक्स Genie Agents अवधारणाओं (फ्लैश और मानक एजेंट मोड) ।

Comments (0)