हजारों डॉलर खर्च किए बिना अंधेरे डेटा को बचाकर अपने कारखाने में छिपे हुए खजाने का ताला खोलें।

मेटा विवरण: एक विनिर्माण डेटा परीक्षण ने पीडीएफ रिपोर्ट से डार्क डेटा को पुनर्प्राप्त करने के लिए लामा 3.1 और ओलमा का उपयोग किया, जो मानक स्थानीय कंप्यूटर पर 99.6 प्रतिशत डेटा रिकवरी तक पहुंच गया।

टैगः डार्क डेटा, स्थानीय AI, ओल्मा, विनिर्माण, पीडीएफ निष्कर्षण

विशेष रुप से प्रदर्शित छवि: कारखाने के पीडीएफ रिपोर्टों का अमूर्त मैत्रीपूर्ण चित्रण जो संरचित पंक्तियों में बदल जाता है, कोई लोग नहीं, कोई लोगो नहीं, न ही पाठ; स्रोत छवि को जीपीटी 5.6 लूना द्वारा श्रेय दिया गया था।

विनिर्माण टीमों के लिए जो विरासत उपकरण को अपग्रेड करने के लिए हजारों डॉलर का औचित्य साबित नहीं कर सकते हैं, डार्क डेटा के लिए एक स्थानीय AI प्रदर्शन ने 20 काल्पनिक पीडीएफ रिपोर्टों को संसाधित करने के लिये मानक पर्सनल कंप्यूटर पर लमा 3.1 (8B) और ओल्मा का उपयोग किया। परीक्षण में रिकवरी दर 99.6% की सूचना दी गई; 0.4% विफलता जानबूझकर छोड़ी गई समाप्ति तिथि से आई थी जिसे मॉडल को अनुमान लगाना था, जबकि 100% वास्तव में रिपोर्ट के अंदर निहित डेटा को पुनः प्राप्त किया गया था।

डार्क डेटा विरासत फैक्टरी रिपोर्ट में जमा होता है

विनिर्माण संयंत्र अक्सर इंटरनेट ऑफ थिंग्स पारिस्थितिक तंत्र और मजबूत विरासत मशीनों से जुड़े आधुनिक उपकरणों के मिश्रण का संचालन करते हैं जो वर्षों तक कंपनी प्रणालियों से अलग रहते हुए चल रहे हैं। जब सुधार, स्वचालन या निगरानी योजनाओं को डिजाइन किया जाता है, तो वे अनुभवी मशीनें अक्सर बजट से बाहर छोड़ दी जाती हैं क्योंकि मूल निर्माता के माध्यम से मालिकाना सॉफ़्टवेयर को अपडेट करने में हजारों डॉलर खर्च हो सकते हैं। प्रौद्योगिकी स्टैक के भीतर उनकी दृश्यता कम हो सकती है, लेकिन उत्पादन पर उनका प्रभाव उच्च रहता है।

टेक्नोलॉजी कंसल्टेंसी इस समस्या को डार्क डेटा कहते हैं। लेख में उद्धृत अनुमानों के अनुसार अनविश्लेषित या अनुपयोगी एंटरप्राइज़ डेटा 60% और 73% के बीच है। बिजनेस लीडर्स के एक 2020 आईडीसी सर्वेक्षण ने बताया कि उपलब्ध उद्यम डेटा का उपयोग नहीं किया जाता है। सीगेट, फॉरेस्टर और फोर्ब्स ने इस मुद्दे पर चर्चा की है, और कई विक्रेता विश्वसनीय लेकिन महंगे समाधान प्रदान करते हैं।

फंसी हुई सामग्री कंक्रीट है। रिपोर्टों में औसत बैच मान शामिल हैं, जो समय के साथ उत्पाद की गुणवत्ता के लिए मायने रखते हैं; कामकाजी पैरामीटर, जो घटक पहनने का खुलासा कर सकते हैं; प्रसंस्करण समय, अलार्म और स्टॉप, जो वास्तविक उत्पादकता की गणना के लिए मौलिक हैं। यदि स्वामित्व सॉफ़्टवेयर एक पीडीएफ को मुद्रित करने से पहले सीएसवी निर्यात कर सकता है, तो पायथन स्क्रिप्ट डेटा को लगभग मुफ्त में संसाधित कर सकती है। व्यवहार में, मानक आउटपुट अक्सर एक PDF होता है जिसे उत्पादन और गुणवत्ता टीम समीक्षा करते हैं, फिर फ़ोल्डर में संग्रहण करते हैं।

पीडीएफ लेआउट पारंपरिक निष्कर्षण को हराते हैं

अनुभवी उपकरण आमतौर पर एक बंद वातावरण के अंदर विश्वसनीय सॉफ़्टवेयर चलाते हैं, लेकिन कनेक्टिविटी अपग्रेड की लागत और उनके लिए आवश्यक डाउनटाइम मशीनों को बाकी संयंत्र से अलग रखता है। पीडीएफ बैच अवधि, अलार्म की संख्या और ऑपरेटर संशोधनों के आधार पर आकार भी बदलता है। मानक ओसीआर सहित पारंपरिक निष्कर्षण उपकरण, तालिकाओं में बदलाव होने पर संघर्ष करते हैं, पृष्ठ अप्रत्याशित रूप से टूट जाते हैं, पाठ लंबाई बदल जाती है या मान पार्सर की अपेक्षा से भिन्न होते हैं।

परिणाम परिचित हैः स्थानीय सर्वरों और कंप्यूटरों पर हजारों रिपोर्ट, उन्हें मैन्युअल रूप से विश्लेषण करने का कोई व्यावहारिक तरीका नहीं। डेटा गायब नहीं है; यह उन दस्तावेजों के अंदर छिपा हुआ है जिन्हें कभी भी स्वचालित पढ़ने के लिए डिज़ाइन नहीं किया गया था।

स्थानीय लामा 3.1 पीडीएफ को संरचित डेटा में बदलता है

रिपोर्ट किए गए समाधान में एक मानक कंप्यूटर पर स्थानीय और निजी रूप से चल रहे 100% ओपन-सोर्स बड़े लैंग्वेज मॉडल द्वारा समर्थित पायथन स्क्रिप्ट थी। परीक्षण ने ओलमा के माध्यम से लामा 3.1 (8B) का उपयोग किया, इसलिए फैक्ट्री डेटा प्लांट को नहीं छोड़ता था। स्क्रिप्शन ने रिपोर्ट मानों को पुनर्प्राप्त किया और उन्हें दैनिक अद्यतन एक्सेल शीट में निर्यात किया। लेख पीडीएफ को उपकरण के बाहर फ़ोल्डर या कंप्यूटर में रखने की सिफारिश करता है ताकि निष्कर्षण उत्पादन विफलताओं का जोखिम न उठाए।

सबसे खराब स्थिति बनाने के लिए, लेखक ने 20 नकली असंरचित पीडीएफ रिपोर्टों को अलग-अलग लेआउट, संक्षिप्त नाम, मिश्रित इकाइयों और सिमेंटिक जाल जैसे कि कम्प्रेशन प्रेशर बनाम प्री-कम्प्रेशन दबाव के साथ उत्पन्न किया। लेख में आंकड़े काल्पनिक रिपोर्ट और परिणामी एक्सेल आउटपुट दिखाए गए, जिनके हेडर स्थानीय परीक्षण से स्पेनिश में थे।

चार कार्यान्वयन विकल्पों ने निष्कर्षण को संभव बनाया।

सबसे पहले, स्क्रिप्ट भुगतान किए गए क्लाउड एपीआई के बजाय एक स्थानीय AI से जुड़ा हुआ था। यह http://localhost:11434/v1 पर ओल्मा सर्वर की ओर इंगित OpenAI पायथन लाइब्रेरी का उपयोग करता है। हल्के मॉडल का उपयोग करते समय Ollama बिना GPU चलाया जा सकता है और सभी परीक्षण मानक CPU लैपटॉप पर चले जाते हैं।

दूसरा, स्क्रिप्ट ने स्थानिक संबंधों को संरक्षित किया। pypdf2 केवल-पाठ रिपोर्टों के लिए अच्छी तरह से काम करता था लेकिन तालिकाओं के साथ समस्याएं पैदा कीं। pdfplumber layout=True के साथ दस्तावेज़ का भौतिक अंतराल बनाए रखा, जिससे मॉडल कॉलम और पंक्तियों को समझने में सक्षम हो गया।

तीसरा, स्क्रिप्ट ने सख्त जेएसओएन आउटपुट को मजबूर किया। सेटिंग तापमान = 0.0 कम बनावट डेटा, और एक json_object प्रतिक्रिया प्रारूप का उपयोग करने के लिए आवश्यक है कि परिणाम अनुरोधित संरचना का पालन करें। लापता फ़ील्ड "नहीं मिला" के रूप में लौटाए गए थे।

चौथा, प्रॉम्प्ट को बहुत विशिष्ट बनाया गया था। उदाहरण प्रोम्प्ट एक फार्मास्युटिकल टैबलेट संपीड़न रिपोर्ट के लिए था और बिना इकाइयों के मिलीग्राम में संख्यात्मक मान के रूप में बैच, प्रारंभ तिथि और समय, समाप्ति दिनांक और समय का औसत वजन मांगा गया था, बिना किसी इकाई के केएन में संख्यागत मूल्य के रूप से संपीड़ित दबाव, निश्चित प्रारूप जैसे कि 1958600 में अनुरूप इकाइयाँ, और शाब्दिक पाठ के तौर पर अलार्म भी दिए गए थे। यह प्रोंप्ट फ़ॉर्मेट अंतर जैसे 250000 बनाम 250.000 के बारे में भी चेतावनी देता है क्योंकि वे फ़ाइल आउटपुट को तोड़ सकते हैं।

स्क्रिप्ट ने 20 पीडीएफ को 99.6% रिकवरी दर के साथ संसाधित किया। 0.4% विफलता तब हुई जब एक समाप्ति तिथि जानबूझकर छोड़ी गई थी, जिससे AI इसका अनुमान लगाने के लिए मजबूर हो गया था। लेख में कहा गया है कि 100% रिपोर्टों के अंदर डेटा का पुनर्प्राप्ति की गई थी। हरे रंग में हाइलाइट किए गए स्प्रेडशीट मूल्य रिपोर्ट में दिखाई नहीं देते थे और गलत तरीके से निष्कर्ष निकाले गए थे। अलार्म सूची पूरी थी, हालांकि एक्सेल आउटपुट प्रारूप इसे स्पष्ट नहीं करता था।

संरचित पंक्तियाँ समग्र उपकरण प्रभावशीलता, गुणवत्ता और रखरखाव रुझानों को अनलॉक करती हैं

पीडीएफ को एक्सेल या एसक्यूएल संरचित स्वरूपों में परिवर्तित करके, परीक्षण तीन उद्योग 4.0 क्षमताओं की ओर इशारा करता है जो बहुत कम हार्डवेयर निवेश के साथ प्राप्त किए जा सकते हैं।

पहला वास्तविक दृश्यता है। रिपोर्टों से सटीक बैच अवधि, वास्तविक मशीन गति, स्टॉप और अनुरूप इकाइयों को निकालने से मैनुअल डेटा प्रविष्टि के पूर्वाग्रह को हटा दिया जाता है। फिर एक बैच या दिन के अंत में उन मशीनों पर विश्लेषण किया जा सकता है जिनमें आमतौर पर वास्तविक समय माप की कमी होती है, इसे अनुमान से गणना किए गए मीट्रिक में बदलते हैं।

दूसरा दीर्घकालिक गुणवत्ता नियंत्रण है। सैकड़ों बैचों में महत्वपूर्ण मूल्यों के रुझान की निगरानी से विचलन का पता चल सकता है और प्रक्रिया बहाव को रोका जा सकता है। परीक्षण स्प्रेडशीट ने प्रसंस्करण समय और अनुरूप इकाइयों से बैच औसत, मापदंडों और Overall Equipment Effectiveness की गणना की। स्रोत नोट करता है कि चार्ट में सकारात्मक और नकारात्मक प्रवृत्तियां जानबूझकर उत्पन्न परीक्षण डेटा से आई हैं, वास्तविक उत्पादन पैटर्न नहीं।

तीसरा डेटा-संचालित निवारक रखरखाव है। वास्तविक मूल्य कामकाजी मापदंडों में रुझानों में निहित है। मोटर कार्यभार या दबाव में थोड़ी वृद्धि घटक पहनने का खुलासा कर सकती है, जिससे उत्पादन में विनाशकारी ठहराव से पहले देखभाल टीमों को कार्रवाई करने की अनुमति मिलती है।

बड़ा सबक यह नहीं है कि पुरानी मशीनों को बदलना होगा. कभी-कभी सबसे व्यावहारिक औद्योगिक उन्नयन उन मशीनों के पीडीएफ प्रारूप में वर्षों से पहले ही क्या लिख रहा था पढ़ने के लिए है।

अनुसूचित निष्कर्षण और AI सारांश

लेख दो अगले चरणों की पहचान करता है। पहला स्वचालन है। अधिकांश फैक्टरी उपकरण विंडोज पर चलते हैं, इसलिए प्रस्तावित विधि एक .bat फ़ाइल है जो ओल्मा को शुरू करती है, इसमें लोड होने के लिए कुछ सेकंड इंतजार करती है RAM, .py स्क्रिप्ट चलाती है, फिर कंप्यूटर संसाधनों को बर्बाद करने से बचने के लिए Ollama बंद कर देती है। .bat फाइल को एक बुनियादी कार्य बनाकर, दैनिक समय चुनकर और एक्शन के रूप में.bat फ़ाइल के साथ प्रोग्राम प्रारंभ करें का चयन करके Task Scheduler तक शेड्यूल किया जा सकता है। समान फ़ाइलों को पुनः प्रसंस्करण करने से रोकने के लिए, स्क्रिपट प्रोसेस किए गए रिपोर्ट को .txt फ़ाइल में ट्रैक कर सकती है और उस सूची के खिलाफ प्रत्येक संग्रहीत पीडीएफ की जांच कर सकती हैः

दूसरा चरण रिपोर्टिंग है। लेख डार्क डेटा के बारे में एक चर्चा से एक टिप्पणी को याद करता हैः "यदि किसी के पास डेटा पुनर्प्राप्त करने का समय नहीं है, तो कोई भी इसका अध्ययन करने के लिए समय नहीं होगा।" उस टिप्पणी ने एक नए लक्ष्य की ओर इशारा कियाः निष्कर्षण का पूर्ण स्वचालन प्लस AI जो डेटा एकत्रित होने के बाद एक संक्षिप्त रिपोर्ट उत्पन्न करता है। सारांश बनाने से पहले, कच्चे निकाले गए डेटा को गणना जैसे साधनों, योग और अन्य गणनाओं से गुजरने की आवश्यकता होगी, फिर इसे दैनिक या बैच-स्तरीय समीक्षा के लिए AI दिया जाएगा।