Python में बड़ी संख्या में छवियों को संग्रहीत और एक्सेस करने के तीन तरीके हैं .
एक Python गाइड सीआईएफएआर -10 छवियों को संग्रहीत करने के लिए पीएनजी फ़ाइलों, एलएमडीबी और एचडीएफ 5 की तुलना करता है, जो बैच लोडिंग, रीड / राइट स्पीड और डिस्क उपयोग को कवर करता है।
मुख्य जानकारी
- बड़ी Python छवि datasets के लिए, ट्यूटोरियल तीन भंडारण दृष्टिकोणों की तुलना करता हैः पीएनजी फाइलें, Lightning Memory-Mapped Databases (एलएमडीबी), और Hierarchical Data Format संस्करण 5 (एचडीएफ 5) ।
- भंडारण विकल्प पैमाने पर निर्भर करता हैः सरल पीएनजी फाइलें कुछ छवियों के लिए काम करती हैं, जबकि एलएमडीबी और एचडीएफ 5 बड़े प्रशिक्षण datasets के लिए बेहतर होते हैं जिन्हें बैच लोडिंग की आवश्यकता होती है।
- इस लेख में सिंगल इमेज और मल्टी-इमेज रीड/राइट परफॉर्मेंस के साथ ही डिस्क उपयोग पर ध्यान केंद्रित करते हुए सीआईएफएआर-10 का उपयोग करके विधियों का मूल्यांकन किया गया है।
- सामान्य त्रुटियों में छोटे datasets के लिए अत्यधिक जटिल प्रारूपों का उपयोग करना, मेमोरी और डिस्क सीमाओं की अनदेखी करना और सीरियलाइज्ड अचार फ़ाइलों को देखने योग्य छवियों के रूप में व्यवहार करना शामिल है।
- डेवलपर्स को computer vision वर्कलोड के लिए स्टोरेज फॉर्मेट चुनने से पहले सिंगल इमेज एक्सेस और बैच एक्सेस दोनों का परीक्षण करना चाहिए।
मेटा विवरणः Portable Network Graphics फ़ाइलों के साथ Compare Python छवि भंडारण, लाइटनिंग-मेमोरी मैप किए गए डेटाबेस और सीआईएफएआर -10 जैसे datasets के लिए पदानुक्रमित डेटा प्रारूप।
टैगः Python इमेज स्टोरेज, पोर्टेबल नेटवर्क ग्राफिक्स, लाइटनिंग मेमोरी-मैप्ड डेटाबेस, पदानुक्रमित डाटा प्रारूप, सीआईएफएआर -10
चित्रित छवि: तीन Python इमेज स्टोरेज विधियों का अमूर्त मैत्रीपूर्ण उदाहरणः फ़ाइल फ़ोल्डर, मेमोरी-मैप किए गए डेटाबेस ब्लॉक और पदानुक्रमित डेटा ट्री, बिना लोगों के, बिना लोगो और बिना पाठ के।
realpython.com पर एक ट्यूटोरियल डेवलपर्स के लिए तीन Python छवि भंडारण विधियों की तुलना करता है जो कुछ फ़ोटो को संपादित करने से बड़े दृश्य datasets पर प्रशिक्षण में जाते हैं। यह छवियों को Portable Network Graphics फ़ाइलों के रूप में सहेजने, लाइटनिंग मेमोरी-मैप्ड डेटाबेस में छवियां संग्रहीत करने और पदानुक्रमित डेटा प्रारूप संस्करण 5 के भीतर छवियाँ समूहीकृत करने का विरोधाभास करता है। उदाहरण dataset Advanced Research छवि dataset , जिसे सीआईएफएआर -10 के नाम से जाना जाता है, के लिए Canadian Institute है।
भंडारण विधि क्यों महत्वपूर्ण है
यदि आप रंग द्वारा मुट्ठी भर छवियों को विभाजित कर रहे हैं या ओपनसीवी का उपयोग करके एक-एक चेहरे का पता लगा रहे हैं, तो डिस्क फ़ाइलें पर्याप्त हैं। अगर आप कुछ सौ तस्वीरों पर आकर्षित करने के लिए Python Imaging Library का उपयोग करते हैं, .png और .jpg फाइलें उपयुक्त रहती हैं। दबाव तब बदलता है जब प्रशिक्षण लूप को बैच में छवियां लोड करनी होती हैं, शायद सैकड़ों या हजारों बार।
इमेजनेट एक प्रसिद्ध सार्वजनिक छवि डेटाबेस है जो वस्तु वर्गीकरण, पता लगाने और विभाजन जैसे कार्यों पर मॉडल को प्रशिक्षित करने के लिए तैयार किया गया है। इसमें 14 मिलियन से अधिक छवियां शामिल हैं। डिस्क से उन सभी फ़ाइलों को लोड करने में काफी समय लग सकता है, आपके कंप्यूटर को छोड़ने के लिए पर्याप्त लंबा और कई अन्य चीजें करते हुए आप चाहते हैं कि आप Google या NVIDIA पर काम कर रहे थे।
ट्यूटोरियल क्या कवर करता है और आपको क्या चाहिए
इस ट्यूटोरियल में डिस्क पर छवियों को .png फ़ाइलों के रूप में संग्रहीत करना, लाइटनिंग मेमोरी-मैप्ड डेटाबेस में छवियां संग्रहित करना और पदानुक्रमित डेटा प्रारूप संस्करण 5 में इमेज स्टोर करना शामिल है। इसमें यह भी पता लगाया गया है कि वैकल्पिक भंडारण विधियाँ क्यों विचार करने योग्य हैं, एकल चित्र पढ़ने और लिखने पर प्रदर्शन अंतर क्या हैं, कई चित्रों को पढ़ते और लिखते समय प्रदर्शन भिन्नताएं क्या हैं और डिस्क उपयोग के संदर्भ में तीन तरीकों की तुलना कैसे करें।
पाठकों को उचित रूप से ठोस Python नींव और छवियों की एक बुनियादी समझ की आवश्यकता होती है, जिसमें यह तथ्य भी शामिल होता है कि वे वास्तव में संख्याओं के बहु-आयामी सरणियों से बने होते हैं। सापेक्ष स्मृति का व्यावहारिक अर्थ, जैसे 10 एमबी और 10 जीबी के बीच अंतर, भी मदद करता है।
dataset तथ्यों और व्यवस्था
dataset CIFAR-10 है, जिसमें 60,000 32x32 पिक्सेल रंगीन छवियां शामिल हैं जो विभिन्न ऑब्जेक्ट वर्गों से संबंधित हैं, जैसे कि कुत्ते, बिल्लियाँ और हवाई जहाज। सापेक्ष रूप से, सीआईएफएआर -10 बहुत बड़ा नहीं है dataset . तकनीकी रिपोर्ट के अध्याय 3 में वर्णित dataset , के लिए क्रेडिट Alex Krizhevsky, Vinod Nair, और Geoffrey Hinton पर जाते हैं। छवि का श्रेय ए. क्रिज़ेव्स्की को जाता है।
Python संस्करण को डाउनलोड करने से 163MB डिस्क स्थान का त्याग किया जाता है। यदि आप पूर्ण TinyImages dataset का उपयोग कर रहे थे, तो आपको लगभग 400GB खाली डिस्क स्पेस की आवश्यकता होगी, जो शायद एक सीमित कारक होगा।
डाउनलोड और अनज़िप करने के बाद, CIFAR-10 फ़ाइलें मानव-पठनीय छवि फाइल नहीं हैं। उन्हें सीपीकल का उपयोग करके बैचों में क्रमबद्ध और सहेजा गया है। ट्यूटोरियल केवल सीआईएफएआर -10 dataset को निकालने के लिए अचार का उपयोग करता है। Python अचार आपके हिस्से पर किसी भी अतिरिक्त कोड या परिवर्तन के बिना किसी भी 880007 ऑब्जेक्ट को क्रमबद्ध करने में सक्षम होने का प्रमुख लाभ है। इसमें एक संभावित गंभीर नुकसान भी हैः यह सुरक्षा जोखिम पैदा करता है और बहुत बड़ी मात्रा में डेटा से निपटने पर अच्छी तरह से सामना नहीं करता है.
Load CIFAR-10 और भंडारण मार्गों की तुलना करें
- सीआईएफएआर -10 का Python संस्करण डाउनलोड करें और इसे खोलें।
- कोड को डेटा निर्देशिका में इंगित करें, जैसे कि data/cifar-10-batches-py/.
- Use NumPy, अचार, और पथलिब पांच बैच फ़ाइलों में से प्रत्येक को अनपिक करने के लिए।
- प्रत्येक समतल छवि के लिए, 1024 मानों के लाल, हरे और नीले चैनल ब्लॉकों को विभाजित करें और प्रत्येक ब्लॉक को 32x32 सरणी में पुनः आकार दें।
- मूल छवि का पुनर्निर्माण करने के लिए तीन चैनल सरणियों को स्टैक करें और इसे चित्र सूची में जोड़ें.
- मेल खाने वाले लेबल को लेबल्स सूची में जोड़ें।
- यह पुष्टि करने के लिए आकारों को प्रिंट करें कि लोड किए गए प्रशिक्षण चित्र RAM में छवियों चर, लेबल में उनके संबंधित मेटाडेटा के साथ हैं।
- तीन भंडारण विधियों के लिए आवश्यक Python पैकेज स्थापित करें।
फिर तीन मार्ग अलग-अलग आवश्यकताओं को पूरा करते हैं। Portable Network Graphics फाइलें सरल हैंः एक छवि, एक फ़ाइल, निरीक्षण और साझा करने में आसान है। लाइटनिंग मेमोरी मैप्ड डेटाबेस और पदानुक्रमित डेटा प्रारूप संस्करण 5 बड़े संग्रहों के लिए विकल्प के रूप में प्रस्तुत किए जाते हैं। ट्यूटोरियल एकल छवियों और कई चित्रों के साथ-साथ डिस्क उपयोग के लिए पढ़ने और लिखने की गति की तुलना करता है।
पूरा लेख https://realpython.com/storing-images-in-python/ पर जारी है। यह एक बोनस गाइड भी प्रदान करता है, Python Face Detection & ओपनसीवी Examples Mini-गाइड, जो वास्तविक दुनिया Python computer vision तकनीकों के व्यावहारिक कोड उदाहरण दिखाता है, और एक Improve Your Python साथ Python Tricks email हर कुछ दिनों में वितरित किया जाता है।
आम गलतियाँ
- कुछ फ़ोटो के लिए एक जटिल भंडारण प्रारूप चुनना. यदि आप केवल एकल छवियों पर OpenCV चलाते हैं या Python Imaging Library, .png या .jpg डिस्क पर कुछ सौ फ़ाइलों पर आकर्षित करते हैं तो ठीक है।
- पैमाने को भूलना. एक 10MB कार्य सेट और एक 10GB कार्य सेट RAM, डिस्क, और प्रशिक्षण लूप पर अलग-अलग दबाव पैदा करते हैं।
- cPickle फ़ाइलों को देखने योग्य छवियों के रूप में व्यवहार करना. वे क्रमबद्ध बैच हैं, न कि साधारण छवि फाइलें।
- पहले मेमोरी या डिस्क उपयोग की जाँच किए बिना RAM में सभी डेटा लोड करना.
- अचार सुरक्षा को अनदेखा करना. अविश्वसनीय क्रमबद्ध फ़ाइलें खतरनाक हो सकती हैं.
- एकल-छवि बनाम कई-छवियों के परीक्षण को छोड़ना. एक छवि जो जल्दी से पढ़ती है वह हजारों कुशलतापूर्वक नहीं पढ़ सकती है।

Comments (0)