फोटोगाइडर रचना-जागरूक क्रॉपिंग और 360 डिग्री दृश्य फ्रेमिंग के लिए व्याख्यात्मक फोटोग्राफिक आकलन प्रदान करता है।
PhotoGuider रचना सुविधाओं को स्कोर करता है, 360-डिग्री पैनोरमा फसलों का फ्रेम बनाता है, AI के साथ विकल्पों की व्याख्या करता है और पुनः प्रस्तुत करने वाले मापदंडों को आउटपुट करता है।
मुख्य जानकारी
- फोटोगाइडर 360 डिग्री पैनोरमा फ्रेमिंग को दो-चरण की प्रक्रिया के रूप में संभालता हैः यह पहले रचना-जागरूक विशेषताओं का माप करता है, फिर देखने की दिशा चुनता है और फसल को परिष्कृत करता है।
- यह चार फोटोग्राफिक tokens Subject, Composition, Aesthetics और Integrity का उपयोग करता है और कैमरा पैरामीटर को आउटपुट करता है जो पैनोरमा से देशी पुनः प्रस्तुत करने की अनुमति देता है।
- एक multimodal large language model मापी गई संरचना tokens से जुड़े स्पष्टीकरण उत्पन्न करता है, जिससे फ्रेमिंग निर्णय अधिक पारदर्शी हो जाते हैं।
- 100 Poly Haven HDRI दृश्यों में 120 प्रतिभागियों द्वारा अंधेरे रैंकिंग में, PhotoGuider के फ्रेम को 53.2% मामलों में पहले स्थान पर रखा गया था।
मेटा विवरण: फोटोगाइडर ने सीखी रचना स्कोरर्स के साथ 360 ° पैनोरमा को फ्रेम किया, जो 100 दृश्यों में 120 प्रतिभागियों द्वारा 53.2% अंधे रैंकिंग में पहले स्थान पर है।
टैगः फोटोगाइडर, 360 डिग्री पैनोरमा, छवि क्रॉपिंग, यूनियन पर औसत चौराहा, Poly Haven
चित्रित छवि: चार नरम रंग-कोडेड सुविधा बुलबुले, कोई लोग नहीं, कोई लोगो, कोई पाठ के साथ एक व्यूफाइंडर द्वारा फ़्रेम किए जा रहे गोलाकार पैनोरमा का अमूर्त अनुकूलन।
PhotoGuider एक 360 ° पैनोरमा फ्रेमिंग विधि है जो पहले संरचना-जागरूक सुविधाओं को मापता है, फिर देखने की दिशा चुनता है और फसल को परिष्कृत करता है। यह सार्वजनिक Poly Haven HDRI पुस्तकालय से 120 प्रतिभागियों द्वारा 100 दृश्यों में अंधे रैंकिंग के 53.2% में पहला स्थान प्राप्त किया, उच्च गतिशील सीमा छवियों का एक पुस्तकालय, और इसने दो मानक द्विआयामी (2 डी) क्रॉपिंग बेंचमार्कों पर संघ (एमआईओयू) पर सबसे अधिक औसत चौराहा हासिल किया। उन पाठकों के लिए जो स्वचालित कटाई उपकरण का उपयोग या मूल्यांकन करते हैं, परिणाम एक अनुस्मारक है कि गोलाकार फ़ोटो को किसी फसल पर भरोसा करने से पहले रचना निर्णय की आवश्यकता होती है।
फ्लैट-फोटो क्रॉपिंग की तुलना में 360 डिग्री काटना अधिक कठिन क्यों है
पारंपरिक इमेज क्रॉपिंग मानती है कि फ़ोटो में पहले से ही एक ऐसी रचना होती है जो रखने लायक हो; एकमात्र सवाल यह है कि इसे कहाँ काटना है। पूर्ण 360 डिग्री दृश्य इस तरह की कोई गारंटी नहीं देता है। सिस्टम को छवि को फ्रेम करने से पहले देखने की दिशा का पता लगाना होगा। PhotoGuider उस दो-चरण समस्या के लिए बनाया गया हैः यह पहले मापता है, फिर फ्रेम करता है।
माप-तब-फ्रेम विधि कैसे काम करती है
यह विधि रचना-जागरूक विशेषताओं के एक साझा सेट पर कॉम्पैक्ट सीखे स्कोरर्स का उपयोग करती है। उन सुविधाओं को फाउंडेशन और कार्य-विशिष्ट दृष्टि मॉडल, अर्थात सामान्य उद्देश्य वाले दृश्य मॉडल और विशिष्ट दृश्य कार्यों के लिए ट्यून किए गए मॉडल का उपयोग करके निकाला जाता है। इसके बाद विशेषताएं चार फोटोग्राफिक tokens में संरचित होती हैंः विषय, संरचना, सौंदर्यशास्त्र और अखंडता।
एक ही मापा सुविधाओं दोनों दिशा चयन और परिष्कृत फ्रेमिंग का समर्थन करते हैं. PhotoGuider भी देशी पुनः प्रस्तुत करने के लिए कैमरा पैरामीटर आउटपुट करता है, जिसका अर्थ है कि चयनित दृश्य को केवल फसल बॉक्स के साथ चिह्नित किए जाने के बजाय पैनोरमा से फिर से तैयार किया जा सकता है।
एक फाइन-ट्यून किए गए multimodal large language model (MLLM) व्याख्याकार छवियों और मापी गई token आकलनों पर आधारित रचना से संबंधित स्पष्टीकरण उत्पन्न करता है। परियोजना पृष्ठ में फोटोगाइडर को 360 ° पैनोरमा, परिष्कृत फ्रेमिंग, देशी पुनः प्रस्तुत करने के लिए कैमरा पैरामीटर आउटपुट और माप-सशर्त स्पष्टीकरण में स्पष्ट संरचना-आधारित दिशा चयन का संयोजन करने वाली पहली विधि के रूप में वर्णित किया गया है।
बेंचमार्क स्कोर और अंधा रैंकिंग परिणाम
दो मानक 2 डी क्रॉपिंग बेंचमार्क पर, फोटोगाइडर ने ग्राउंड-ट्रूथ फसलों के मुकाबले उच्चतम औसत एमआईओयू प्रदर्शन हासिल किया। मीडियन इंटरसेक्शन ओवर यूनियन का संक्षिप्त नाम mIoU है, यह मापता है कि एक पूर्वानुमानित फसल कितनी हद तक संदर्भ फसल को ओवरलैप करती है, इसलिए यह फसल प्लेसमेंट की गुणवत्ता का प्रत्यक्ष परीक्षण है।
एक ब्लाइंड रैंकिंग अध्ययन में, 120 प्रतिभागियों ने सार्वजनिक Poly Haven HDRI लाइब्रेरी से 100 पैनोरमिक दृश्यों पर तीन क्रॉपिंग विधियों को स्थान दिया। फोटोगाइडर के फ्रेमिंग्स को 53.2% मामलों में पहले स्थान पर रखा गया था, जबकि दो मजबूत विकल्पों को प्रथम स्थान की पसंद का 27.3% और 19.5% प्राप्त हुआ। सारांश में दोनों विकल्पों का नाम नहीं है, इसलिए उनकी सटीक विधियों की तुलना यहां नहीं की जा सकती।
परिणाम उपयोगकर्ताओं के लिए क्या सुझाव देता है
PhotoGuider का व्यावहारिक मूल्य यह है कि यह एक कठिन समस्या को मापने योग्य भागों में अलग करता है। सबसे पहले, यह मूल्यांकन करता है कि विषय, रचना, सौंदर्यशास्त्र और अखंडता के माध्यम से गोलाकार दृश्य में क्या मौजूद है। दूसरा, यह फ्लैट फसल चुनने और परिष्कृत करने के लिए उस माप का उपयोग करता है. तीसरा, यह कैमरा पैरामीटर आउटपुट करता है जो पैनोरमा दर्शक को चुने हुए दृश्य को मूल रूप से फिर से प्रस्तुत करते हैं।
360 डिग्री छवियों के साथ काम करने वाले रचनाकारों के लिए, यह एक मजबूत दृश्य का चयन करते समय मैन्युअल परीक्षण और त्रुटि को कम कर सकता है। उपकरण डेवलपर्स के लिए यह एक पैटर्न प्रदान करता हैः दिशा चयन और अंतिम फ्रेमिंग दोनों का मार्गदर्शन करने के लिए संरचना-जागरूक सुविधाओं का उपयोग करें, फिर एक सशर्त भाषा मॉडल के माध्यम से निर्णय की व्याख्या करें।
केवल साधारण फ्लैट फ़ोटो के साथ काम करने वाले पाठकों को पूर्ण पाइपलाइन की आवश्यकता नहीं हो सकती है, क्योंकि दिशा खोज समस्या का हिस्सा नहीं है। परियोजना पृष्ठ, https://ntuneillee.github.io/research/photoguider/, जहां पूरी विधि और अनुवर्ती विवरण की जांच की जा सकती है।

Comments (0)