VibeEdit: कैनवास-आधारित छवि संपादन
VibeEdit संपादन के लिए कैनवास निर्देशों के रूप में छवि चिह्न और नोट्स का उपयोग करता है, 1.55M जोड़े पर प्रशिक्षित किया जाता है और 419-केस लक्ष्य चयन बेंचमार्क पर 79.9 स्कोर होता है।
मुख्य जानकारी
- VibeEdit उपयोगकर्ताओं को फ़ोटो पर सीधे स्थानिक चिह्न और वैकल्पिक लघु नोट्स रखकर छवियों को संपादित करने देता है, केवल पाठ संकेतों पर भरोसा करने के बजाय "कैनवास निर्देश" बनाता है।
- यह एक अलग पाठ-आधारित निर्देश की आवश्यकता के बिना सामान्य संपादन कार्यों का समर्थन करता है जैसे कि जोड़ना, हटाना, प्रतिस्थापित करना, गुणों को बदलना और वस्तुओं को स्थानांतरित करना।
- मॉडल को 1.55 मिलियन स्रोत-लक्ष्य संपादन जोड़े के साथ ऑब्जेक्ट मास्क और संरचित विवरणों पर प्रशिक्षित किया गया था, जिसमें लेयर-डिस्कॉप्ड कंडीशनिंग, क्षेत्र-भारित fine-tuning और रूब्रिक-निर्देशित reinforcement learning का उपयोग किया गया है।
- 419 मामलों के बेंचमार्क पर समान वस्तुओं में से सही लक्ष्य का चयन करने पर ध्यान केंद्रित किया गया, VibeEdit ने एक वीएलएम रबर और 32.8 डीबी बाहरी क्षेत्र पीएसएनआर पर 79.9 अंक प्राप्त किए, जो टेक्स्ट-निर्देशित आधार रेखा फायररेड को पार कर गया।
- मुख्य व्यावहारिक लाभ एक सरल, अधिक सटीक संपादन कार्यप्रवाह है, लेकिन रिपोर्ट किए गए परिणाम बेंचमार्क-विशिष्ट हैं और वास्तविक दुनिया की विश्वसनीयता को अभी भी आगे के परीक्षण की आवश्यकता है।
मेटा विवरण: VibeEdit इमेज एडिटिंग उपयोगकर्ताओं को फ़ोटो पर लक्ष्य क्षेत्रों को चिह्नित करने देता है और 419-केस बेंचमार्क पर 79.9 स्कोर करता है, जो मजबूत संपादन और संरक्षण दिखाता है।
टैगः #VibeEdit #image-संपादन #computer- दृष्टि #AI- अनुसंधान #visual-प्रॉम्प्ट्स
विशेष रुप से प्रदर्शित छवि: सरल स्थानिक चिह्नों और एक संक्षिप्त नोट के साथ फोटो कैनवास का अमूर्त मैत्रीपूर्ण चित्रण, कोई वास्तविक लोग नहीं हैं, कोई लोगो नहीं है, कोई पाठ नहीं है।
एक नए शोध पत्र में वाइबएडिट इमेज एडिटिंग का परिचय दिया गया है, जो उपयोगकर्ताओं को छवि पर स्थानिक चिह्न और वैकल्पिक छोटे नोट्स छोड़ने देता है। AI के साथ फ़ोटो संपादित करने वाले लोगों के लिए, यह ऑब्जेक्ट को प्रोम्प्ट में वर्णित करने के बजाय इसे बदलने के लिए इंगित करने का एक तरीका प्रदान करता है। मिलकर, ये एनोटेशन बनाते हैं जिसे लेखक कैनवास निर्देश कहते हैं। VibeEdit उन निर्देशों को पढ़ता है और अलग-अलग टेक्स्ट प्रॉम्प्ट की आवश्यकता के बिना वस्तु जोड़, हटाने, प्रतिस्थापन, विशेषता संशोधन और आंदोलन कर सकता है।
क्यों इशारा करने से उकसाने को हराया जा सकता है
टेक्स्ट-गाइडेड इमेज एडिटिंग वांछित परिवर्तन का वर्णन करना आसान बना सकता है, लेकिन कठिन हिस्सा अक्सर मॉडल को बता रहा होता है कि किस ऑब्जेक्ट या क्षेत्र को संपादित किया जाना चाहिए। जब कई वस्तुएं समान दिखती हैं तो यह कठिनाई बढ़ जाती है। चित्र पर एक छोटा निशान संपादक को स्पष्ट लक्ष्य देता है, जबकि एक संक्षिप्त नोट पर्याप्त विवरण जोड़ सकता है।
यह महत्वपूर्ण है क्योंकि कई संपादन कार्य विफल हो जाते हैं जब मॉडल पेंट नहीं कर सकता, लेकिन जब वह गलत क्षेत्र को संपादित करता है। यदि निर्देश छवि पर एंकर किया जाता है, तो उपयोगकर्ता कम समय लिखने और परिणाम की जांच करने में अधिक समय बिता सकते हैं।
कैसे मॉडल कैनवास निर्देशों से सीखा
टीम ने ऑब्जेक्ट मास्क और संरचित संपादन विवरण के साथ 1.55 मिलियन स्रोत-लक्ष्य संपादित जोड़े का निर्माण किया। प्रशिक्षण के दौरान, सिस्टम उन जोड़ों से कैनवास निर्देश प्रदान करता है, मॉडल को संपादन संकेतों के रूप में चिह्न और नोट्स पढ़ने के लिए सिखाता है।
इस काम में Qwen - इमेज-एडिट को लेयर डिकॉप्ल्ड कंडीशनिंग के साथ अनुकूलित किया गया है जो स्रोत छवियों और कैनवास निर्देशों को अलग से एन्कोड करता है। सरल शब्दों में, मॉडल छवि संपादन के लिए जानकारी का संयोजन करने से पहले मूल चित्र और संपादन निर्देश को व्यक्तिगत रूप से संसाधित करता है. शोधकर्ताओं ने मॉडल को क्षेत्र-भारित पर्यवेक्षित fine-tuning , इसके बाद रूबरी-निर्देशित reinforcement learning के साथ प्रशिक्षण दिया ताकि संपादन पूर्णता, स्थानीय संपादन गुणवत्ता और अप्रकाशित क्षेत्रों के संरक्षण में सुधार हो सके।
बेंचमार्क परिणाम मजबूत लक्ष्य चयन दिखाते हैं
VibeEdit का मूल्यांकन 419 मामलों के एक स्वतंत्र रूप से निर्मित, मानव-संरक्षित बेंचमार्क पर किया गया था जो समान वस्तुओं में लक्ष्य चयन पर जोर देता है।
उस मूल्यांकन में, VibeEdit ने 79.9 का वीएलएम रूब्रिक स्कोर हासिल किया। VLM यहाँ संपादन के एक स्वचालित न्यायाधीश के रूप में उपयोग किए जाने वाले विजन-लैंग्वेज मॉडल को संदर्भित करता है। इसने 32.8 डीबी के बाहरी क्षेत्र पीएसएनआर भी प्राप्त किया। PSNR या शिखर सिग्नल-टू-शोर अनुपात एक मानक छवि गुणवत्ता माप है; उच्च मानों का मतलब आमतौर पर चित्र का अछूता हिस्सा मूल के करीब रहता है।
कागज में तुलनात्मक आंकड़ा फायररेड है, जो मूल्यांकन में उच्चतम स्कोरिंग टेक्स्ट-निर्देशित आधार रेखा है। VLM रूब्रिक पर FireRed ने 67.4 और बाहरी क्षेत्र PSNR पर 24.0 डीबी का स्कोर किया। अंतर से पता चलता है कि ऑन-इमेज इंस्ट्रक्शन प्रारूप दृश्य संपादन और शेष छवि के शांत संरक्षण दोनों में मदद करता है।
पाठकों को आगे क्या देखना चाहिए
उपयोगकर्ताओं के लिए, सबसे तत्काल मूल्य एक सरल कार्यप्रवाह हैः लक्ष्य को चिह्नित करें, वैकल्पिक रूप से परिवर्तन पर ध्यान दें और संपादक को बाकी का प्रबंधन करने दें। उत्पाद बिल्डरों के लिए सवाल यह है कि क्या यह इंटरफ़ेस क्यूरेटेड परीक्षण सेट के बाहर तेज और विश्वसनीय रह सकता है।
रिपोर्ट की गई संख्या 419-केस बेंचमार्क और Qwen -इमेज-एडिट के आसपास प्रशिक्षण सेटअप के लिए विशिष्ट है। पाठकों को परिणाम को अस्पष्ट ऑब्जेक्ट चयन के लिए एक मजबूत संकेत के रूप में मानना चाहिए, न कि इस बात का प्रमाण है कि हर फोटो संपादन स्वचालित हो जाएगा। अगला उपयोगी परीक्षण यह है कि कैनवास निर्देश रोजमर्रा के apps में कितनी अच्छी तरह से काम करते हैं, जहां प्रकाश व्यवस्था, वस्तु घनत्व, उपयोगकर्ता धैर्य और संपादन गति सभी मायने रखते हैं।

Comments (0)