नया उपकरण उपयोगकर्ताओं को एआई-जनरेट किए गए 3 डी मॉडल ठीक करने और उन्हें अपनी इच्छा के अनुसार बनाने में सक्षम बनाता है
MIT CSAIL और भागीदारों ने इंस्ट्रुक्टमेश की शुरुआत की, जो व्यावहारिक मुद्रण के लिए AI 3 डी मॉडल को ठीक करने के लिए ट्रेलिस और GPT-4 का संयोजन करता है।
मुख्य बिंदु
- इंस्ट्रक्टमेश, Google और नॉर्थईस्टर्न का एक AI डिज़ाइन टूल है जो उपयोगकर्ताओं को प्रिंट करने से पहले एआई-जनित 3 डी मॉडल को संपादित करने और ठीक करने में मदद करने के लिए TRELLIS 3D जनरेशन को GPT-4 के साथ जोड़ता है।
- यह जनरेटिव 3 डी प्रिंटिंग की एक सामान्य विफलता को संबोधित करता हैः मॉडल नेत्रहीन सही लग सकते हैं लेकिन संरचनात्मक रूप से अव्यावहारिक हो सकते हैं, जैसे कि कप जो कॉफी नहीं रख सकते या robot गोले जो काम नहीं कर सकते।
- इंटरफ़ेस नौसिखियों को विशेष 3 डी मॉडलिंग या प्रिंट-तैयार ज्ञान की आवश्यकता के बिना, प्राकृतिक भाषा, छवि संकेतों और सरल ज्यामितीय संपादन का उपयोग करके मॉडल को संशोधित करने देता है।
- परीक्षणों में, ट्रेलिस-पुनर्निर्मित थिंगिवर्स मॉडल के लगभग 80% संरचनात्मक दोष थे, जबकि इंस्ट्रक्टमेश का उपयोग करने वाले नौसिखिया उपयोगकर्ताओं ने सफलतापूर्वक त्रुटियों की पहचान और सुधार किया।
- भविष्य के काम में इंस्ट्रक्टमेश को एआर, भौतिकी सिमुलेशन और नए ट्रेलिस सिस्टम के साथ एकीकृत किया जा सकता है ताकि अनुकूलित, उपयोग करने योग्य वस्तुओं को अधिक तेज़ी से उत्पन्न और निर्मित किया जा सके।
मेटा विवरणः इंस्ट्रक्टमेश ट्रेलिस और GPT-4 को जोड़ती है ताकि नौसिखिए एआई-जनरेटेड 3 डी डिजाइनों को संपादित कर सकें और घरेलू वस्तुओं या robots को प्रिंट करने से पहले संरचनात्मक खामियों को ठीक कर सकें।
टैगः इंस्ट्रक्टमेश, ट्रेलिस, GPT-4 , थ्रीडी प्रिंटिंग, सीएसएआईएल
विशेष रुप से प्रदर्शित छवि: (अंग्रेज़ी में) ">"</string> एक 3 डी जाल का अमूर्त, मैत्रीपूर्ण चित्रण जिसे संकेतों के माध्यम से संपादित किया जा रहा है, जिसमें कोई वास्तविक लोग, लोगो या पाठ नहीं हैं।
MIT Computer Sciences Computer Science और Artificial Intelligence Laboratory (CSAIL), Google , और Northeastern University के शोधकर्ताओं ने InstructMesh, एक AI- संचालित डिज़ाइन इंटरफ़ेस पेश किया है जो लोगों को निर्माण से पहले 3D प्रिंट करने योग्य वस्तुओं को उत्पन्न और संपादित करने देता है। उन उपयोगकर्ताओं के लिए जो घरेलू सामान, सहायक उपकरण या robot गोले चाहते हैं जो इच्छित रूप से कार्य करते हैं, यह टूल पाठ, छवि और ज्यामिति संपादन को जोड़ती है, नवंबर में ACM Symposium पर User Interface Software और प्रौद्योगिकी में प्रस्तुति के लिए निर्धारित काम के साथ।
क्यों AI 3 डी प्रिंटिंग अक्सर व्यवहार में विफल हो जाती है
कई software उपकरण "जो आप देखते हैं वही आपको मिलता है" नियम का पालन करते हैं, लेकिन 3 डी प्रिंटिंग के लिए जनरेटिव सिस्टम इसे तोड़ सकते हैं। मॉडल एक ऑब्जेक्ट बना सकते हैं जो रेंडर में सही दिखाई देता है जबकि बुनियादी आवश्यकताओं को अनदेखा करता है जैसे कि क्या एक मग कॉफी रख सकता है। समस्या केवल दृश्य नहीं है: आउटपुट उन तरीकों से अव्यावहारिक हो सकता है जो आइटम के इच्छित उपयोग को कम कर देते हैं।
कैसे InstructMesh सृजन और संपादन को जोड़ती है
टीम ने दो क्षमताओं को जोड़ने के लिए InstructMesh बनाया जो आमतौर पर अलग-अलग बैठते हैं। Microsoft की TRELLIS प्रणाली का उपयोग टेक्स्ट और इमेज प्रॉम्प्ट से 3 डी मॉडल बनाने के लिए किया जाता है, जबकि GPT-4 , large language model (LLM) जो ChatGPT का समर्थन करता है, यह व्याख्या करने में मदद करता है कि उपयोगकर्ता क्या बदलना चाहता है। व्यवहार में, कोई व्यक्ति एक डिज़ाइन मांग सकता है, जैसे चश्मा की एक जोड़ी, फिर ब्लूप्रिंट के उस हिस्से को हाइलाइट कर सकता है जिसे 3 डी प्रिंटिंग से पहले परिष्कृत करने की आवश्यकता होती है। इंटरफ़ेस का उद्देश्य विशेषज्ञों और नौसिखियों दोनों को संपादन की ओर मार्गदर्शन करना है जो ऑब्जेक्ट्स को संरक्षित करते हुए इसे अधिक उपयोगी बनाते हैं।
पेपर पर प्रमुख लेखक, एमआईटी विभाग के एसएम 2222 और पीएचडी 2626 स्नातक Electrical Engineering और Computer Science, और हाल ही में सीएसएआईएल सहयोगी ने कहा कि इस परियोजना का उद्देश्य 3 डी जनरेटर की ताकत को भाषा मॉडल की तर्क क्षमता के साथ जोड़ना है ताकि लोग उन वस्तुओं को बना सकें जो वे वास्तव में चाहते हैं। उन्होंने यह भी कहा कि ट्रेलिस मजबूत आकार पीढ़ी में योगदान देता है क्योंकि इसमें कई 3 डी मॉडल मिले हैं, जबकि भाषा मॉडल पाठ और छवि समझ जोड़ते हैं।
सजावटी मग से लेकर पहनने योग्य और robot डिजाइन तक
CSAIL शोधकर्ताओं ने सामान्य वस्तुओं में व्यक्तिगत, रचनात्मक मोड़ जोड़ने के लिए InstructMesh का उपयोग किया। एक डिजाइन एक मग था जो ऐसा लग रहा था जैसे कि इसके चारों ओर एक ड्रैगन लपेटा गया हो, जिसमें ड्रेगन की पूंछ हैंडल बनाती है। दूसरा एक शेल के आकार की चमकदार नीली सीटी थी। उन्होंने ऐसे चश्मे भी बनाए जिनके फ्रेम लेंस के ऊपर तितलियों के पंखों में विस्तारित होते थे, और ऑक्टोपस जैसा डिस्पेंसर जो प्रत्येक स्पर्श से कई कपों में तरल पदार्थ भेज सकता था।
इस दृष्टिकोण को कम स्पष्ट अनुप्रयोगों में भी ले जाया गया। टीम ने एक मरीज की जींस से मेल खाने के लिए डिज़ाइन की गई डेनिम जैसी सतह के साथ घुटने का ब्रेस बनाया। उन्होंने इंस्ट्रक्टमेश का उपयोग वायरलेस घटकों के लिए संलग्नक बनाने के लिए किया, जिसमें एक "ब्रिसल बॉट" शामिल है जो रंगीन झींगा जैसा दिखता है। बॉट अंदर एक मोटर छुपाता है; जब चालू होता है, तो यह सतहों पर स्लाइड कर सकता है, कुछ हद तक विंड-अप खिलौने की तरह व्यवहार करता है।
परीक्षण दोष और उपयोगकर्ता परिणाम
बाहरी उपयोगकर्ताओं का परीक्षण करने से पहले, शोधकर्ताओं ने बताया कि इंस्ट्रक्टमेश आसानी से अपने वांछित आइटम का उत्पादन कर सकता है। यह समझने के लिए कि क्या सिस्टम सामान्य उपयोगकर्ताओं की मदद कर सकता था, उन्होंने जांच की कि ट्रेलिस मौजूदा डिजाइनों को कैसे संभालता है। उन्होंने इसे थिंगिवर्स से लोकप्रिय मॉडल फिर से बनाने के लिए कहा, एक मंच जिसमें लाखों 3 डी प्रिंट करने योग्य मॉडल हैं। लगभग 80 प्रतिशत पुनः निर्मित मॉडल किसी तरह संरचनात्मक रूप से दोषपूर्ण थे, जिससे पता चलता है कि उत्पन्न ज्यामिति प्रशंसनीय लग सकती है लेकिन वास्तविक उपयोग में विफल हो सकती है।
सीएसएआईएल ने फिर नौसिखियों को इन दोषों की पहचान करने और उन्हें ठीक करने के लिए इंस्ट्रक्टमेश का उपयोग करने को कहा। विशेषज्ञ समीक्षा के अनुसार, प्रतिभागी लगभग 90 प्रतिशत समय में दोनों कार्यों में सफल रहे। शोधकर्ताओं ने निष्कर्ष निकाला कि औपचारिक मॉडलिंग प्रशिक्षण के बिना लोग दृश्य और व्यावहारिक अंतर्ज्ञान पर भरोसा कर सकते हैं जब software संपादन सुलभ बना देता है।
यह टूल जनरेटिव मॉडल के लुप्त स्थान में काम करता है, वह आंतरिक स्थान जहां सिस्टम संभावित आकारों का प्रतिनिधित्व करता है। उपयोगकर्ताओं को सीधे शीर्ष या सतहों पर हेरफेर करने की आवश्यकता होने के बजाय, इंस्ट्रक्टमेश उन्हें प्राकृतिक भाषा में समस्याओं का वर्णन करने देता है और ज्यामिति परिवर्तन उत्पन्न करता है जिन्हें वे समीक्षा और अनुमोदन कर सकते हैं। उस मचान ने विशेष 3 डी मॉडलिंग कार्य को बदल दिया है जिसे पहले डोमेन विशेषज्ञता की आवश्यकता होती थी।
उपयोगकर्ता सत्रों में, प्रतिभागियों ने फोन स्टैंड और फूलदान जैसे आइटम बनाए और कहा कि प्रक्रिया का उपयोग करना आसान था। उन्होंने पाया कि इंस्ट्रक्टमेश उन्हें विचारों की एक विस्तृत श्रृंखला को व्यक्त करने में सक्षम बनाता है, जबकि स्लाइडर्स ने उन्हें कुछ ट्वीक बनाने के लिए अधिक परिशुद्धता दी, जैसे मॉडल के चयनित हिस्से को बड़ा या बाहर निकालना। शोधकर्ताओं के खाते में, उपयोगकर्ताओं को वह मिल गया जिसके लिए वे प्रेरित थे, जहां जरूरत थी वहां डिजाइन बदल सकते थे, और पाया कि मुद्रित वस्तुओं ने अपेक्षित रूप से व्यवहार किया।
अगला क्या है
फारुकी अब Google पर काम करता है और कहा कि वह जल्द ही इंस्ट्रक्टमेश को augmented reality (एआर) प्लेटफॉर्म में एकीकृत कर सकता है। उस दृष्टि में, एक उपयोगकर्ता आस-पास की वस्तुओं के संदर्भ का उपयोग करके आवश्यकता की व्याख्या करेगा, और सिस्टम एक मिलान करने वाली आइटम उत्पन्न और जल्दी से प्रिंट करेगा, जैसे फोन केस जो wallet की शैली में फिट बैठता है।
software यह भविष्यवाणी करने के लिए भौतिकी सिमुलेशन भी जोड़ सकता है कि उपयोग में एक डिजाइन कैसे व्यवहार करेगा, जिसमें शामिल है कि क्या कटोरा गिरने पर टूट जाएगा या कौन सी सामग्री सबसे अच्छा काम कर सकती है। टीम उत्पन्न मॉडल में छोटी सुविधाओं को परिष्कृत करने के लिये अधिक हालिया TRELLIS.2 के साथ संभावित एकीकरण भी देखती है।
पेपर के वरिष्ठ लेखक हैं Stefanie Mueller, एमआईटी में इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर साइंस और मैकेनिकल इंजीनियरिंग के एसोसिएट प्रोफेसर और सीएसएआईएल के सदस्य। सह-लेखकों में Google शोधकर्ता शामिल हैं Ahmed Katary 223, Fabian Manhardt, Vrushank Phadnis MEng 13 और पीएचडी 20,20, Ruofei Du तथा Federico Tombari । Northeastern University Assistant Professor Megan Hofmann भी एक सह-लेखाकार है, साथ ही CSAIL सहयोगियों Demircan Tas SM 24 और SMArchS EECS और वास्तुकला में PhD छात्र; पूर्व विजिटिंग रिसर्चर Theresa Hradilak; Ning Zhang 25 , ईईसीएस में स्नातक छात्र; पोस्टडॉक Jiaji Li; और Martin Nisser SM 19 और 24.24. इस काम को भाग में समर्थित किया गया था

Comments (0)