सिस्टम ऑडियो क्लिप से होंठ-सिंक वीडियो बनाता है

Anonim

सिस्टम ऑडियो क्लिप से होंठ-सिंक वीडियो बनाता है

विज्ञान

बेन कॉक्सवर्थ

12 जुलाई, 2017

प्रणाली बराक ओबामा के भाषणों के घंटों पर प्रशिक्षित की गई है (क्रेडिट: माइकल.वॉर्ली)

यह किसी की आवाज की एक डिजिटल प्रतिलिपि बनाने के लिए पहले से ही संभव है, जिससे उपयोगकर्ताओं को एक ऑडियो फाइल बनाने में सक्षम बनाता है जो उन्होंने वास्तव में कभी नहीं कहा था। श्रोताओं को अभी भी मूर्ख नहीं बनाया जा सकता है, हालांकि, उन शब्दों को बोलने वाले व्यक्ति का फुटेज नहीं होगा। कुंआ ।

वाशिंगटन विश्वविद्यालय के शोधकर्ताओं ने अब एक प्रणाली बनाई है जो स्पीकर के होंठ-सिंक किए गए वीडियो में ऑडियो क्लिप को परिवर्तित करता है।

सिस्टम को काम करने के लिए, इसे बोलने वाले व्यक्ति के मौजूदा फुटेज के लगभग 14 घंटे का विश्लेषण करने की आवश्यकता है - शोधकर्ता उम्मीद कर रहे हैं कि उस आंकड़े को कम से कम एक घंटे तक कम करने की उम्मीद है। एक तंत्रिका नेटवर्क का उपयोग करके, यह सीखता है कि उनके मुंह के आकार किस भाषण के साथ आता है।

जब प्रणाली को उस व्यक्ति के "लक्ष्य वीडियो " के साथ प्रदान किया जाता है (जिसमें वे किसी भी चीज के बारे में बात कर सकते हैं), वांछित शब्दों को बोलने की एक ऑडियो फ़ाइल के साथ, यह दोनों को एक साथ जोड़ता है। यह वीडियो के मूल ऑडियो को छोड़कर, वांछित ऑडियो के साथ बदलकर, और वीडियो में अपने मुंह के स्थान पर स्पीकर के मुंह के कंप्यूटर-एनिमेटेड संस्करण को मैप करके ऐसा करता है।

अंत परिणाम यह है कि लोग उन्हें वांछित शब्दों को बोलते हुए सुनते हैं, और स्पष्ट रूप से उनके मुंह को ऐसा भी देखते हैं। यद्यपि निश्चित रूप से विश्वासघात की संभावना है, शोधकर्ताओं ने अन्य उपयोगों के साथ प्रौद्योगिकी को विकसित किया है।

"यथार्थवादी ऑडियो-टू-वीडियो रूपांतरण में व्यावहारिक अनुप्रयोग हैं जैसे मीटिंग्स के लिए वीडियो कॉन्फ्रेंसिंग में सुधार, साथ ही भविष्य में जैसे कि ऑडियो से दृश्य बनाने के द्वारा आभासी वास्तविकता में ऐतिहासिक आकृति के साथ वार्तालाप करने में सक्षम होना, " सहायक प्रोफेसर ईरा केमेलमेकर-श्लज़मैन। "यह ऐसी सफलता है जो उन अगले चरणों को सक्षम करने में मदद करेगी। "

आप निम्नलिखित वीडियो में उपयोग में सिस्टम को देख और सुन सकते हैं।

स्रोत: वाशिंगटन विश्वविद्यालय

प्रणाली बराक ओबामा के भाषणों के घंटों पर प्रशिक्षित की गई है (क्रेडिट: माइकल.वॉर्ली)