زومیت/ شرکت Flawless از فناوری دیپ‌فیک برای همگام‌سازی لب‌های بازیگران با زبان دوبله مقصد استفاده می‌کند.

سالانه فیلم‌هایی بسیار زیادی در سراسر جهان تولید می‌شوند که گاهی از میان آن‌ها آثار بی‌نظیری به دنیای سینما وارد می‌شوند که توجه همه دوستداران هنر را به خود جلب می‌کنند؛ اما زبان‌های خارجی زیادی وجود دارند که تعداد کمی از انسان‌ها به آن‌ها مسلط هستند و به همین دلیل، زیرنویس و دوبله وارد عمل می‌شوند.

به گزارش گیزمودو، در این میان، عده‌ای هستند که زیرنویس را یکی از عوامل حواس‌پرتی هنگام تماشای فیلم می‌دانند و به همین دلیل، به سمت آثار دوبله می‌روند تا بتوانند با خیال راحت و تمرکز بالا آن را نگاه کنند؛ اما دوبله نیز می‌تواند باعث حواس‌پرتی شود. هنگامی که حرکات لب یک بازیگر کاملاً با آنچه می‌گوید هماهنگ نباشد، چنین مشکلی پیش می‌آید؛ بنابراین شرکتی به نام Flawless یک راه‌ حل مبتنی بر هوش مصنوعی خلق کرده است که می‌تواند این مسئله را حل کند. در این روش، عملکرد چهره یک بازیگر با نمونه‌ای که با زبان مقصد تطابق دارد جایگزین می‌شود تا حرکات لب کاملا شبیه حالتی باشند که کلمات در آن زبان بیان می‌شوند.

دلایل بسیار خوبی برای نگرانی در مورد استفاده از هوش مصنوعی و ابزارهای شبکه عصبی برای دست‌کاری عکس‌ها و ویدئوها وجود دارد. این فناوری به قدری قدرتمند است که می‌توان به کمک آن موقعیت‌هایی ایجاد کرد که واقعاً اتفاق نیفتاده‌اند یا ویدئویی از سخنرانی شخصیتی معروف درست کرد که حتی یک کلمه از حرف‌های گفته‌شده صحیح نباشد. برای مثال مدتی پیش دیپ‌فیک شخصیت‌هایی مانند باراک اوباما، تام کروز و دونالد ترامپ در فضای مجازی منتشر شد که توجه افرادی بسیاری را به خود جلب کرد؛ اما این ابراز دارای پتانسیل هیجان‌انگیزی برای مصارف دیگر است. برای مثال با استفاده از دیپ فیک می‌توان هزینه ساخت فیلم‌ها را کاهش داد.

نگرانی‌های کنونی مانند زمانی است که گرافیک رایانه پیشرفت کرد و به لطف آن فیلم‌هایی مانند نابودگر ۲ و پارک ژوراسیک ساخته شد. این فناوری جدید جلوه‌های بصری واقع‌بینانه‌ای به مخاطبان نشان داد که تابه‌حال ندیده بودند و همین مسئله باعث شد علاوه‌ بر هیجان‌زده شدن، نگران شوند؛ اما پیشرفت به همین‌جا ختم نشد و تا جایی ادامه پیدا کرد که اکنون هر فرد آماتوری می‌تواند در خانه خود، با داشتن یک تلفن هوشمند و یک لپ‌تاپ، بدون نیاز به بودجه بالا، جلوه‌های ویژه‌ای در سطح هالیوود خلق کند. می‌توانید همین حالا با جستجو در یوتیوب بعضی از نمونه‌های تولیدشده توسط افراد مختلف را مشاهده کنید.

استفاده از این ابزارها نیز به لطف پیشرفت‌های مداوم در پردازش تصویر با استفاده از هوش مصنوعی، آسان‌تر شده است. پاک کردن اشیاء در یک ویدئو کلیپ، زمانی یک فرایند بسیار وقت‌گیر بود که نیاز به کارهای پیچیده و تنظیمات فریم به فریم داشت؛ اما اکنون حذف این موارد یک ویژگی استاندارد و خودکار در ادوبی افتر افکت است.

کاری که Flawless وعده داده با نرم‌افزار TrueSync خود انجام بدهد، این است که از همان ابزارهایی که مسئول تولید ویدئوهای دیپ فیک هستند برای دست‌کاری و تنظیم چهره بازیگران در فیلم استفاده کند تا حرکات دهان و ماهیچه‌های صورت آن‌ها با زبان مقصد تطابق بیشتری داشته باشد؛ بنابراین اگر فیلمی برای مثال به زبان انگلیسی ساخته ‌شود و تماشاچیان در برلین آن را به زبان آلمانی تماشا ‌کنند، با استفاده از این فناوری به نظر می‌رسد همه بازیگران آلمانی صحبت می‌کنند.

اما آیا واقعا این کار لازم است؟ این مسئله‌ای است که باید روی آن بیشتر بحث شود. انگل (Parasite)، فیلم کره‌ای برنده جایزه اسکار ۲۰۱۹، بار دیگر مسئله دوبله یا زیرنویس برای یک فیلم خارجی را زنده کرد. بونگ جون هو، کارگردان این فیلم، هنگام دریافت جایزه گفت اگر زیرنویس را به فیلم‌های خارجی اضافه کنید، می‌توانید به طیف وسیعی از آثار دنیا دسترسی داشته باشید.

عده‌ای معتقدند بودن متنی زیر فیلم که به‌سرعت جای خود را با متن دیگری عوض می‌کند، باعث حواس‌پرتی مخاطبان می‌شود. برخی نیز بر این باورند که هیچ‌وقت گوینده نمی‌تواند احساس آن لحظه بازیگر را با صدای خود منتقل کند و برای لذت بردن کامل از یک فیلم باید همه بخش‌های آن به مخاطب منتقل شوند.

توسعه‌دهندگان Flawless می‌گویند:

در قلب این سیستم، موتوری برای حفظ عملکرد وجود دارد که تمام ظرافت‌ها و احساسات بازیگر را حفظ می‌کند.
بنابراین با وجود جایگزینی چهره بازیگر، عملکرد ظریف اولیه آن‌ها حفظ و به‌صورت «ثابت» منتقل می‌شود. این یعنی حرکات لب صحیح است و تمام جزئیات صورت به‌درستی سر جای خود قرار دارند. این شرکت چند نمونه از آنچه ابزار TrueSync قادر به انجام آن است، در وب‌سایت خود به اشتراک گذاشته است. با تماشای این ویدئوها به نظر می‌رسد تام هنکس در فارست گامپ به زبان ژاپنی صحبت می‌کند؛ آن‌ هم بدون اینکه تپق بزند.

اما باید به یک مسئله اشاره کرد. درست است که این فناوری می‌تواند لب‌های بازیگر را کاملا با جملاتی به زبان دیگر هماهنگ کند؛ اما انگار مشکلی در نتیجه آن وجود دارد که باعث می‌شود تصویر نهایی کمی مصنوعی به نظر برسد. فیلم‌های خروجی مانند اجراهای اولیه طبیعی به نظر نمی‌رسند که احتمالا دلیلش این است که فناوری پشت TrueSync هنوز در مراحل ابتدایی خود قرار دارد. حتی شرکت‌هایی مانند دیزنی نیز در تلاش هستند کیفیت دیپ فیک را ارتقا بدهند تا بتوانند کیفیت آثار خود را بهتر کنند.

سؤال بزرگ‌تر این است که آیا راه‌ حل جدید Flawless بیشتر حواس مخاطب را نسبت به دوبله و زیرنویس پرت نمی‌کند؟ باید این موارد بررسی شوند. در نهایت باید محاسبه شود آیا زحمتی که برای دوباره طراحی کردن لب‌های بازیگران برای هر فیلم کشیده می‌شود، منطقی و ضروری است؟

نظر شما درباره ابزار TrueSync و نتیجه نهایی آن چیست؟ به نظر شما انجام چنین کاری برای همگام‌سازی لب‌های بازیگران با دوبله لازم است؟

در کانال آی‌تی و ™CanaleIT هم کلی عکس و ویدئوی دسته اول و جذاب داریم