یادداشت‌هایی درباره همزمان‌سازی لب با Rhubarb Lip Sync و Blender

مقدمه

• همزمان‌سازی لب سنتی از حجم صدا برای حرکت دادن دهان استفاده می‌کرد که دقیق نبود.
• Rhubarb Lip Sync نوشته دنیل اس. ولف: یک برنامه خط فرمان که زمان‌بندی‌های همزمان‌سازی لب را از صدا استخراج می‌کند.
• در بازی ۲۰۱۷ "Thimbleweed Park" توسط ران گیلبرت استفاده شد.

آشنایی با Rhubarb Lip Sync

1. دانلود و راه‌اندازی:

   • Rhubarb Lip Sync را دانلود و از حالت فشرده خارج کنید.
   • افزونه "Rhubarb Lip Sync for Blender" را دانلود و نصب کنید.
   • در Blender، مسیر اجرای Rhubarb را برای سیستم‌عامل خود تنظیم کنید.

2. ایجاد کتابخانه‌ی حرکات:

   • یک ریگ شخصیت را به Blender وارد و آن را انتخاب کنید.
   • به حالت Pose بروید و از تب MakeHuman runtime برای مشاهده شکل‌های دهان استفاده کنید.
   • Rhubarb نیاز به تنظیم یک کتابخانه‌ی حرکات برای همزمان‌سازی لب دارد.

3. ایجاد حرکات:

   • از UV/Image Editor برای مراجعه به تصویر شکل برای Rhubarb استفاده کنید.
   • استخوان‌ها را انتخاب و دستکاری کنید تا با شکل‌های مورد نیاز دهان مطابقت داشته باشد.
   • حرکات جدیدی برای هر شکل دهان (A, B, C و غیره) ایجاد کنید.
   • حرکات را به صورت کمتر اغراق‌آمیز و طبیعی‌تر تنظیم کنید.

استفاده از Rhubarb Lip Sync در Blender

• تخصیص حرکات: هر شکل دهان را به یک اسلات در Rhubarb اختصاص دهید.
• فایل‌های صدا و دیالوگ:
  • فایل‌های صوتی را برای همزمان‌سازی لب بارگذاری کنید.
  • توصیه می‌شود فایل‌های متن دیالوگ را نیز اضافه کنید، حتی اگر کاملاً با کلمات دقیق همخوانی نداشته باشد.

انیمیشن و ویرایش

• توالی‌گذاری:
  • ویرایشگر توالی ویدیو را برای شروع انیمیشن از یک فریم مشخص با صوت هماهنگ کنید.
  • فایل‌های صوتی را به ویرایشگر توالی Blender اضافه کنید.
• کلید‌ها و حرکات دهان:
  • Rhubarb به طور خودکار کلید‌هایی ایجاد می‌کند که دهان را حرکت می‌دهند.
  • از Graph Editor برای بهبود بیشتر استفاده کنید.
  • از interpolation و smoothing برای بهبود انتقال‌های بصری بین شکل‌های دهان استفاده کنید.

یادداشت‌های اضافی

• محدودیت‌ها:
  • همزمان‌سازی لب خودکار کامل نیست؛ نمی‌تواند صداهای بسته شدن دهان را به طور کامل بگیرد (مثل "ممم").
  • انسان‌ها بیشتر به چشم‌ها و حرکات توجه می‌کنند تا لب‌ها هنگام گوش دادن.
• انیمیشن کل:
  • انیمیشن کامل شخصیت (چشمک زدن، حرکات) همچنان بسیار مهم است.

نتیجه‌گیری

• Rhubarb Lip Sync روشی دقیق‌تر برای همزمان‌سازی لب در 3D ارائه می‌دهد.
• ترکیب روش‌های مختلف می‌تواند کیفیت انیمیشن را افزایش دهد.
• آموزش‌های اضافی برای کاوش بیشتر تکنیک‌های همزمان‌سازی لب در دسترس هستند.

توجه: دستورالعمل‌ها به منابع و ابزارهای اضافی اشاره داشتند که باید برای فهم کامل و کاربرد بررسی شوند.