رفتن به محتوا
AI Forwardپیشرفت سازمان با هوش مصنوعی
خانهپروژه‌های بهبودتبلیغات و رسانه

تبدیل صوت به متن، زیرنویس و پیشنهاد برش ویدئو

P16

محتواشبکه‌های اجتماعیویدئو

برنامه شروع

تدوینگر، رونوشت و زیرنویس زمان‌دار و برش‌های پیشنهادی قابل بازبینی بگیرد.

قدم اول

پنج قطعه مجاز و واژه‌نامه نام‌ها را آماده کنید؛ یک قطعه را دستی زمان‌گذاری و تنظیم مدل و سخت‌افزار مقایسه را ثابت کنید.

ساخت پیش‌نویس کار
مسئول پیشنهادی
مدیر ویدئو و تدوینگر مسئول
معیار نتیجه
نام‌ها و اعداد بازبینی شوند، منظور گوینده حفظ و زیرنویس روی موبایل خوانا باشد؛ زمان کل تدوین کمتر شود.

ورودی‌های لازم

  • پنج فایل صوت یا ویدئوی مجاز
  • متن مرجع و واژه‌نامه فارسی
  • قالب زیرنویس و تنظیم زمان‌گذاری

کمک هوش مصنوعی: گفتار را به متن زمان‌دار تبدیل و بخش‌های مناسب بررسی را پیشنهاد کند؛ انتخاب برش و تأیید متن با تدوینگر باشد.

روش آزمون و ابزارها

مقایسه با روش فعلی

پیاده‌سازی و زیرنویس دستی روی فایل مجاز، همراه واژه‌نامه و timecode؛ برش و خروجی فنی با ابزار قطعی انجام شود. مسیر ASR باید در برابر زمان کل همین روش سنجیده شود.

نمونه آزمون

پیشنهاد: پنج قطعه فارسی ۳ تا ۵ دقیقه‌ای در پنج وضعیت موجود؛ دو قطعه برای تنظیم، سه قطعه نگه‌داشته‌شده. یک فایل طولانی‌تر فقط پس از عبور مرحله اول برای بررسی افت زمان‌گذاری اضافه شود؛ این طرح هنوز اجرا نشده است.

  • WER/CER خام و پس از یکسان‌سازی مستند ی/ک، رقم و نیم‌فاصله؛ هر دو عدد حفظ شوند
  • تعداد خطای نام و رقم حساس و تعداد جمله ساخته‌شده در سکوت یا نسبت داده‌شده به گوینده نادرست
  • خطای شروع/پایان زیرنویس و تعداد قطعات ناخوانا یا خارج از زمینه
  • دقیقه تصحیح هر دقیقه صوت و زمان کل تا فایل پذیرفته‌شده، با مشخصات میزبان و وزن
  • درصد برش‌های پذیرفته‌شده با تأیید معنایی تدوینگر؛ این شاخص معادل بازدید یا فروش نیست

معیار پیشنهادی پذیرش

پیشنهاد: همه نام‌ها و اعداد حساس خروجی نهایی به‌صورت انسانی تأیید شوند، هیچ برش تغییر‌دهنده معنا پذیرفته نشود و زمان کل زیرنویس نسبت به روش دستی کمتر باشد. آستانه زمان‌گذاری و خوانایی را تدوینگر پیش از ارزیابی نهایی تصویب کند.

ابزارهای مرتبط

  • faster-whisper — ASR و زمان‌گذاری پیشنهادی
  • FFmpeg — استخراج صوت و بسته‌بندی زیرنویس/برش

منابع فنی

منابع این پیشنهاد: RS09 · RS10 · RS21

جزئیات پروژه و منابع
محصول / سامانه هدف

ایران ریبیت، کدام بروکر، Flow Meet

زمان کاری برآوردشده برای آزمون اولیه

۱–۳ هفته کار یک نفر

نقش پاسخ‌گو

مدیر ویدئو / تدوین‌گر مسئول

پیش‌نویس کار

این پروژه چه کمکی به کار روزانه می‌کند؟

یک مثال فرضی: تدوینگر یک ویدئوی فارسی دارد که در آن نام بروکرها انگلیسی گفته می‌شود. ابزار صدا را به متن تبدیل می‌کنیم و زمان هر بخش را کنار متن می‌آوریم. و زیرنویس اولیه می‌سازد.

برای شروع، چه چیزی آماده می‌شود؟

فایل زیرنویس قابل ویرایش و سه پیشنهاد برش می‌دهد؛ مثلاً «از دقیقه ۲ تا ۳: توضیح کامل مراحل ثبت‌نام».

در مرحله بعد، چه می‌توان اضافه کرد؟

بعداً می‌توان در ویدئوهای قبلی دنبال «آموزش برداشت» گشت و بخش تأییدشده را دوباره استفاده کرد.

تدوینگر باید نام‌ها، رقم‌ها و هماهنگی زمان زیرنویس با صدا را بازبینی کند.

مراحل پیشنهادی کار

  1. مرحله ۱

    فایل مجاز

    فایلی را دریافت می‌کنیم که اجازه استفاده از آن را داریم.

  2. مرحله ۲

    صدا را به متن تبدیل می‌کنیم و زمان هر بخش را کنار متن می‌آوریم.

    صدا را به متن تبدیل می‌کنیم و زمان هر بخش را کنار متن می‌آوریم.

  3. مرحله ۳

    اصلاح نام و عدد

    اصطلاح‌ها، نام‌ها و عددهای فارسی را بازبینی و اصلاح می‌کنیم.

  4. مرحله ۴

    پیشنهاد برش

    دستیار بخش‌های مناسب برش را همراه متن قبل و بعد پیشنهاد می‌دهد تا منظور گوینده عوض نشود.

  5. مرحله ۵

    انتخاب تدوین‌گر

    تدوین‌گر برش‌های مناسب را انتخاب می‌کند.

  6. مرحله ۶

    آماده‌کردن فایل با قالب مشخص

    برنامه فایل زیرنویس و خروجی را در قالب مورد نظر می‌سازد؛ خروجی پیش از انتشار بررسی می‌شود.

زمان، درستی خروجی و فایده کار را بسنجیم

۱. زمان و هزینه انجام کار

ساعت logging و زیرنویس هر ساعت ویدئو

۲. کیفیت و اعتبار

خطای کلمه/عدد و برش خارج از زمینه

۳. فایده و نتیجه اقتصادی

زمان تا انتشار و بازدید/تبدیل معنادار بسته، با کنترل کیفیت

توضیحات بیشتر برای اجرا و بررسی نتیجه

این کار کجا ثبت می‌شود؟

تیمیک: کار ویدئو با شناسه فایل امن، زمان دقیق بخش ویدئو و نسخه؛ فایل خام در مخزن رسانه فعلی

هر مرحله را چه کسی انجام می‌دهد و به چه کسی تحویل می‌دهد؟
هر فرد چه کاری انجام می‌دهد؟
  1. ۱

    تیم محتوا، درستی جمله‌ها را بررسی می‌کند

  2. ۲

    تدوین‌گر، برش‌ها را طوری انتخاب می‌کند که معنی عوض نشود

  3. ۳

    مسئول شبکه‌های اجتماعی، قالب و اندازه تصویر را بررسی می‌کند

  4. ۴

    مسئول انتشار، نسخه نهایی را تأیید می‌کند.

تیم محتوا، درستی جمله‌ها را بررسی می‌کند ← تدوین‌گر، برش‌ها را طوری انتخاب می‌کند که معنی عوض نشود ← مسئول شبکه‌های اجتماعی، قالب و اندازه تصویر را بررسی می‌کند ← مسئول انتشار، نسخه نهایی را تأیید می‌کند.

از کجا بفهمیم آزمون اولیه موفق بوده است؟

۵ فایل فارسی با صوت متنوع؛ همه اعداد مالی و نام‌ها دستی بررسی؛ خوانایی زیرنویس روی موبایل تأیید شود.

چه زمانی باید کار را متوقف کنیم؟
شرط توقف در این پروژه

شبیه‌سازی چهره/صدا بدون رضایت یا تبدیل اظهارنظر مشروط به توصیه قطعی مجاز نباشد.

ابزارها و منابع 4 مورد توضیح مفاهیم این حوزه
چه کارهای دیگری می‌توان به این پروژه اضافه کرد؟ 2 مورد
  • واژه‌نامه نام و اصطلاح

    اسم بروکر، محصول و عددهای حساس برای بازبینی زیرنویس علامت بخورند.

  • جست‌وجوی آرشیو

    بخش زمان‌دار تأییدشده با موضوع و منبع قابل یافتن شود.

بسته‌های کاری ایران‌ریبیت و کدام بروکر

جزئیات هر کار و معیار نمونه اول در همین پروژه قرار دارد.

زیرنویس و برش اولیه ویدئوهای آموزشیایران‌ریبیت و کدام بروکر

زیرنویس و برش اولیه ویدئوهای آموزشی

متداول
ورودی
فایل صوت یا ویدئو و واژه‌نامه نام نهادها
خروجی و نقش هوش مصنوعی
صدا را به متن تبدیل می‌کنیم و زمان هر بخش را کنار متن می‌آوریم. و پیشنهاد برش؛ تدوین‌گر عدد، نام و نقطه برش را تأیید کند.
مسئول تحویل
ویدئو + محتوا
نمونه اول و سنجش
۵ فایل متفاوت؛ زمان تصحیح هر دقیقه و خطای نام و عدد سنجیده شود.

منبع روش پیشنهادی: RS09

برای شروع چه لازم است و بعد چه می‌کنیم؟

چه چیزهایی باید آماده باشد؟

این موارد باید از پروژه‌های مرتبط آماده شوند؛ کامل‌شدن همه امکانات آن پروژه‌ها لازم نیست.

  • P18؛ دیدن پروژه مرتبط

    فایل‌های برند، مثل لوگو و قالب، با نسخه تأییدشده و شرایط استفاده در دسترس باشند.

مراحل پیشنهادی اجرا و توسعه

این مراحل برنامه پیشنهادی‌اند؛ انجام‌شدن آن‌ها هنوز تأیید نشده است.

  1. مرحله ۱تهیه متن

    صدای یک ویدئو را به صدا را به متن تبدیل می‌کنیم و زمان هر بخش را کنار متن می‌آوریم. تبدیل و نام‌ها را تصحیح کنید.

  2. مرحله ۲ساخت زیرنویس

    زمان نمایش جمله‌ها را با صدا تطبیق دهید.

  3. مرحله ۳پیشنهاد برش و جست‌وجو

    بخش‌های قابل انتشار را پیشنهاد دهید و بعد جست‌وجو در ویدئوهای تأییدشده را اضافه کنید.