גם שאולי בפנים: המודל החדש של אילבן לאבס הופך קטעים אייקונים מעברית לאנגלית

בסוף חודש מאי הציגה אילבן לאבס, אחת מחברות ה-AI המתקדמות ביותר, מודל חדש לדיבוב סאונד מבלי לאבד את ה"קול" וה"רגש" של הבן אדם. המודל הנקרא Dubbing v2. בשונה ממערכות דיבוב מסורתיות שנשענות בעיקר על תמלילים ויוצרות לעתים קרובות סאונד "שטחי" שמאבד מהדקויות של דיבור אנושי, מודל זה מבוסס ישירות על הביצוע המקורי. על פי החברה יכולת זו מאפשרת לו לשמר את הרגש, קצב הדיבור, האינטונציה וכוונת הדובר המקורית על פני יותר מ-90 שפות, כולל עברית, ובכך לפתור את האתגר של לגרום לדיבור מתורגם להישמע טבעי וכאילו האדם המקורי באמת אמר אותו.

מעבר לתרגום ישיר, המודל בנוי במיוחד כדי לספק דיבור טבעי רב-לשוני. מכיוון ששפות שונות דורשות ניסוח, מקצב ומבנה משפטים שונים, Dubbing v2 כולל מערכת תרגום חכמה שמתאימה את עצמה לדיבור תוך שמירה על סנכרון עם התוכן המקורי. המערכת מיישרת באופן אוטומטי את זמני ההתחלה, הסיום והקצב, מה שמפחית משמעותית את הצורך בהתאמות ידניות ומאפשר לשחזר דקויות שקשה להפיק מטקסט בלבד.

הפיתוח החדש הופך דיבוב באיכות גבוהה לנגיש ופשוט הרבה יותר, וחוסך תהליכי הפקה יקרים ומורכבים שדורשים מתרגמים, מדבבים ומהנדסי קול. יוצרי תוכן יכולים כעת להגיע לקהל עולמי בלחיצת כפתור אחת דרך פלטפורמת ElevenCreative, מבלי לאבד את האישיות וסגנון ההגשה המקוריים. בנוסף, אנשי שיווק יכולים להתאים קמפיינים לשווקים בין-לאומיים תוך שמירה על ההשפעה הרגשית המקורית, בעוד שאולפנים וגופי שידור יכולים לשלב את המודל בתהליכי עבודה מקצועיים ורחבי-היקף באמצעות ElevenProductions.

אם נכנסתם ל-X (טוויטר לשעבר) אולי נתקלתם בכמה דוגמאות משעשעות שעלו לרשת. היוזר @dubi_ya הספיק כבר לנסות לדובב מעברית לאנגלית את הקטע האלמותי "מלחמת אזרחים", שבו נראית הדמות שאולי של אסי כהן, מסביר למה ישראל חייבת מלחמת אזרחים - אבל הפעם באנגלית. למרות שזה לא מושלם, זה בהחלט לא רע.

בנוסף הוא דובב לעברית את הקטע המוכר ביותר מסרטו של קוונטין טרנטינו "ספרות זולה". בסרטון נראה סמואל ל. ג'קסון עושה את המונולוג המוכר שלו, אבל הפעם בעברית. כפי שניתן לראות בקטע, זה רחוק מאוד מלהיות מושלם והעברית לא באמת יושבת כמו שצריך - אבל יש משהו מאוד משעשע בלשמוע את ג'קסון מדבר עברית באותה אנרגיה.

עוד דוגמה שעלתה בשרשור היא קטע מהסדרה "שובר שורות", בה וולטר וויט אומר לאשתו כי "הוא לא סכנה, אלא הוא הסכנה". גם הפעם העברית לא מושלמת - אבל בהחלט מצחיקה.

אבל הבעיה הגדולה, כמו בכל כלי AI, היא המחיר. אם תנסו להתחבר תגלו שאילבן לבס מאפשרת לכם לנסות את הדקה הראשונה חינם אבל מעבר לזה - אתם תצטרכו לשלם ולא מעט. לאילבן לאבס ישנם כמה סוגים של מינויים: חינם (שלא כולל את אפשרות הדיבוב המדוברת), "מתחילים" (6 דולר לחודש שמספקים 30K קרדיטים בחודש), "יוצרים" (בעלות של 22 דולר לחודש שמספקים 121K קרדיטים בחודש) ולבסוף "פרו" (שעולה 99 דולר ומספק 600K קרדיטים חודשיים). באתר תמצאו גם סוג של מחשבון שמייעץ איזה מינוי אתם צריכים לפי סוג המוצר וכמות הדקות החודשיות שאתם רוצים לצרוך.

כעת נותרת השאלה כמה מהר גולשים בישראל יהפכו את הכלי לוויראלי עם קטעים אייקונים שיקבלו גרסה בעברית או כאלה ישראלים שיהפכו פתאום לאנגלית.