עולם המוזיקה והטכנולוגיה ציינו בשבוע שעבר בשקט יחסי את תחילתה של מהפכה טכנולוגית שעתידה לשנות את האופן שבו אנחנו הולכים ליצור או לערוך את המוזיקה שלנו. האירוע עצמו התקיים באולם 'ברהמס' הידוע שבווינה, אוסטריה, שם עלתה לבמה תזמורת ה'סינקרון סטייג' אורקסטרה' (Synchron Stage Orchestra) יחד עם הסמארטפון החדש והמתקדם של Huawei שחובר לסינתיסייזרים. כך, אל מול מאות עיתונאים מרחבי העולם התנגנה לראשונה בלייב סימפוניית "צלילי האור" (Sound of Light) שהיא הראשונה בהיסטוריה שהולחנה (בערך) על ידי בינה מלאכותית.
המופע ציין את שיאו של פרויקט שאפתני ומאתגר במיוחד שהציבה לעצמה Huawei לפני חודשים רבים, בו ניסתה ללכוד את הצלילים שמפיק האור וליצור מהם יצירה אמנותית שלמה, על ידי שימוש בטכנולוגיית הבינה המלאכותית המתקדמת שהושקה בחודש שעבר יחד עם הסמארטפון חדש שלהם, ה-Mate Pro 20. כאילו שהמטרה לא הייתה מוגזמת בפני עצמה, בחרו בחברה להלחין לא פחות ולא יותר את אחת מתופעות הטבע המרהיבות ביותר שהאנושות מכירה - הזוהר הצפוני.
אז איך בעצם כל זה קורה?
קייטי סקוגלי, צייד הזוהר הצפוני, יצא אל נורבגיה וצילם במשך לילה שלם עם צוות צילום את מחול הזוהר הצפוני ממספר זוויות שונות. המראות המרהיבים חולקו לעשר קטגוריות שונות שנמדדו על פי עוצמת האור, התנועה שלו והקצב בו הוא נע והבינה המלאכותית של מייט פרו 20 אומנה על ידי המפתחים לזהות ולהפריד את הקטגוריות האלה מתוך הסרט השלם של הזוהר הצפוני, בערך כמו שאלגוריתם זיהוי פנים עובד.
הצילומים נשלחו למעבדת סאונד בניצוחו של מארק סייפריץ, אחד המלחינים הגדולים של ימינו, והוא נעזר בבינה המלאכותית של הטלפון כדי ליצור את הסימפוניה השלמה. בתחילה הלחין סייפריץ נעימה ייחודית לכל אחת מהקטגוריות, כשהוא שואב השראה מהצורה והקצב שבה האור נע ולאחר מכן לימד את הבינה המלאכותית לחבר בין כל קטגוריה ללחן שמתאים לה.
בשלב הסופי נוגן הסרטון המלא של הזוהר הצפוני והבינה המלאכותית קישרה בכוחות עצמה את הלחן המתאים לסוג האור שהוצג בפניה עד לכדי סימפוניה שלמה. התוצאה שהתקבלה כמובן לא הייתה מושלמת וסייפריץ היה צריך ללמד את המערכת איפה המעברים שלה היו לא מדויקים ובאילו מקטעים המוזיקה לא התאימה להרמוניה הכללית של כל היצירה. המערכת עשתה מספר התאמות ובכל דו-שיח שכזה למדה טוב יותר את ההעדפות של המלחין, שיפרה את הביצועים שלהולא חזרה על אותן טעויות שוב. ככל שהמלחין שיחק עם עם הבינה המלאכותית יותר, כך היא השביחה את היכולות ההרמוניות שלה. את היצירה הסופית עיבד לכדי סימפוניה ג'יימס שירמן (שאחראי בין היתר לפסקולים של יותר מ-70 סרטים, ביניהם "שייקספיר מאוהב", "טומב ריידר", "סינדרלה", "הארי פוטר וגביע האש" ועוד), שאיתה, כאמור הרימה לעצמה Huawei אירוע מרשים במיוחד.
"הבינה המלאכותית פתחה בפני מנעד גדול של אפשרויות יצירתיות. בשלב הבא, המערכת תחולל וריאציות שונות של המשפטים המוזיקליים שלי על סמך מה שהיא רואה" מסביר המלחין סייפריץ "כשהבינה המלאכותית מזהה תצוגת אורות דרמטית, היא מסוגלת לאפיין את הצלילים שישקפו את האינטנסיביות של הקומפוזיציה".
אבל איך כל זה משפיע עלינו? ובכן, בשלב הנוכחי זה לא. המצלמות של היום יודעות לעשות הרבה דברים עם התמונות והסרטונים שלנו - לטפל בבעיות של אור וצל, לזהות את הפנים שלנו ושל החברים שלנו ואפילו להסתיר את כל הפגמים הקטנים שאנחנו לא אוהבים כדי ליצור תמונה חלקה יותר, אבל מתישהו היא גם תדע לזהות מה מתרחש בסיטואציה ולהתאים לה את המוזיקה המתאימה ביותר, שלא לומר להלחין אחת כזאת מאפס.
כרגע הבינה המלאכותית של המכשיר משמשת בעיקר להארכת חיי הסוללה, צילום יעיל ואיכותי יותר ודיוק מירבי בנוגע למיקום ולא להתאמה מדויקת של מוזיקה לסרטונים השיכורים שאתם הולכים לצלם בסוף השבוע הקרוב ביציאה השבועית עם החברים, אבל אנחנו לגמרי צועדים לשם. הטכנולוגיה אמנם קיימת ומתפתחת בעוד אתם קוראים את הכתבה הזאת, היא יודעת לזהות תנועות, אור ומקצב, אבל חסר לה המרכיב החשוב ביותר שעוזר לנו ליצור את המוזיקה שלנו - רגשות.
למרות זאת, לא רחוק מאוד היום בו סטארטפיסט חכם ומתוקצב היטב יפנה אל אחד משירותי המוזיקה הגדולים בעולם וביחד הם יתפסו טרמפ על החדשנות ויעזרו בה בדיוק בשביל המטרה הזאת. להם יש את כל המוזיקה שבעולם, ולנו יש מיליוני סרטונים שרק מחכים שמישהו ידביק להם מוזיקת רקע מתאימה.
הכותב היה אורח של חברת Huawei באירוע ההשקה בווינה.