מהנדסות ומהנדסים בגוגל ישראל יזמו פיתוחים חדשים המיועדים לעזור לאנשים עם מוגבלויות להשתמש בסמארטפון, והציגו אותם בשבוע שעבר באירוע המפתחים גוגל IO. היום (ד') ערכה גוגל ישראל מפגש של עיתונאים עם יוסי מטיאס, מנהל מרכז המחקר והפיתוח של גוגל בישראל, ועם קבוצת מהנדסים שהיו אחראים על הפיתוחים הללו.
לדברי מטיאס, היוזמות האלה הן חלק מפרויקט AI for Social Good של גוגל, שבמסגרתו החברה מנסה להתמודד עם אתגרים חברתיים. הנה כמה מהפיתוחים החדשים.
Live Relay: מערכת שמאפשרת לאנשים עם לקות שמיעה לקיים שיחות טלפון ללא עזרה של אדם אחר. בעל הלקות יכול להקליד טקסט, והמילים יוקראו לבן שיחו. במקביל, הקולות מהעבר השני של הקו יתומללו ויופיעו כטקסט. "כך, שני הצדדים מתקשרים - אחד בטקסט והאחר בקול", אומרת ספיר כדורי, מהנדסת בגוגל ישראל שחשבה על הרעיון המקורי והובילה את הפיתוח.
הרעיון צץ לאחר שגוגל השיקה בשנה שעברה פיצ'ר של סינון שיחות בשם Call Screen, שאף הוא פותח בישראל. כאשר משתמש של סמארטפון מסוג פיקסל (מכשיר שמפותח ומשווק על ידי גוגל) בארה"ב מקבל שיחה שחשודה כספאם או כשיחת מכירות, הוא יכול להפעיל את סינון השיחה. המערכת, המתפקדת כמו מזכירה אלקטרונית אוטומטית, משיבה במקומו לשיחה, מתמללת אותה אוטומטית לטקסט וכך המשתמש יכול להחליט להשיב או לחסום את השיחה בלי לדבר בעצמו עם המתקשר.
כדורי, שעבדה לפני כן בפיתוח פתרונות לאנשים עם מוגבלויות וגם התנדבה בארגון TOM (שעוסק בפתרונות לבעלי מוגבלויות), החליטה לקחת את הרעיון שלב אחד הלאה ולבסס עליו את הפיצ'ר של לייב ריליי - המאפשר לעשות אותו דבר עבור חירשים. עיבוד השיחה וזיהויה נעשה באופן מקומי על הטלפון, ולא באמצעות שליחת המידע לשרתי גוגל. המוצר יושק, לדבריה, כשיהיה מוכן - ויתמוך במכשירי פיקסל מהשנים האחרונות.
Live Caption: משתמשים עם לקות שמיעה יוכלו להפעיל כתוביות תרגום אוטומטיות שיופיעו על גבי כל סרטון או קובץ קולי שמופעלים על מכשיר הפיקסל שלהם. הפיצ'ר יופיע בגרסת האנדרואיד Q הבאה. "לאנשים עם מוגבלות אין דרך נוחה לצפות ולהאזין לסרטונים שנשלחו אליהם, למשל מהמשפחה. באמצעות זיהוי דיבור, המוצר הזה מייצר כתוביות תרגום בזמן אמת של האודיו בטלפון", אומר מטיאס.
מיכל רמנוביץ, מתכנתת בגוגל ישראל שיזמה והובילה את הפרויקט, מספרת שגם הוא מבוסס על הפיצ'ר Call Screen. "פיתחנו בו מיומנויות כיצד להריץ מודלים של זיהוי דיבור באופן מקומי על המכשיר, והרחבנו את זה גם כדי ליצור כתוביות תרגום אוטומטיות בזמן אמת בטלפון", היא אומרת. לדבריה, הצוות פועל כדי להביא את הטכנולוגיה הזו גם לשפה העברית.
Project Euphonia: פרויקט מחקרי שמאפשר למערכת זיהוי הדיבור לזהות היטב גם אנשים עם מוגבלויות שהדיבור שלהם אינו מובן – למשל אנשים עם לקות שמיעה או אנשים שסובלים מ-ALS. דותן עמנואל מצוות המחקר של גוגל בישראל אומר שהעבודה על הפרויקט החלה לפני מעל שנה, לאחר פגישה עם חולה ה-ALS שי ראשוני. "מערכות זיהוי דיבור מתקשות לזהות דיבור לא סטנדרטי. אבל בני משפחה וחברים דווקא כן מבינים אותם", אומר עמנואל.
עוד ב-TheMarker
"הרסה לי את החיים - אבל אי אפשר בלעדיה": התוכנות שגורמות לבזבוז זמן בעבודה
אישור FDA שני לסטארט-אפ אידוק הישראלי: יאתר מצבי חירום של תסחיף ריאתי
"חשבנו שאם הם מסוגלים ללמוד והמוח שלהם מתאים את עצמו - בוא נבדוק אם אפשר לאמן את המודלים שלנו גם כן כדי להבין את הדיבור הזה. אספנו הקלטות של החולים ויצרנו מודלים אישיים כדי לעזור לאנשים באופן ספציפי".