הילד קיבל הודעה מעליבה בוואטסאפ? הבוט AI יתריע להורים

בשנים האחרונות תופעת החרמות של ילדים, לצד תופעה קשה של התאבדויות, עלו לכותרות בישראל. קבוצות הוואטסאפ והרשתות החברתיות רק מעצימות את התופעה שהייתה קיימת תמיד, ומאפשרות למשל לפתוח קבוצה בלי אחד הילדים ולעסוק בו, או להוציא ילדים מקבוצה קיימת.

ניסו מזוז, יזם ומהנדס תוכנה בן 37, הוא אבא ל-3 ילדים – הגדול בן 8, האמצעית בת 6 והקטנה בת שנתיים. באוגוסט האחרון, רגע לפני שעלה לכיתה ג', הבכור שלו, סהר, קיבל את הסמארטפון הראשון שלו.

"אחרי כמה זמן התקנו לו וואסטאפ, לכל החברים שלו יש וואטסאפ. יש לנו גישה לטלפון שלו בגיל הזה, אז יום אחד אשתי עברה על השיחות בטלפון שלו, וראתה הודעה מעליבה שהוא קיבל מאחד החברים בשכבה", מספר מזוז ל-mako.

"מאותה נקודה אמרתי שצריך למצוא לזה פתרון אוטומטי. בגיל 8 זה עוד יחסית קל, יש לך גישה לילד בכל זמן נתון וכמות התוכן שהוא מקבל לא כזאת גדולה. ככל שהגיל עולה, זה הופך יותר מסובך. יש גם הודעות קוליות, קבוצות, סטיקרים ועוד".

תוך סוף שבוע אחד הוא פיתח פיילוט של המיזם שנקרא safy, בוט מבוסס AI שיודע לנתח ולנטר תוכן פוגעני בוואטסאפ של הילד. הוא יודע לזהות דפוסים ותכנים חריגים ולהתריע להורה במידת הצורך, וכל זה ללא צורך לחדור לפרטיות של הילד מטעם ההורה.

פוסט שפרסם בלינקדאין בנושא והתפוצץ, הבהיר לו שיש ביקוש למוצר. "הפוסט הפך להיות פוסט ויראלי בטירוף, אנשים רצו להשתמש בזה, אבל זה היה טכני מדי. החלטתי שאני הולך לייצר מוצר כזה", אומר מזוז.

מזוז חבר למרטין סבג, ממייסדי עמותת custom angels, קבוצה של אופנוענים ואופנועניות שעוזרת לילדים שעברו חרמות, והשניים עובדים בשלושת החודשים האחרונים על הפרויקט, במקביל לעבודתם.

עד כה בגרסת הבטא מתנסים כבר עשרות משתמשים, שעוזרים לפתח את המוצר. כרגע הוא חינמי, ומאפשר ניתוח של עד 100 הודעות ביום.

איך זה עובד?

המוצר מתחלק לשניים: גרסת לייט, אפליקציית למחשב, וגרסת פרו שכוללת קופסה פיזית, שעליה נשמר המידע. "גרסת הלייט היא בעצם אפליקציה למחשב. כשאתה מתקין אותה, אתה ממלא את הפרטים שלך, הטלפון של ההורה, הפרטים של הילד, וכדי להסתנכרן עם הוואטסאפ של הילד, צריך לסרוק קוד QR", מסביר מזוז.

"עושים את זה דרך הטלפון של הילד, נכנסים להגדרות ובוחרים 'מכשירים מקושרים'. זאת בדיוק סימולציה של וואטסאפ ווב, ומאותו רגע כל הודעה שהילד מקבל מסונכרנת באופן אוטומטי. החיסרון שזה לא עובד כשהמחשב מכובה או כשאין חיבור לאינטרנט".

הגרסה השנייה מצריכה את Safy-Box, מחשב ביתי קטן שמתחבר לרשת ומוודא שהניטור פועל 24/7, בלי שהמידע האישי יוצא מהבית - כלומר הוא לא נמצא בענן או בשרתים חיצוניים, אלא נשמר על גבי כרטיס הזיכרון.

"גרסת הפרו היא בעצם מחשב קטן, שמחברים אותו בבית לרשת האינטרנט, רץ 24/7, בעצם מבצע את אותו תהליך, עם קוד QR ומנטר.

"גרסת הפרו יודעת לייצר סיכומי AI של תוכן השיחות של הילד, אם אתה רוצה לדעת למשל מה קורה בקבוצה מסוימת שהילד משויך אליה. מדי ערב נשלח להורה סיכום יומי על הפעילות בוואטסאפ של הילד באותו יום – כמה הודעות הוא שלח, עם מי הוא דיבר, באיזה שעות. אפשר גם לראות פעולות כמו הוצאה של הילד מקבוצות וואטסאפ, וזה יכול להיות אינדיקטור חשוב למקרה של חרמות - אם מוציאים בבת אחת ילד מכמה קבוצות. אפשר גם לראות כמה הילד פעיל בוואטסאפ, ולהשוות. אם פתאום הפעילות שלו יורדת באופן ניכר – זה גם יכול להיות סימן מחשיד.

"המטרה היא לתפוס את הסימנים האלו כמה שיותר מוקדם ולהתריע להורה. דברים כאלה קשה לראות אותם, כשאתה סתם נכנס לוואטסאפ של הילד. אלו תובנות שצריך לאסוף אותם. המערכת יודעת לנתח כרגע טקסט, הודעות קול ותמונות, עדיין לא וידיאו".

לאיזה גילאים של ילדים סייפי מתאים?

"בגדול ככל שהגיל עולה, כך ההתנגדות גדלה מן הסתם. בסוף לילדים יש את המרחב האישי שלהם, לא רוצים שיחדרו להם לתוכן. זה אחד היתרונות במוצר הזה, שהוא לא חודר לפרטיות באופן ישיר. ההורה לא קורא את התוכן של ההודעות, אלא רק ברגע שקיים חשש לתוכן פוגעני, חשש להעלבה או הדרה חברתית, שיכולים לפגוע בילד, הוא מתריע להם. גם בקבוצות שהילד נמצא בהם, כשיש שיח לא הולם, ההורה מקבל התראה ובוחר מה לעשות איתה".

ההתרעה, כך מבהיר מזוז, לא מראה את כל השיחה, אלא את ההודעה הספציפית הבעייתית. יחד עם זאת, ההורה לא יראה ממי היא נכתבה. "פשוט נותנים אינדיקציה, שמשהו קרה וזה דורש טיפול".

מזוז מסביר שהמטרה של סייפי, מעבר לניטור הודעות בעייתיות, היא גם לתת תמונת מצב על הילד. "העולם הדיגיטלי הוא עולם מקביל שהילדים שלנו חיים בו, ואנחנו לא באמת חשופים למה שקורה שם. קשה להבין את מצב הילד, מה קורה איתו, בלי לדעת מה קורה בוואטסאפ.

"לצורך העניין, כשהיום מתקינים את האפליקציה על המחשב, המערכת מסנכרנת את כל המידע מהוואטסאפ ומציגה להורה מפה של הקשרים החברתיים של הילד – עם מי הוא מדבר הכי הרבה, באיזה שעות הוא מדבר, באיזה קבוצות הוא נמצא, כדי להבין איפה הילד ממוקם מבחינה חברתית".

אין פה חדירה לפרטיות שלו?

"תלוי איך את מגדירה חדירה לפרטיות. כשהילד מדבר בשעות הלילה, זה יכול להיות אינדיקציה למשהו לא בסדר, או שפתאום מספר חדש התחיל לדבר איתו, שלא היה לו, ואנחנו יודעים לבוא ולהתריע על זה. אני לא רוצה לאפשר להורה להיכנס ממש לתוכן השיחות, אבל כן לתת לו אינדיקטורים. בסופו של דבר, סייפי לא אמור להיות כלי מעקב וריגול, אלא כלי בהסכמה עם הילד. ההורה לא נכנס למרחב האישי שלו, אבל כן נשאר מעודכן. זה צריך להיות בהסכמה".

מזוז מדגיש שסייפי מיועד אך ורק להורים, ומטרתו היחידה היא זיהוי תוכן פוגעני ואלים בשיחות של ילדים. "הוא לא מאפשר גישה להודעות, לא מאפשר לנהל את הטלפון מרחוק, ולא מאפשר להשתמש בו ככלי מעקב. גם מי שממש רוצה לעקוב אחרי בן/בת זוג יכול לעשות זאת מזמן דרך וואטסאפ ווב - אבל זה לא מה שאנחנו עושים".

האם סייפי בוקס עוזרת גם למנוע מתקפות סייבר?

"לא באופן ישיר. המערכת לא נועדה להיות אנטי-וירוס. אבל היא כן יודעת לזהות ניסיונות הונאה, בקשת מידע, קישורים חשודים ושינויים בהתנהגות - ולכן יש לה השפעה עקיפה על מניעת סיכונים".

בנוגע לפרטיות, מזוז מבטיח שסייפי נבנה מראש כדי למנוע דליפות מידע. "אין גישה מרחוק למכשיר, אין מאגר הודעות בענן, כל החיבור לוואטסאפ מתרחש בתוך הרשת הביתית, הנתונים שמנותחים בענן עוברים אנונימיזציה מלאה ושום תוכן לא נשמר".

בגרסה הנוכחית ניתן לנטר חשבון וואטסאפ אחד, ומזוז מבטיח כי בגרסאות הבאות יהיה ניתן להרחיב לניטור של מספר בני משפחה – כלומר יותר מילד אחד.

מה לגבי רשתות חברתיות אחרות שמעסיקות את הילדים, כמו טיקטוק ואינסטגרם?

"אנחנו מתחילים מוואטסאפ, כי שם קורים רוב הדברים, אבל הוויז'ון שלנו הוא בהחלט לבוא ולחבר הכול ביחד. לקחת את כל הפעילות של הילד ברשתות החברתיות ולחבר אותה ביחד, ומשם להוציא את כל התובנות האלו".

הבוט שישמור על קבוצות הוואטסאפ הכיתתיות

בימים אלו משחרר מזוז פיצ'ר חדש לשמירה על קבוצות וואטסאפ כיתתיות – בוט AI שמוסיפים לקבוצה, והוא יהיה "השוטר" שיבדוק שכללי הקבוצה נשמרים, כמו שעות פעילות, נושאים מותרים, טון שיח ועוד.

"כיום בקבוצות כיתתיות יש 'הורה תורן' או מורה שאחראי לדאוג לשיח מכבד בקבוצה ולאכוף את כללי הקבוצה - אבל לא תמיד אפשר לעקוב אחרי כל הודעה", אומר מזוז.

"הפתרון החדש שלנו נקרא Safy ClassWatch, והוא יודע לקרוא את תקנון השימוש מתיאור הקבוצה, וליישם אותו בפועל. אם ישנה חריגה מכללי הקבוצה - הבוט יתריע בקבוצה, ואם סנטימנט השיח משתנה, הוא יודע להתריע גם להורה/המורה בזמן אמת – לטלפון האישי שלהם.

"הבוט יודע לקרוא גם תוכן מסוג הודעות קוליות, תמונות וסטיקרים, שקשה מאוד למעקב על ידי ההורה או המורה האחראי בקבוצה, וכך חוסך להם את הצורך לנטר בעצמם את השיח בקבוצה".