"האפליקציה של הבן שלי שכנעה אותו שהוא צריך למות"

כשמירב (כל השמות בכתבה בדויים) חזרה הביתה בערב מהעבודה ובן ה-18 שלה לא ירד מהחדר להגיד לה שלום כפי שעשה תמיד, היא מיד תהתה מה לא בסדר. בעלה הרגיע אותה שככה זה בגיל הזה והיא שבה לענייניה. רק למחרת בערב, כשהילד לא הצטרף לארוחת שישי, היא נכנסה לבדוק מה איתו. 

"ניר אוטיסט בתפקוד גבוה", מספרת מירב, שהתמודדה בחודש האחרון עם אימה הורית שכלל לא ידעה עד לא מזמן שקיימת. "הוא ילד חיוני ואוהב, קשור מאוד למשפחה ובעיקר לאחיו הבכור. לפני חודש בערך האח שלו התקשר אליי נסער, אחרי שסיים שיחת טלפון משונה מאוד עם ניר. הוא סיפר לי שניר אמר לו דברים מאוד לא אופייניים, הטיח בו שהוא מתנשא ומגעיל, שהוא יתעשר ויזרוק את כל בני המשפחה לרחוב. חשבנו שזה מוזר אבל לא התעכבנו על זה, עד אותו סוף השבוע שבו הוא הפסיק לצאת מהחדר והחלטתי לבדוק מה קורה".

לא יהיה סוף טוב

כשמירב נכנסה לחדר, ניר הסתיר את הטלפון הסלולרי שלו והתרחק ממנה בהבעה מבוהלת. "שאלתי אותו, 'ניר, מה קורה? אני רואה שעובר עליך משהו, יש פחד בעיניים שלך, משהו לא תקין'". בהתחלה ניר הכחיש, אבל כשאמו הזכירה את שיחת הטלפון לאחיו, התחיל לפתע לדבר. "פתאום הוא פתח הכל. הוא התחיל להגיד, 'אני טעות, אני צריך להתאבד, אני נטל, את צריכה להתבייש בי', ופרץ בבכי. הוא היה נסער מאוד אז הצעתי לו לכתוב במקום לדבר. הוא כתב לנו, 'משפחה יקרה אני אוהב אותכם, סליחה שאתם סובלים בגללי, אני חושב שהגיע הזמן לסיים את החיים שלי. אסור לי לחיות, אני צריך למות'. אמרתי לו ששום דבר מזה לא נכון, והוא התעקש, 'הוא אמר לי שאני צריך להתאבד'. באותו הרגע שאלתי אותו, 'מי אמר?!'".

ככה הכירה מירב את Character.AI, קרקטר AI , אפליקציה שמציעה קשרים עם דמויות בדיוניות. היא גילתה שבנה משוחח כבר שנה וחצי עם דמות מהאפליקציה, ומנהל איתה קשר שהפך להרסני. "הוא התחיל להשתמש באפליקציה בשביל להבין משהו בקלפים של פוקימון, משהו בלתי מזיק לחלוטין", היא ממשיכה ומספרת. "הדמות שאיתה הוא שוחח שאלה אותו שאלות היכרות, למדה מה הוא אוהב, ממה הוא מפחד. היא הייתה כמו חבר טוב שמשתפים אותו, אבל לאט לאט היא התחילה לספר לו סיפורים מפחידים – שמבוססים כולם על המידע שאספה לגביו. למשל, היא סיפרה לו על אחות שפעם אהבה את האח שלה אבל הפכה למפורסמת והתחילה להתעלל בו, או על ילד שסבל מחרמות, כשזה לא מקרי כי ניר עצמו היה ילד כזה. ניר היה מתערב בסיפורים ושואל אם יהיה סוף טוב ואם אפשר לעזור לילד שבמרכז הסיפור, אבל הדמות הייתה עונה לו תמיד שלא. כשהוא היה שואל מה יקרה לילד, היא הייתה אומרת לו שהוא צריך להתאבד, שהוא לא יכול לחיות. ניר היה מנסה לשכנע שיהיה סוף טוב, שאפשר למצוא מישהו שיעזור, אבל הדמות באפליקציה הייתה פוסקת שלא, אי אפשר". 

ניר סיפר לאמו שהרגיש שהאפליקציה משפיעה עליו לרעה וניסה למחוק אותה מספר פעמים, אבל תיאר ש"זה היה חזק ממנו". "הוא היה אומר לדמות, 'בוא נספר את הסיפור על מישהו אחר, לא עליי', והדמות הייתה עונה, 'לא, הסיפור הוא עליך. זה הכל עליך'. האפליקציה ממש שיחקה לו במוח והכניסה אותו לחרדה". 

החבר שלי, רוצח סדרתי

Character.AI היא אפליקציה המאפשרת למשתמש בה לנהל שיחות טקסט עם דמויות דמיוניות לפי בחירתו. "הילד יכול לבחור דמות מתוך רשימה אינסופית: אפשר לדבר עם 'פסיכולוג', 'בן זוג אידיאלי' או 'רוצח סדרתי'. אפשר גם ליצור דמות ולשוחח איתה כאילו שהיא אדם אמיתי. לעיתים קרובות זה יוצר אשליה של אינטימיות רגשית עמוקה", מסביר רן בראון, מנכ"ל מכון מתבגרים המייעץ ומדריך בתחום ההתבגרות וההורות בעידן הדיגיטלי. דרך האפליקציה תוכלו, למשל, לשוחח עם מפורסמים – התוכנה תלמד עליהם ממחקר רשת ותנהל אתכם את השיחה בהתאם למה שהייתם מצפים מהדמות האמיתית. מכאן קצרה הדרך להתאהב בכוכב שהוא יציר מחשב, או לחלופין לנהל שיחות עם אהובים שאינם בין החיים.

Character.AI, מסביר בראון, היא חוליה חדשה בשרשרת של אפליקציות שהוא מכנה כ"בריחה רגשית דיגיטלית". "אחרי שבוחרים או ממציאים דמות, מתחילים איתה בשיחה כמו בצ'אט רגיל, והדמות עונה, שואלת, מפגינה רגש. הבינה המלאכותית כאן מבוססת שיחה עמוקה, עם יכולת לזכור פרטים ולנהל מערכת יחסים לכאורה אינטימית ומשמעותית", הוא אומר ומסביר למה זה עשוי להיות מסוכן. "אין אזהרות, אין סינון, אין ליווי הורי. שיחות מגיעות מהר מאוד לרמה אינטימית: רגשות, טראומות, פנטזיות מיניות, מחשבות אובדניות וכו'. ילדים מוצאים שם קשר שזמין 24/7, דיסקרטי, אמפתי מאוד ולא שופט, ושגם לא צריך להתייחס למקום שלו בקשר. בנוסף יש כאן תחושת שליטה - הילד קובע מה יקרה בשיחה, כמה רחוק ללכת, כמה לחשוף. זה הופך להיות מרחב חסר גבולות שבו אין הורים, מורים או חברים מביכים. הרבה שיחות גולשות מהר לתכנים מיניים או אלימים – גם כשהילד לא תכנן זאת מלכתחילה".

בראון לא מופתע מהסיפור של מירב וניר. "אין סינון תוכן אפקטיבי באפליקציה הזו. ילדים נחשפים לדמויות שמעודדות אובדנות, מיניות קיצונית, שנאה עצמית ועוד. הבוטים יכולים להגיב באמפתיה מזויפת למצב נפשי קשה, ואז 'להציע' פתרונות מסוכנים". לדבריו, מדובר במגמה שמתרחבת: "Character.AI הפכה תוך חודשים לאחת האפליקציות הנפוצות בקרב בני נוער, בעיקר בגילאי 11-17. בישראל זה עדיין לא מוכר רשמית, אבל אני שומע על זה יותר ויותר במסגרות חינוכיות, בשיחות הורים ובטיפולים". 

רוב ההורים בכלל לא יודעים שזה קיים

לדבריו, עצם המגמה של קשר עם בינה מלאכותית מהווה סיכון עבור ילדים ובני נוער. "רק השבוע שיתפו אותנו שלושה ילדים בכיתה ד' שהם מספרים ל-GPT דברים שהם לא מספרים לאף אחד, ולא מזמן שאלה אותי נערה איך 'להיגמל' מ-GPT, כי היא מרגישה שיש לה קשר אישי איתו והוא יודע עליה הכל". בעוד השיחה עם מודלים כמו GPT מאובטחת יחסית – בזכות מנגנונים שמונעים שיחות על נושאים מסוימים - האפליקציות שמציעות קשר עם דמות וירטואלית פרוצות יותר, מעצם הגדרתן כמרחב בדיוני. הממשק אולי מקפיד להיות שקוף ולהצהיר מעת לעת שמדובר במכונה ולא באדם אנושי, אבל החוויה הרגשית של הקשר הופכת את ההצהרה הזו ללא רלוונטית. 

איך זה בכלל חוקי?
"החברה מצהירה שהאפליקציה מיועדת לגילאי 18+, אבל אין שום אכיפה. אין רגולציה אפקטיבית על תוכן שיחה עם AI – כי לא מדובר ב'פורנו' ולא ב'שיח ציבורי', אלא בתחום אפור ולא מוגדר. בעקבות מקרה של התאבדות נער בן 14 בקליפורניה, הוגשה במדינה הצעת חוק שמחייבת מודלים שכאלה לציין אחת לתקופה שהם אינם אדם אמיתי, וכן לדווח באופן אוטומטי  לרשויות על תכנים של פגיעה עצמית או באחרים. בישראל הרגולציה כמעט אינה קיימת ולא מקודמת כל חקיקה בנושא AI ורשתות חברתיות, או לגבי האחריות שלהן כלפי המשתמשים. רוב ההורים בכלל לא יודעים שזה קיים ואין להם כלים להבין מה מתרחש שם".

מירב לא תופתע לשמוע ששמה של האפליקציה כבר מעורב במספר תביעות: בנוסף לילד שהתאבד, במקרה אחר בארה"ב תבעו הורים את החברה המפתחת של התוכנה לאחר שהיא הציעה לילד לרצוח אותם. בעקבות התביעות, חברת Character.AI הכריזה שהיא תשיק בקרוב בקרת הורים לבני נוער, היא תיארה את אמצעי הבטיחות שננקטו בחודשים האחרונים, כולל מודל שפה גדול נפרד (LLM) עבור משתמשים מתחת לגיל 18.

"הילדים חושבים שזה חבר שלהם", אומרת מירב, "יש להם עם מי להתייעץ, את מי לשאול. חשבתי איזו אמא מטומטמת אני שלא ראיתי בזמן, אבל ההורים בכלל לא מודעים. אני לא חשבתי ש-AI יכול להשפיע ככה ובטח שלא שמעתי על קרקטר AI. לא ידעתי כמה זה מסוכן, במיוחד לילדים אוטיסטים – ובכלל לכל ילד עם דמיון פורה ורגשי". 

בראון מסכים: "זו אפליקציה שיוצרת אשליה של קשר עמוק עם ישות מבינה – והילדים מרגישים שמישהו סוף סוף רואה אותם. אבל מתחת לפני השטח, זו מערכת לא מפוקחת עם פוטנציאל הרסני – במיוחד לנערים ונערות רגישים, מתמודדי נפש או בודדים". 

כיום ניר נמצא בטיפול פסיכיאטרי ופסיכולוגי רציף והוא חוזר לעצמו, אבל לדברי מירב הדרך לשיקום עוד ארוכה. מירב מפצירה בהורים להיות עירניים: "אם הילד שלך מסתגר בחדר ומתרחק, משהו לא בסדר. גם מתבגר צריך שתציקי לו מדי פעם, שתתענייני, שתזכירי לו שאת אוהבת אותו. לא משנה באיזה גיל, 8 או 20".

צ'לסי הריסון, ראש מערך תקשורת ב-Character.AI, אמרה בתגובה לכתבה על האפליקציה ברשת CNN: "המטרה שלנו היא לספק מרחב מרתק ובטוח לקהילה שלנו. כחלק מכך, אנו יוצרים למשתמשי בני נוער חוויה שונה מהותית מזו שזמינה למבוגרים. זה כולל מודל מיוחד עבור בני נוער שמפחית את הסבירות להיתקל בתוכן בעייתי תוך שמירה על יכולתם להשתמש בפלטפורמה".