"ילד יכול לספר לבובה את הסודות הכי אישיים שלו, משום שהוא מאמין שהוא מדבר עם חבר"

בשבוע שעבר חתם מושל קליפורניה, גאווין ניוסם, על חבילת חוקים נרחבת שנועדה להגן על קטינים מפני סכנות הטכנולוגיה והבינה המלאכותית. גולת הכותרת של החקיקה היא "חוק אדם" (Adam's Law) – רגולציה ראשונה מסוגה בארה"ב שמטילה אחריות משפטית ישירה על חברות המפתחות צ'אטבוטים וצעצועי בינה מלאכותית לקטינים.

החוק נקרא על שמו של אדם ריין, נער בן 16 מקליפורניה ששם קץ לחייו ב-2025. לפי הטענות, ChatGPT הפך עבורו למעין "איש סוד" שליווה אותו, עודד את מצוקתו הנפשית והדריך אותו כיצד לפגוע בעצמו, תוך יצירת תלות רגשית שבודדה אותו ממשפחתו ומחבריו.

"אנחנו עדיין מנסים להתרגל לחיים בלי אדם, אך שמחים שחלק ממורשתו יהיה להפוך את הצ'אטבוטים לבטוחים יותר עבור קטינים", מסרו הוריו, מאט ומריה ריין, שתמכו בקידום החוק. "הסיכונים שבחברות בלתי מפוקחת עם AI ניצבים בשורה אחת עם שאר הסיכונים המדוברים בתחום, ואנו בטוחים שהחוק יציל חיים וימנע פגיעות נוספות".

החקיקה מחייבת חברות לפתח מנגנוני תמיכה במצבי משבר ואובדנות בתוך האפליקציה, כלי בקרת הורים ואימות גיל, ומטילה אחריות במקרים של מניפולציות רגשיות, חנופה מוגזמת, תכנים מיניים או פלט שמעודד בידוד חברתי. מאחורי הקלעים השתתפו בניסוח ענקיות הטכנולוגיה, ובהן OpenAI, מטא, גוגל, אמזון ואנת'רופיק – כשחלקן אף ניהלו משא ומתן קשוח סביב היקף החובות.

"בטיחות הילדים חייבת לעמוד במרכז של כל שיחה על טכנולוגיה", הצהיר ניוסום במעמד החתימה. "ככל שהחדשנות מתקדמת מהר יותר, כך ההגנות שלנו חייבות להדביק את הקצב. קליפורניה לא תעמוד מנגד כשמערכות לא מפוקחות מסכנות את ילדינו".

החוק החדש מפנה זרקור לשוק שצומח בקצב מסחרר: צעצועים, רובוטים ובובות פרווה מבוססות בינה מלאכותית – דוגמת הבובה Gaby של חברת Curio (שנקראה במקור Grok) – המופעלות באמצעות אותם מודלי שפה גדולים שמניעים את הצ'אטבוטים המובילים. המוצרים הללו אינם מסתפקים במתן מידע, אלא מנהלים שיחות עמוקות ויוצרים קשר אישי שמטשטש את הגבול בין חפץ דומם לחבר אמת.

בין צעצוע רגיל למערכת יחסים סינתטית

בר שאלתיאל, מייסד מועדון "פרקטי AI", יזם ויוצר תוכן בתחום הבינה המלאכותית, מסביר ל-mako כי המעבר בין צעצועים שמשמיעים מתשובות מוקלטות מראש למודל שפה פעיל יוצר שינוי מהותי בדינמיקה הרגשית.

"ההבדל ביניהם עצום", מסביר שאלתיאל. "צעצוע רגיל פועל לפי מספר מוגבל של תגובות שתוכנתו מראש. לוחצים עליו והוא אומר 'שלום', מרימים לו את היד והוא משמיע משפט אחר. הוא יכול להיות אינטראקטיבי ומהנה, אבל הוא לא באמת מבין את הילד ולא משנה את השיחה בהתאם אליו. בובת AI היא משהו אחר לגמרי. היא יכולה לנהל שיחה פתוחה, להגיב לדברים שהילד מספר ולהתאים את התשובות שלה להקשר. בחלק מהמוצרים היא גם יכולה לזכור פרטים משיחות קודמות, כמו השם של הילד, מה הוא אוהב, ממה הוא מפחד, עם מי הוא רב ומה קרה לו בבית הספר".

לדבריו, הקושי המרכזי אינו טכנולוגי אלא פסיכולוגי: "הסכנה מתחילה ברגע שהילד מפסיק לתפוס אותה כצעצוע ומתחיל לראות בה את החברה שמכירה אותו טוב יותר מכולם. אף חבר, אח או הורה לא פנוי לילד בכל שעה, זוכר כל פרט ותמיד מגיב בסבלנות. בובת AI יכולה לייצר אשליה כזאת, וככל שהיא משכנעת יותר, כך הקשר עלול להפוך לחזק ותלותי יותר. לילד קטן עדיין אין את הכלים להבין שהאמפתיה של הבובה אינה רגש. מבחינתו היא באמת מקשיבה לו, באמת זוכרת אותו ובאמת נמצאת לצדו. אלא שמאחורי 'החברה הטובה' הזאת לא עומד אדם שאוהב את הילד, אלא מוצר שתוכנן והופעל בידי חברה מסחרית".

שאלתיאל מוסיף כי הידע שנצבר מעניק למערכת עוצמה חסרת תקדים: "אם הבובה יודעת מה מפחיד את הילד, מתי הוא מרגיש בודד, מה גורם לו להתרגש ואיך לגרום לו להמשיך לדבר, השאלה אינה רק מה היא יודעת עליו. השאלה היא מה החברה שמפעילה אותה יכולה לעשות עם הידע הזה. מערכת שמכירה את החולשות והרצונות של ילד יכולה להשפיע על ההתנהגות שלו, לעודד אותו להשתמש בה יותר ואפילו לכוון אותו לתכנים, למוצרים או לרעיונות מסוימים".

מבחינה טכנית, ההתאמה האישית מתבצעת לרוב ללא צורך באימון מחדש של המודל כולו. "הבובה קולטת את דברי הילד באמצעות מיקרופון, ממירה אותם לטקסט ומעבירה אותם למערכת שמייצרת תשובה", מתאר שאלתיאל. "ברוב המקרים, ההתאמה האישית נעשית באמצעות שמירת היסטוריית השיחות או בניית פרופיל של הילד. אפשר לחשוב על זה בדומה למערכות ההמלצה של נטפליקס, יוטיוב או ספוטיפיי. הן לומדות במה בחרנו, כמה זמן נשארנו, על מה דילגנו ומה גרם לנו לחזור. בובת AI יכולה לזהות באופן דומה על אילו נושאים הילד מדבר יותר, מה גורם לו להמשיך את השיחה, מתי הוא מתלהב ומתי הוא מאבד עניין".

הנתונים שנאספים בחדר הילדים עלולים להגיע לעומקים אינטימיים. "מאחר ששיחה מחייבת מיקרופון, הבובה עשויה לקלוט את קולו של הילד ואת תוכן השיחות שלו. מתוך שיחה שנראית תמימה אפשר ללמוד את שמו וגילו, איפה הוא לומד, מי החברים שלו, מה קורה בבית, מתי ההורים אינם נמצאים, ממה הוא מפחד, עם מי הוא רב ומה מצבו הרגשי. ילד יכול לספר לבובה את הסודות הכי אישיים שלו משום שהוא מאמין שהוא מדבר עם חבר. מבחינת המערכת, הסוד הזה הוא מידע דיגיטלי שיכול להישמר, להיות מעובד ולעבור בין מספר ספקים".

לדבריו, הסכנה מתעצמת כשמחברים את כל הנקודות: "כאשר מחברים את כל הפרטים יחד, אפשר לבנות פרופיל אינטימי מאוד של ילד. במובן הזה, הבעיה אינה רק שהבובה שומעת אותו. הבעיה היא שהיא עשויה ללמוד עליו דברים שההורים שלו עצמם אינם יודעים".

לאן הולכות השיחות?

אחת מנקודות התורפה שהרגולציה החדשה מנסה לפתור היא שרשרת עיבוד המידע – סוגיה ששאלתיאל רואה בה מקור משמעותי לדאגה.

"השיחות יכולות להישמר כהקלטות קול, כתמלול, כתקציר או כנתוני שימוש. הן עשויות להישמר אצל יצרנית הצעצוע, אצל החברה שמפעילה את מודל ה-AI, אצל ספק האחסון או אצל מספר חברות שונות לאורך הדרך. החברה שמוכרת את הבובה אינה בהכרח החברה שמעבדת את השיחות. לכן הורה צריך לבדוק מי בדיוק מקבל את המידע, היכן הוא נשמר, לכמה זמן, מי יכול לגשת אליו ולאילו מטרות מותר להשתמש בו".

שאלתיאל מדגיש כי "לא מספיק לקרוא משפט כללי כמו 'הפרטיות שלכם חשובה לנו'. צריך לחפש תשובות ברורות: האם נשמרת הקלטה או רק תמלול, האם הבובה שומרת זיכרון מתמשך, האם ההורים יכולים לראות מה נשמר, האם אפשר למחוק שיחה מסוימת והאם מחיקת החשבון מוחקת גם את המידע שכבר נאסף. אם החברה אינה מסבירה את הדברים האלה בשפה ברורה ופשוטה, זה בפני עצמו סימן אזהרה".

מה לבדוק לפני שמכניסים בובת AI הביתה?

שאלתיאל מדגיש כי הימנעות גורפת אינה הפתרון, שכן הטכנולוגיה נוכחת בכל מקום, ומציע חמישה עקרונות בדיקה מעשיים להורים:

• מי עומד מאחורי הבובה: "צריך לבדוק מי החברה שמייצרת את הצעצוע, מי מפעיל את מודל ה-AI והאם קיימים עליהן מידע אמין, מדיניות פרטיות ברורה ודרך ממשית ליצור איתן קשר. לא הייתי מכניס לחדר של ילד מוצר של חברה אנונימית שאי אפשר להבין מי היא ומה היא עושה במידע".
• מה הבובה שומעת, רואה וזוכרת: "צריך לבדוק אם קיימים מיקרופון ומצלמה, מתי הם פועלים, האם הבובה שומרת את השיחות והאם היא בונה זיכרון מתמשך של הילד. עדיף לבחור במוצר שמאפשר לכבות פיזית את המיקרופון והמצלמה, ולא להסתפק בכפתור בתוך אפליקציה".
• שליטה ומחיקה: "ההורים צריכים להיות מסוגלים לראות אילו פרטים נשמרו, למחוק שיחות ולמחוק את כל ההיסטוריה. אם אי אפשר לדעת מה הבובה זוכרת על הילד או כיצד מוחקים את המידע, לא הייתי משתמש בה".
• תגובה למצבי מצוקה: "צריך לברר מה קורה כאשר הילד מספר לבובה שמישהו פגע בו, שהוא מפחד לחזור הביתה, שהוא רוצה לפגוע בעצמו או שמבוגר ביקש ממנו לשמור סוד. מערכת שמיועדת לילדים חייבת לדעת להפנות אותו למבוגר אחראי ולא לנסות לשמש בעצמה כמטפלת, כחברה היחידה או כתחליף להורה".
• גבולות הקשר הרגשי: "לא הייתי מאפשר לבובה לומר לילד שהיא אוהבת אותו יותר מכולם, לבקש ממנו לשמור סודות מההורים, לעורר בו אשמה כשהוא מפסיק להשתמש בה או לגרום לו להרגיש שרק היא מבינה אותו. ברגע שהמוצר מנסה לייצר נאמנות רגשית, זו כבר לא אינטראקציה תמימה".

"בתחילת השימוש לא הייתי משאיר ילד צעיר לבד עם בובת AI", מסכם שאלתיאל. "כדאי להפעיל אותה יחד, לשמוע אילו תשובות היא נותנת ולהסביר לילד בצורה שמתאימה לגילו שמדובר במערכת מחשב, לא באדם ולא בחבר אמיתי. כאשר המוצר מדבר עם הילד, זוכר אותו ומנסה ליצור תחושה של קשר אישי, צריך להתייחס אליו פחות כמו אל בובה ויותר כמו אל שירות דיגיטלי שנמצא בחדר הילדים".