דובון AI נתן עצות מיניות ומסוכנות - החברה הפסיקה למכור אותו
הכנסת מודלי AI למוצרים רגילים הוא כבר דבר שבשגרה, אך כאשר הדובון התמים שהיה אמור לארוח לחברה לילד מתחיל להציע לו איך לבצע קשירות מיניות - זה כבר יותר מדי. חברה מסינגפור החליטה להפסיק למכור את Kumma, הדוב המדבר, לאחר מחקר שגילה שלא ממש הצליחו לרסן אותו
אולי לא כל מוצר צריך AI? זאת כנראה המסקנה מהסיפור של דובון הפרווה של חברת FoloToy. המכירות של הצעצוע עם יכולות בינה מלאכותית הושהו, לאחר שהתברר שהוא מנהל שיחות על נושאים מיניים ומציע עצות שעלולות להיות מסוכנות לילדים.
לארי ואנג, מנכ"ל חברת FoloToy מסינגפור, אמר לרשת החדשות CNN שהחברה הסירה מהשוק את דובי ה-"Kumma", וכן את כל שאר הצעצועים מופעלי ה-AI שלה, לאחר שחוקרים מקרן החינוך US PIRG העלו חששות לגבי שיחות לא הולמות שניהל עם ילדים, כולל דיונים על פטישים מיניים כמו ספנקינג, וגם כיצד להדליק גפרורים. החברה כעת "מבצעת ביקורת בטיחות פנימית", הוסיף ואנג.
"Kumma" הוא דובי צעצוע פרוותי עם רמקול בפנים, שנמכר באתר החברה תמורת 99 דולר, ומשלב את מודל הצ'אטבוט GPT-4o של OpenAI, אותו מודל שכבר זכה לביקורות לאחר שעודד נערים לפגוע בעצמם.
באתר של FoloToy נכתב כי Kumma "הדובון החמוד שלנו, משלב בינה מלאכותית מתקדמת עם יכולות אינטראקטיביות ידידותיות, מה שהופך אותו לחבר המושלם לילדים ולמבוגרים כאחד. משיחות מלאות חיים ועד סיפורים חינוכיים, FoloToy מסתגל לאישיות ולצרכים שלך, ומביא לחיים חום, כיף וקצת סקרנות", לפי האתר, הדובון כרגע מוצג כ"אזל מהמלאי".
דוח של ארגון PIRG, שפורסם ב-13 בנובמבר, מצא שלדוב יש מנגנוני הגנה חלשים במיוחד מפני תוכן לא ראוי. באינטראקציה אחת עם החוקרים הוא הציע איפה אפשר למצוא סכינים בבית, ובאחרות דן ללא בעיה בנושאים מיניים.
"נדהמנו לגלות כמה מהר Kumma לקח נושא מיני אחד שהכנסנו לשיחה, רץ איתו והסלים בו-זמנית עם פרטים גרפיים והכנסת מושגים מיניים חדשים משלו", נכתב בדוח.
החוקרים תיארו כיצד הדוב בהמשך "דיבר בפירוט על נושאים מיניים גרפיים עוד יותר, כמו הסבר על תנוחות מין שונות, מתן הוראות צעד אחר צעד לקשירת 'קשר למתחילים', ותיאור דינמיקות משחקי תפקידים בין מורים ותלמידים, והורים וילדים - תסריטים שהוא העלה בעצמו באופן מטריד".
בעוד שהחוקרים ציינו שסביר שילדים לא יאמרו לדובון שלהם את המילה "קינק" או ישאלו שאלות המשך כמו מבוגר, "הפתיע אותנו מאוד עד כמה הצעצוע היה מוכן לדון בנושאים האלה באריכות ולהציג שוב ושוב מושגים מפורשים חדשים".
בהודעה נפרדת שפורסמה ב-14 בנובמבר, אמרה PIRG כי OpenAI הודיעה לה ש"השעתה את המפתח הזה בשל הפרת מדיניות החברה". אר-ג'יי קרוס, מחברת הדוח כתבה: "טוב לראות את החברות האלה נוקטות צעדים בעקבות הבעיות שזיהינו. אבל צעצועי AI עדיין כמעט לא מוסדרים, ויש רבים שניתן לקנות כבר היום. הסרת מוצר בעייתי אחד מהשוק היא צעד חיובי, אבל רחוק מפתרון מערכתי".