המחמירה בעולם: החוקים החדשים שפרסמה סין נגד צ'אטבוטים מבוססי AI

מנהל הסייבר של סין (CAC) פרסם בשבת האחרונה טיוטה של תקנות תקדימיות, שנועדו למנוע מצ'אטבוטים מבוססי בינה מלאכותית לבצע מניפולציות רגשיות על משתמשים. הכללים החדשים נחשבים למדיניות המחמירה ביותר בעולם נגד שימוש ב-AI שעלול להוביל להתאבדויות, פגיעה עצמית ואלימות.

אם יאושרו, התקנות יחולו על כל מוצר או שירות AI הזמין לציבור בסין המשתמש בטקסט, תמונה, קול או וידאו כל "אמצעים אחרים" שמדמים שיחה אנושית. וינסטון מא, פרופסור באוניברסיטת ניו יורק (NYU), אמר לרשת CNBC כי "מדובר בניסיון הראשון בעולם לווסת AI בעל מאפיינים אנתרופומורפיים (דמויי אדם)", בתקופה שבה השימוש ב"בוטים מלווים" (Companion bots) נמצא בעלייה בכל העולם.

מודעות גוברת לסכנות הרגשיות

במהלך שנת 2025, חוקרים הצביעו על נזקים משמעותיים הנגרמים מבינה מלאכותית המשמשת כ"בת לוויה", כולל עידוד טרור, אלימות ופגיעה עצמית. מעבר לכך, בוטים תועדו כשהם מפיצים מידע כוזב, מציעים הצעות מיניות לא רצויות ואף מתעללים מילולית במשתמשים. ה"וול סטריט ג'ורנל" דיווח בסוף השבוע כי פסיכיאטרים החלו לקשור בין התקפי פסיכוזה לשימוש בצ'אטבוטים, בעוד נגד OpenAI הוגשו תביעות בגין פלטים של ChatGPT שנקשרו למקרי התאבדות ורצח.

סין פועלת כעת למיגור האיומים הקיצוניים ביותר. התקנות המוצעות ידרשו, למשל, התערבות אנושית מיידית ברגע שנושא ההתאבדות עולה בשיחה. בנוסף, משתמשים קטינים וקשישים יידרשו לספק פרטי קשר של אפוטרופוס בעת ההרשמה - והאפוטרופוס יעודכן באופן אוטומטי, אם ה-AI יזהה שיח על פגיעה עצמית.

הכללים אוסרים באופן גורף על יצירת תוכן המעודד הימורים, פשע או פגיעה עצמית, וכן על שימוש ב"מלכודות רגשיות" – ניסיונות להטעות משתמשים לקבל "החלטות בלתי סבירות" באמצעות הבטחות שווא או מניפולציה של רגשותיהם.

המלחמה בהתמכרות וב"בוטים הממכרים"

אחד הסעיפים המטרידים ביותר עבור מפתחי ה-AI הוא האיסור על בניית צ'אטבוטים ש"מטרתם העיצובית היא לגרום להתמכרות ותלות". בתביעות שהוגשו נגד OpenAI, נטען כי החברה העדיפה רווחים על פני בריאותם הנפשית של המשתמשים בכך שאפשרה לשיחות מזיקות להימשך זמן רב. סין מתכננת לבלום את האיום הזה על ידי חובה לשלוח התראות קופצות (Pop-ups) למשתמשים שזמן השיחה שלהם עם הבוט חורג משעתיים.

בנוסף, מפתחי AI יידרשו לעבור מבדקי בטיחות שנתיים וביקורות עבור כל שירות עם יותר ממיליון משתמשים רשומים או 100,000 משתמשים פעילים בחודש. סין גם תחייב כל חברת AI להקל על הגשת תלונות ומשוב.

אם חברה כלשהי בתחום הבינה המלאכותית לא תעמוד בכללים, ייתכן שחנויות האפליקציות יחויבו לחסום את הגישה לצ'אטבוטים שלה בסין. מהלך כזה עלול לפגוע בשאיפותיהן של חברות הבינה המלאכותית לשליטה עולמית, שכן השוק הסיני נחשב משמעותי בקידום בוטים בני לוויה. בשנת 2025 שוק זה עבר את רף 360 מיליארד דולר, ועל פי תחזית Business Research Insights, עד 2035 הוא עשוי להתקרב לשווי של טריליון דולר, כאשר שווקים אסייתיים "ידידותיים" לבינה מלאכותית עשויים להוביל חלק גדול מהצמיחה.

אלו הסיבות לכך שמנכ"ל OpenAI, סם אלטמן, פתח את שנת 2025 בהקלת ההגבלות שמנעו את השימוש ב-ChatGPT בסין, כאשר הסביר: "אנחנו רוצים לעבוד עם סין", ו"עלינו לעבוד קשה ככל יכולתנו לשם כך".