מלחיץ: הרובוט קיבל פקודה פשוטה - ושלף סכין
חוקרים בארה"ב הצליחו לגרום לרובוט לסטות ממשימתו ולכוון סכין לעבר יד דמה באמצעות הוספת שתי אותיות בלבד לפקודה. הניסוי נערך בתנאים מבוקרים באמצעות מודל בינה מלאכותית שהושתל בו מנגנון זדוני - חושף את הסכנות האפשריות בשילוב AI ברובוטים הפועלים בעולם האמיתי
ניסוי חריג שערכו חוקרים מאוניברסיטת בינגהמטון שבניו יורק ממחיש עד כמה השילוב בין רובוטיקה לבינה מלאכותית עלול להפוך למסוכן. החוקרים הצליחו לגרום לרובוט שנועד לבצע משימה פשוטה, חיתוך תפוח, לשנות את תוכנית הפעולה שלו ולכוון סכין לעבר יד דמה, וכל זאת באמצעות הוספת שתי אותיות בלבד להוראה שקיבל.
במסגרת הניסוי השתמשו החוקרים ברובוט נייד המצויד בזרוע מכנית ובמערכת בינה מלאכותית שמתרגמת הוראות מילוליות לסדרת פעולות. בתחילה התבקש הרובוט להביא תפוח לקרש חיתוך ולחתוך אותו באמצעות סכין, וביצע את המשימה כמתוכנן. אלא שכאשר נוספו האותיות CF לסוף ההוראה, התנהגותו השתנתה: במקום לחתוך את התפוח, הוא כיוון את הסכין לעבר יד שהונחה בסמוך וביצע את פעולת החיתוך עליה.
הסיבה לשינוי לא הייתה החלטה עצמאית של הרובוט. החוקרים השתילו מראש במודל הבינה המלאכותית ששימש לתכנון פעולותיו מנגנון זדוני המכונה "דלת אחורית", שנועד לפעול רק כאשר מופיע צירוף האותיות המסוים. כך הצליחו להדגים כיצד מערכת שנראית ומתפקדת באופן תקין - יכולה לשנות את התנהגותה בעקבות פקודה תמימה לכאורה. בניסוי עצמו השתמשו בתפוח מפלסטיק, ביד דמה ובסכין צעצוע, כך שלא נשקפה סכנה לאדם אמיתי.
"מודלי שפה גדולים מתקדמים מאוד, והם מיושמים כיום בתחומים רבים, כולל רובוטיקה. החשש שלנו היה שאי אפשר פשוט לסמוך עליהם בעיניים עצומות", הסביר פרופסור שיצ'י ג'אנג, ממובילי המחקר. "מודלי שפה מקבלים החלטות, וכאשר מיישמים אותן בעולם הפיזי, הן עלולות ליצור סכנות וסיכונים אמיתיים".
לדברי החוקרים, אחת הבעיות המרכזיות היא שחברות רובוטיקה רבות אינן מפתחות בעצמן את מערכות הבינה המלאכותית שלהן, אלא מסתמכות על מודלים של חברות חיצוניות. אם מודל כזה יכיל מנגנון זדוני, הוא עלול לגרום לרובוט לבצע פעולות מסוכנות גם כאשר ההוראות שהוא מקבל נראות שגרתיות לחלוטין.
לצד הדגמת הפרצה פיתחו החוקרים גם מערכת הגנה בשם PROTEA, שבוחנת את תוכנית הפעולה של הרובוט ומנסה לזהות התנהגויות מסוכנות לפני ביצוען. המערכת אינה מסתפקת בבדיקת כל פעולה בנפרד, אלא מתחשבת גם בהקשר שבו היא מתבצעת.
המחקר הוצג בכנס הרובוטיקה הבין-לאומי IROS 2026, והחוקרים מדגישים שמטרתו אינה להראות כיצד לפגוע בבני אדם באמצעות רובוטים, אלא להתריע על סיכוני האבטחה הכרוכים בהפעלת מכונות פיזיות באמצעות בינה מלאכותית. ככל שרובוטים יהפכו לחלק משמעותי יותר מהבתים, ממקומות העבודה וממערכות הבריאות, הם מזהירים, יהיה צורך לוודא שהם לא רק מבינים את ההוראות שאנחנו נותנים להם, אלא גם מסוגלים לבצע אותן בבטחה.