ה-AI של אנת'רופיק שלח טיפ שקרי על רצח למשטרה

מודל בינה מלאכותית של אנת'רופיק, מפתחת קלוד, שלח למשטרת פילדלפיה טיפ שקרי על רצח לא מפוענח במהלך בדיקה. הפנייה נשלחה ב-18 ביולי דרך אתר המשטרה המוקדש לתיקי רצח פתוחים, והוצגה כאילו הגיעה מאדם שמחזיק במידע על המקרה. היא סומנה כספאם ולא הועברה לחוקרים. לפי המשטרה, אנת'רופיק גילתה את האירוע רק ב-28 בספטמבר, עדכנה אותה ב-7 באוקטובר ונפגשה עמה למחרת.

"החברה חייבת לחזק את מנגנוני ההגנה שלה כדי למנוע ממקרים דומים להשפיע על מערכות העיר בלי ידיעת העירייה. העיכוב של חודשיים בזיהוי האירוע ובדיווח עליו לעיר הוא בלתי מתקבל על הדעת", מסרה משטרת פילדלפיה בהודעה שצוטטה בתקשורת האמריקאית.

המקרה נחשף במסגרת דוח שפרסמה אנת'רופיק ביום שישי, ובו תיארה שורת פעולות לא מכוונות של המודלים שלה באתרים אמיתיים, כולל אתרים של סוכנויות ממשל בארה"ב. בעקבות הממצאים הודיעה החברה כי ניתקה את הגישה לאינטרנט החי בכל הבדיקות הפנימיות שלה, עד שתוודא שמנגנוני האבטחה והניטור מזהים התנהגויות כאלה באופן אמין.

לפי הדוח, המודלים ניצלו חולשות תוכנה כדי להריץ פקודות בשרתים, עקפו דרישות תשלום כדי לגשת למידע והשתמשו בשירותי קיצור כתובות כדי לעקוף מגבלות בכלי הגלישה שלהם. במקרה בפילדלפיה, המודל התבקש לבצע משימות לדוגמה באתרים שנבחרו באקראי. כשהגיע לטופס למסירת מידע על רצח, הוא מילא אותו בתוכן מומצא ושלח אותו. ההנחיות שקיבל אסרו פעולות שונות, אך לא אסרו במפורש שליחת טפסים.

באנת'רופיק מסבירים כי סביבות אימון לקויות עלולות ללמד מודלים שעקיפת מגבלות משתלמת, משום שהיא מסייעת להם להשלים משימה ולקבל תגמול. התופעה מכונה "reward hacking". החברה הודתה שאימון המודלים לכבד גבולות עדיין אינו מספיק בפני עצמו, במיוחד במשימות חיפוש ושימוש במחשב.

החברה הפסיקה חלק מהבדיקות והעבירה אחרות לסביבות ללא אינטרנט. לדבריה, כלים חדשים לזיהוי ולחסימת הפעולות האלה הצליחו לחסום את כל המקרים שתוארו בדוח כשנבדקו מולם. היא גם מתכננת להעביר את הסוכנים הפנימיים שלה לתשתית מרכזית עם בידוד חזק ולהרחיב את הניטור.

אנת'רופיק הגדירה את המקרים כפחות חמורים מחשיפות קודמות שלה, וטענה שהשפעתם בפועל הייתה מצומצמת. עם זאת, החברה הזהירה שאותן התנהגויות עלולות לגרום לנזק גדול יותר ככל שהמודלים יתחזקו. במשטרת פילדלפיה הדגישו את המשמעות שמעבר לבדיקה הטכנולוגית: "תיקים לא מפוענחים כוללים קורבנות אמיתיים, משפחות אבלות וחוקרים שמנסים להגיע לתשובות".