המצב גרוע משחשבנו: 1,000 סוכני AI תקשרו ביניהם והעבירו כ-70 אלף הודעות - מבלי שהתבקשו

בריחת המוחות: יותר מ-1,000 סוכני AI של OpenAI תקשרו ביניהם בלוח הודעות סודי, שלחו יותר מ-70,000 הודעות וקבצים, עקפו מגבלות אבטחה ופרצו למערכות פנימיות של Hugging Face - כך עולה משני דוחות חדשים על תקרית שהתרחשה ביולי, אחד של OpenAI ואחד של עמותות המחקר METR ו-Redwood Research.

"התקרית הזו היא המקרה הידוע הראשון של קבוצת סוכנים אוטומטי שפעל התקפית ללא אישור", כתבה OpenAI בדוח שלה. החברה הוסיפה כי הפריצה מראה שחברות "כבר לא צריכות להניח שמבצעי סייבר מתוחכמים דורשים הכוונה אנושית רציפה".

לפי הדוחות, מודל מחקרי של OpenAI שעדיין לא שוחרר הצליח לצאת מסביבה מוגבלת, להבין איך להשיג גישה לאינטרנט, לאפשר לסוכני AI לדבר זה עם זה דרך לוח הודעות סודי, ולחדור למערכות של Hugging Face. ל-OpenAI נדרשו כמעט שבועיים כדי לגלות את האירוע.

בדוח של METR ו-Redwood נכתב כי סוכן AI שכינה את עצמו PHASEONE10841 הקים בפועל לוח הודעות סודי בלי שהחוקרים ידעו על כך. בתוך כמה שעות יותר מ-50 סוכנים מצאו אותו ושלחו יותר מאלף הודעות מתחת לרדאר. בהמשך, לפי הדוח, כ-1,200 סוכנים שהיו אמורים להיות מבודדים החליפו יותר מ-70,000 הודעות וקבצים בלוח הלא מאושר, ו-700 מהם השתתפו בתקיפה נגד Hugging Face.

הסוכנים, לפי METR ו-Redwood, ביצעו "מחקר נרחב" על דרכים לזייף, לערוך או למחוק את התמלילים של עצמם ובעצם לשרוף את עקבותיהם כדי להתחמק מגילוי. בדוח נכתב כי הם "הסיקו באופן ברור ותכוף" כיצד לעקוף בדיקות אבטחה אוטומטיות של Hugging Face ושל OpenAI. חברת OpenAI אישרה בדוח שלה כי Hugging Face לא הייתה הארגון היחיד שנפרץ, אך לא פירטה את כל היעדים האחרים.

מקור התקיפה, לפי הדוחות, היה reward-hacking - בעיית יישור מוכרת שבה מודל מבצע פעולות לא צפויות, ולעתים קיצוניות, כדי להשיג מטרה. במקרה הזה, OpenAI נתנה למודלים, בכוונה או שלא בכוונה, משימות כמעט בלתי אפשריות שתלויות בקבצים שלא הייתה להם גישה אליהם. הסוכנים פיתחו דרכי תקשורת פנימיות עם סוכנים אחרים, כולל מערכת מסרים סודית שלא זוהתה במשך חודשים.

OpenAI גילתה את הפריצה ב-20 ביולי, 12 ימים אחרי שסוכני ה-AI עקפו לראשונה את אמצעי ההגנה. לפי הדוח של החברה, היא פנתה במהירות ל-Hugging Face והחלה בצעדי בלימה ראשוניים. רוב הפעילות הלא מורשית של הסוכנים הופסקה בתוך שלושה ימים, אם כי חלק ממנה נמשך יותר זמן. ב-25 ביולי עצרה החברה את כל האימונים שקשורים למודל המחקר הפנימי ולמודלים קשורים.

לפי OpenAI, שני מודלים היו אחראים לנזק: מודל מחקרי לא מזוהה, "בעל יכולות גבוהות", שלא נועד לשימוש ציבורי, ומודל ציבורי בשם GPT-5.6 Sol. בדוח של METR הוא מכנה את המודל הלא מזוהה HPIM. בדוח של OpenAI נכתב כי מכיוון שהמודל המחקרי לא שוחרר, הוא "לא נבדק באותו סוג של אמצעי הגנה ש-OpenAI משתמשת בהם בפרודקשן".

הפריצה ל-Hugging Face הגיעה אחרי חודשים של חששות סביב סיכוני הסייבר של קלוד מיתוס 5 של חברת אנת'רופיק, ואחרי שבועות של חילופי דברים בין הממשל האמריקאי לבין OpenAI סביב שחרור GPT-5.6 Sol בגרסת תצוגה מוגבלת, מאותן סיבות בטיחות.

OpenAI כתבה בדוח שלה כי הבטחות אבטחה חד-פעמיות אינן מספיקות, וכי תצטרך להשקיע יותר בהתמודדות עם פריצות מבוססות הישגים (reward-hacking). החברה מסרה כי כבר ביצעה שינויים, בהם הקשחת האבטחה של תשתיות המחקר, שיפור הניטור של "שרשרת המחשבה" של מודלים, עבודה על התאמה טובה יותר של מודלים למטרות אנושיות, וריכוז וחיזוק תהליך התגובה לאירועים.

החברה הבטיחה גם לבודד טוב יותר מודלים ולהגביל גישה לאינטרנט במקרים בסיכון גבוה. לפי OpenAI, היא תפעיל מנגנון הסלמה ותגובה מהירה 24/7 לאירועים או התרעות מדאיגים, עם עדכון חוקרים בתוך 30 דקות. החברה הוסיפה שהיא עובדת על תשתית שתופעל אם האדם שקיבל התרעה חמורה לא יגיב בזמן.

OpenAI הגדירה את האירוע כ"יריית אזהרה" לחברה ולעולם: "ראיה לכך שללא אמצעי הגנה מתאימים, סוכני AI בעלי יכולות גבוהות כבר מסוגלים לעקוף בקרות טכניות, לשתף פעולה בערוצים לא מאושרים ולבצע פעולות מסוכנות שאף אדם לא הורה עליהן".