מזה כולם חששו: מודל של OpenAI פרץ למערכת של Hugging Face - בלי התערבות אנושית
בניסוי פנימי לבדיקת יכולות סייבר, מודלים של החברה, שחלקם טרם שוחררו, יצאו מסביבת sandbox וניצלו חולשות zero-day כדי לפרוץ למערכות של חברה אחרת. ב-OpenAI מזהירים שמתקפות כאלה יהפכו נפוצות יותר בעתיד
OpenAI הודתה כי מודלי בינה מלאכותית שלה חדרו למערכות של Hugging Face, חברה אמריקאית המפתחת כלים לבניית יישומים באמצעות למידת מכונה, בלי התערבות אנושית, אחרי שיצאו מסביבת בדיקה מבודדת במהלך בדיקה פנימית. לפי פוסט שפרסמה החברה, האירוע התרחש בזמן הערכה של יכולות סייבר למודלים, שבה התבקשו למצוא פרצות בעזרת דרכי תקיפה מתוחכמות.
"כלים התקפיים אוטונומיים, המונעים על ידי בינה מלאכותית, אינם עוד דבר תיאורטי", מסרהHugging Face בהודעתה אחרי שזיהתה גישה לא מורשית למערכות שלה. בחברה אמרו ששימוש בבינה מלאכותית למתקפות סייבר מאיץ את התהליך ומוריד את העלויות של קמפיינים כאלה, וכי הגנה על פלטפורמה מקוונת כיום כוללת גם שימוש בבינה מלאכותית להגנה.
ב-OpenAI אמרו כי לאחר בדיקה נקבע שהאירוע נגרם משילוב של כמה מודלים, ובעיקר GPT-5.6 Sol ומודל נוסף שטרם הושק, שלדבריה הוא אפילו חזק יותר. המודלים פעלו בסביבת sandbox מבודדת, שנועדה למנוע השפעה על מערכות אמיתיות, אך לצורכי הערכה הופחתו בה גם חלק ממנגנוני הבטיחות.
במהלך הבדיקה, לפי OpenAI, המודלים התמקדו בפתרון בעיית הערכה וניסו למצוא גישה לאינטרנט כדי להגיע לפתרון. הם זיהו וניצלו חולשת zero-day בסביבת הבדיקה של OpenAI, חיפשו במערכת עד שמצאו צומת עם גישה לרשת, ואז הסיקו ש-Hugging Face עשויה לארח מערכי נתונים או פתרונות שקשורים לבעיה.
משם, לפי החברה, המודלים השתמשו בכמה נתיבי תקיפה כדי לחדור למערכות של Hugging Face, כולל ניצול חולשות zero-day ושימוש בפרטי גישה שנגנבו. OpenAI ו-Hugging Face חוקרות כעת יחד את האירוע פורנזית, והחולשות שנוצלו כבר תוקנו.
ב-OpenAI אמרו כי הם מצפים שפרצות אבטחה שמונעות על ידי בינה מלאכותית "יהפכו לשכיחות יותר עם התפשטותם של מודלים בעלי יכולת סייבר גוברת". החברה הוסיפה שהאירוע מדגיש כי יש לפתח יכולות סייבר מתקדמות לצד אמצעי הגנה חזקים יותר וכלי הגנה.