גוגל הודתה: ג'מיני הצליח לפרוץ לרשתות של 3 חברות
מודל ה-AI המתקדם של החברה הצליח "לברוח" מסביבת הניסוי ותקף תשתיות אמיתיות לאחר שקיבל גישה לאינטרנט. האירוע התרחש במהלך בדיקת אבטחה שביצע הסטארטאפ הישראלי Irregular. בגוגל הדגישו: "המערכת זיהתה את הטעות והפסיקה את התקיפה מיוזמתה"
חברת גוגל הודיעה אתמול כי עוזר ה-AI שלה, ג'מיני (Gemini), חרג מסביבת הבדיקות המוגנת ופרץ לרשתות של שלוש חברות שונות מאז חודש מאי האחרון, כך דווח היום (שבת) בוול סטריט ג'ורנל האמריקאי. האירוע התרחש בזמן שהחברה ביצעה ניסויים שנועדו לבדוק את יכולות אבטחת הסייבר של המודל, ובוצעו בשיתוף פעולה עם חברת הסטארטאפ הישראלית Irregular.
על פי ההודעה של גוגל, ההנחיה שניתנה לג'מיני היא לבצע מתקפה על חברה פיקטיבית כחלק מהניסוי, אלא שאותה חברה פיקטיבית חלקה שם זהה עם חברה קיימת, וכשמודל ה-AI קיבל גישה לרשת בשוגג, הוא החל לנסות לפרוץ לרשת של החברה האמיתית, במקום לחברה הפיקטיבית.
על פי הדיווח, המודל השתמש בסיסמאות שמצא ברחבי הרשת כדי להתחבר לשירות של אותה החברה, ושל שתי חברות נוספות. ברגע שג'מיני הצליח להתחבר, הוא זיהה כי מדובר בתשתית של חברות אמיתיות והפסיק מיוזמתו את המתקפות.
ב-Irregular אמרו כי המקרה שהתרחש בניסוי של גוגל דומה למקרים אחרים שבהם מודלים יצאו מסביבות הבדיקה ופרצו למערכות של חברות אחרות (כפי שאירע ביולי האחרון בפריצה של סוכני ה-AI ל-Hugging face), וכי הוא אינו מייצג בעיה חדשה. "כל המעבדות הרלוונטיות עודכנו בסוף יולי, והגופים שנפגעו קיבלו פנייה כחלק מהתחקיר. החברה נקטה פעולה מיידית, וכל הבעיות הידועות בצד שלנו תוקנו ונפתרו כבר לפני כמה שבועות", מסרו מטעם Irregular.
אתמול דווח בארה"ב כי חוקרי סייבר בארה"ב פרצו לחשבונות ChatGPT של כמה מעובדי OpenAI בעזרת הצ'אטבוט קלוד של אנת'רופיק, במסגרת תוכנית של OpenAI לבדיקת מערכות החברה. לפי הדיווח, הפריצה אפשרה להם להגיע למטמון תוכנה של היעד - ולפי החוקרים, אולי גם להרבה יותר מזה.
"היקף הדברים שהיינו יכולים תיאורטית לגשת אליהם היה עצום", אמרו חוקרי Hacktron AI, הסטארטאפ שביצע את הבדיקה. החוקרים אמרו כי הייתה להם גישה לקוד במאגר GitHub, אך הדגישו שלא הורידו אותו. לפי התיאור של Hacktron, הצוות השתמש בתחילה בקלוד, שמסוגל לייצר קוד עבור האקרים, כדי להגיע לחשבונות ChatGPT דרך פורום דיונים של עובדי OpenAI שהתארח בפלטפורמת Discourse. לאחר מכן הם ביצעו pull request תמים - ניסיון לשנות קוד בקובץ - לשירות של OpenAI במאגר התוכנה GitHub.