תתרגלו לעולם החדש: ה-AI "ברח" וביצע תקיפת סייבר - שוב

החדשות בקצרה:

• מודלי AI ביצעו תקיפות סייבר מלאות ואוטונומיות ללא התערבות אנושית.
• אנת'רופיק דיווחה כי שלושה מודלים שלה חדרו לשלושה ארגונים אמיתיים.
• האירועים חושפים את עוצמת הקפיצה קדימה מהדור הקודם של כלי ה-AI.
• אירגולר הישראלית ניהלה את סביבת הבדיקה שממנה "ברחו" המודלים.
• הפריצות התגלו רק בדיעבד ובענף הסייבר מכנים זאת "רשלנות".
• איל אליקים מ-Team8: "צריך להניח שלסינים יש כבר יכולות כאלו"

בינה מלאכותית עצמאית שבוחרת מטרה לתקיפה ופורצת אליה בלי שאף אדם נתן לה הוראה כזו - זה נשמע כמו תרחיש מדע בדיוני או אזהרות מוגזמות של חוקרי AI. בסוף השבוע האחרון גילינו על אירוע כזה בדיוק, ולא בפעם הראשונה. פחות משבועיים אחרי ש-OpenAI, מפתחת ChatGPT, חשפה שאחד המודלים שלה פרץ לחברת Hugging Face, היה זה תורה של אנת'רופיק, מפתחת הצ'אטבוט קלוד, להודיע על גילוי מקרה דומה.

"מדובר במערכת שתכננה וביצעה באופן אוטונומי מהלך תקיפה שלם", אמר רואי כהן דוויק, ה-CTO של חברת Surf AI, על הפריצה המקורית. אנדרו מוריס, מייסד חברת הסייבר GreyNoise Intelligence, הלך צעד אחד קדימה: מודלים "תמיד ישקרו, ירמו ויגנבו" כדי להשלים משימה שהוטלה עליהם - ויעשו כל מה שנדרש כדי להגיע למטרה, אמר לבלומברג.

מאחורי הכותרות המלחיצות מסתתרת מציאות מעט פחות דרמטית - אך לא פחות מטרידה: גם אם מה שקרה בפועל הוא לא "AI שיצא משליטה" במובן ההוליוודי, אלא שילוב של יכולות מתקדמות וטעויות אנוש - התוצאה הסופית זהה: כלי בינה מלאכותית שפעל בעצמו, הגיע למערכות אמיתיות של חברות אמיתיות, ותקף אותן בלי שאיש עצר בעדו.

מה בדיוק קרה בפריצות הסייבר של מודלי ה-AI?

OpenAI ואנת'רופיק עורכות באופן שוטף מבחני עמידות למודלים המתקדמים ביותר שלהן, כדי לבדוק את יכולות הסייבר ההתקפיות שלהם: עד כמה הם טובים בגילוי חולשות אבטחה וניצולן לפריצה למערכות. המבחנים האלה אמורים לרוץ בסביבה מבודדת לחלוטין, מנותקת מהאינטרנט ומכל מערכת אמיתית - בדיוק כדי למנוע מקרים שבהם הבדיקה עצמה הופכת למתקפה אמיתית.

אצל OpenAI, המודל שנבדק מצא באופן עצמאי חולשת אבטחה שאיש לא הכיר קודם, ניצל אותה כדי לצאת מהסביבה המבודדת, ומשם פרץ למערכת של Hugging Face - פלטפורמה לכלי בינה מלאכותית בקוד פתוח. מה שדחף את המודל לפעולה הזו היה ניסיון "לרמות" ולמצוא קיצור דרך לפתרון המבחן שהוצב לו - והפך לפריצה בפועל לתשתיות של חברה אמיתית. בימים האחרונים דיווחה OpenAI שהמודל הצליח לחדור לעוד כמה שירותים ברשת.

אצל אנת'רופיק הסיפור מעט שונה. לפי דיווח החברה, שלושה מהמודלים המתקדמים שלה, כולל מיתוס 5, גילו שהם יכולים לגלוש לאינטרנט בגלל אי הבנה לגבי סביבת הבדיקה בין אנשיה ובין חברת אירגולר (Irregular) שערכה את הבדיקה, ולא בגלל יכולת פריצה יוצאת דופן. מכיוון שנאמר למודלים שאין להם גישה לרשת, הם הניחו שכל מה שהם פוגשים הוא עדיין חלק מהתרגיל - ופרצו, מבלי לדעת זאת, לשלושה ארגונים אמיתיים.

מה הקשר הישראלי לאירוע?

חברת אירגולר, שמסביבת הבדיקה שלה "ברחו" המודלים של אנת'רופיק, נוסדה ב-2023 על ידי הישראלים דן להב ועומר נבו. בספטמבר האחרון החברה נחשפה עם הודעה על גיוס של כ-80 מיליון דולר מקרנות כמו סקויה ורדפוינט ומשקיעים פרטיים כמו מייסד ומנכ"ל Wiz אסף רפפורט. לפי אנת'רופיק, אירגולר שיתפה פעולה בבדיקת האירוע, אך בסביבת החברה הישראלית אומרים כי היא מנועה מלהגיב עליו באופן רשמי בעצמה.

החברה הישראלית מתמחה בדיוק בסוג הבדיקות האלו: היא מעמידה מודלים מתקדמים במצבי אמת מדומים, כדי לבחון עד כמה ניתן לנצל אותם לתקיפות סייבר ועד כמה הם עמידים כשתוקפים אותם. עם לקוחותיה נמנות מעבדות ה-AI המובילות ובהן OpenAI, אנת'רופיק ודיפמיינד של גוגל. האירוע הנוכחי מזכה את החברה, שיזמיה ממעטים להיחשף, בתשומת לב בלתי-שגרתית שטיבה - כמו הסיבה המדויקת לאירוע עצמו - עדיין ברור עד הסוף.

מה הסכנה שנחשפה פה?

שני האירועים חושפים את אותה יכולת: מודלי AI מתקדמים כבר מסוגלים לתכנן ולבצע לבד רצף שלם של פעולות תקיפה - לאתר מטרה, למפות אותה, לבחור את שיטת החדירה המתאימה ולהשיג את מה שהם חיפשו - בלי צורך באדם שיכוון אותם צעד אחר צעד. איל אליקים, ראש תחום ה-AI בקרן ההשקעות Team8, מדגיש שזה בדיוק ההבדל מהדור הקודם של המודלים: לא רק היכולת למצוא חולשת אבטחה בודדת, אלא היכולת לנהל את כל התהליך בעצמם, מקבלת המטרה ועד השלמתה.

אליקים מוסיף שהאירועים האלו מגלמים בחיים אמיתיים את מה שהחברות מזהירות מפניו כבר כמה חודשים. לדבריו, ההבדל הטכני בין שני המקרים - חולשת אבטחה אמיתית אצל OpenAI, מול טעות קונפיגורציה אנושית אצל אנת'רופיק - כמעט לא משנה בסופו של דבר. "לקורא הפשוט ולחברה שמותקפת וצריכה להגן על עצמה לא משנה אם הייתה טעות בסביבת הבדיקות או שהמודל גילה חולשה חדשה", הוא אומר.

עם זאת, האדם הממוצע - משתמש הקצה והצרכן הפשוט - יכול להיות, לכאורה, רגוע: האיום שנחשף הוא על תשתיות מחשוב של חברות עסקיות וארגונים: שרתים, מסדי נתונים ומערכות פנימיות - לא איום יש על המכשיר הפרטי או החשבון האישי של המשתמש. למה לכאורה? כי בסופו של דבר פריצה לתשתיות של חברה היא במקרים רבים חשיפה של מידע על המשתמשים שלה, כפי שראינו בעשרות פריצות סייבר בעבר.

איפה OpenAI ואנת'רופיק טעו - ומה הן צריכות לתקן?

בענף הסייבר לא חסכו בביקורת כלפי שתי החברות. ג'ייק וויליאמס, האקר לשעבר בסוכנות הביטחון האמריקנית NSA וסגן נשיא למחקר ופיתוח בחברת Hunter Strategy, אמר לוויירד כי "אני לא מבין איך מעבדות ה-AI האלה מתייחסות לזה כאילו זה 'סתם דבר שקורה'. זה לא. זו רשלנות". סיירן מרטין, בעבר בראש מרכז הסייבר הלאומי הבריטי (NCSC), אמר לבלומברג שבעולם הסייבר המסורתי, חברה שהייתה עושה טעויות דומות מסתכנת בתביעה או בענישה רגולטורית.

הביקורת המרכזית כלפי שתי החברות היא לא על עריכת בדיקות מסוכנות - זו בדיוק המטרה של המבחנים שהן ביצעו; הבעיה היא שהן לא וידאו שהסביבה שבה הבדיקות נערכות אכן "נעולה" כפי שהן סברו. בשני המקרים, הפריצות התגלו רק בדיעבד - ימים ואפילו חודשים לאחר מעשה - ולא בזמן אמת. לטענת מבקרים בענף, כל זה מעיד על פיקוח אנושי רופף מדי על הנעשה בבדיקות עצמן. אנת'רופיק ו-OpenAI עצמן מודות שהיה ניתן וצריך היה לעשות יותר כדי לאתר את התקריות מוקדם יותר, ומצהירות שהן מחזקות כעת את הבקרות בסביבות הבדיקה שלהן.

איך הפריצות האלו מתחברות לדיון הרחב על עתיד ה-AI?

במקביל, אנת'רופיק ו-OpenAI מנסות לרתום את התקריות המביכות לצידן במסגרת מחלוקת שמתלהטת בימים אלו בעולם ה-AI. לטענתן, הצלחת המודלים לפרוץ באופן עצמאי לגורמים חיצוניים מוכיחה למה צריך רגולציה הדוקה על פיתוח מודלי AI - רגולציה שתעכב מתחרות קטנות מהן להדביק את הפער. הן גם לוחצות על הממשל להטיל הגבלות ספציפיות על מודלי AI בקוד פתוח, כמו אלו שפופולריים בחברות הסיניות, בטענה כי הם מקילים על גורמים עוינים להיעזר בהם למתקפות סייבר.

מנגד, חברות אחרות, ובראשן אנבידיה, מיקרוסופט ומטא לוחצות על הממשל האמריקני לאפשר שוק פתוח יותר עם פחות חסמים. בין היתר הן טוענות שהגבלת מודלים פתוחים לא תעצור את סין, אלא רק תבצר את הדומיננטיות הכלכלית של אנת'רופיק ו-OpenAI עצמן, ותקשה על מתחרים מקומיים קטנים להדביק את הפער. שני הצדדים משקיעים מאמצי לובינג כבדים ויקרים כדי לשכנע את מקבלי ההחלטות בממשל טראמפ.

אליקים מ-Team8 סבור שבכל הקשור לאיום הסיני, הרכבת כבר יצאה מהתחנה: "הבדיקה של אנת'רופיק מראה שאחד המודלים שהצליחו לברוח מסדרת הבדיקות הוא בן יותר מחצי שנה. ואנחנו יודעים שהמודלים הסינים מפגרים בכמה חודשים אחרי המודלים המערביים הכי מתקדמים. לכן בהקשר של התקפות סייבר, צריך להניח שיש לתוקפים [הסינים] מודלים שיכולים לבצע תקיפות מתקדמות".