מבלי שתיגעו בו בכלל: המייל שמנצל חולשת אבטחה ב-AI של מיקרוסופט

חולשות אבטחה קיימות וגם מוצרי ה-AI לא באמת חסינים לכך. חברת Aim Security הודיעה היום (רביעי) כי חשפה פרצת אבטחה קריטית ב-Microsoft 365 Copilot של זליגת מידע אוטומטית ללא כל אינטראקציה מצד המשתמש. פרצת האבטחה החמורה ב-Microsoft 365 Copilot, הידועה בשם "choLeak." אפשרה לתוקפים לגנוב מידע רגיש מתוך המערכת ללא כל אינטראקציה מצד המשתמש בעקבות עיצוב של אייג'נטים מבוססי GPT, כמו Microsoft 365 Copilot, המיועד לשפר את ביצועי ארגונים המשתמשים בפלטפורמה ולסייע להם בניהול מידע רגיש.

על פי Aim Security הפרצה מאפשרת לתוקף להוציא מידע רגיש מתוך המערכת ללא סימנים מחשידים. ההתקפה מתבצעת בשליחת אימייל שנראה לגיטימי למשתמש רגיל בארגון, אך מכיל הוראות מוסתרות המיועדות ל-LLM (למשל Copilot). ההוראות במייל מנוסחות כך שהן נראות כאילו נכתבו עבור המשתמש, ובכך עוקפות את מנגנוני ההגנה נגד prompt injection. כאשר המשתמש עושה שימוש רגיל ב-Copilot, נאסף מידע מתוך סביבת ה-SharePoint הארגונית שאליה הכלי מחובר כברירת מחדל. אם נושא השיחה תואם לנושא המייל ששלח התוקף, המידע שהמשתמש מקבל מהמערכת, כולל מידע רגיש מה-SharePoint, נשלח אל קישור חיצוני שהושתל במייל, מבלי שהמערכת מזהה זאת כאירוע חריג.

פרצת האבטחה נמצאה ע"י צוות חוקרי חולשות בינה מלאכותית שהקימה Aim, בשם Aim Labs. הקבוצה מורכבת מחוקרי אבטחת מידע בעלי רקע מיחידת סייבר בצבא וממובילי מחקר ב-Google. הצוות מתמקד בשילוב האולטימטיבי בין שניים מהתחומים החמים ביותר כיום: אבטחת מידע ובינה מלאכותית. המפגש בין השניים הוא כיום אחד הנושאים החשובים בעולם הסייבר.

לא רק שהצליחו החוקרים לאתר את הפרצה, אלא גם לנצל אותה באופן שהוביל לתגובה מערכתית רחבת היקף מצד מיקרוסופט. Aim פעלה בשיתוף פעולה עם מיקרוסופט בתהליך Responsible Disclosure, תהליך בו חוקרי אבטחה או מומחים באבטחה מעדכנים ארגונים או יצרנים על פגמים שנמצאו בהם, על מנת לדאוג לאבטחת הלקוחות של Copilot. זוהי הפעם הראשונה שבה Microsoft מכריזה על CVE, שיטת ייחוס לפגיעויות ידועות בתחום אבטחת מידע, של שירות AI ברמת סיכון קריטית.

מתן גץ, מייסד שותף ומנכ"ל מסר: "הפרצה 'EchoLeak' ממחישה את האתגרים הרבים בהגנה על אפליקציות AI, ומראה כיצד ניתן לבצע התקפות חמורות מבלי שהמשתמש ינקוט פעולה כלשהי. היום, כשארגונים מובילים מפתחים אפליקציות AI בעצמם, הם מבינים שאם מיקרוסופט חשופה, סביר להניח שגם אצלם קיימים אתגרים דומים. Aim גאה לשתף פעולה עם ארגונים מהשורה הראשונה בעולם לעזור לאבטח את התחום הבא".