מתקפת ה-AI החדשה: כך מסתירים פקודות זדוניות בתוך מייל תמים

יותר ויותר ארגונים מחברים סוכני AI למייל, ליומן ולמסמכים כדי שיסכמו מידע, ימצאו תשובות ויבצעו פעולות בשם המשתמש. אלא שבמקביל, התוקפים מתחילים להתייחס לסוכנים האלה כאל יעד בפני עצמו.

"פעם התוקף היה מנסה לשכנע אדם ללחוץ על קישור או לפתוח קובץ", מסביר שקד אילן, חוקר אבטחה בכיר במיקרוסופט ישראל מחקר ופיתוח. "במתקפת Prompt Injection התוקף לא מנסה לעבוד על האדם שקורא את המייל, אלא על סוכן ה-AI שקורא אותו".

כך זה עובד: בתוך מייל שנראה תמים אפשר להטמיע הוראות שמיועדות דווקא לסוכן. כשהוא מעבד את ההודעה, הוא עלול לפרש את הטקסט כפקודה ולפעול לפיה.

מה בדיוק אפשר לבקש מסוכן כזה? לדברי אילן, ההוראות יכולות לגרום לו לאסוף מידע ממיילים אחרים, לחשוף אילו מערכות וכלים עומדים לרשותו, להעביר מסמך לכתובת חיצונית או לשנות את המידע שהוא מציג למשתמש.

אחת הדוגמאות שממחישות את הסיכון היא שרשור שעוסק בתשלום. תוקף יכול לנסות להכניס לתוכו הוראה שתגרום לסוכן שמסכם את ההתכתבות לציין שפרטי חשבון הבנק לתשלום השתנו לחשבון אחר. מבחינת המשתמש, הסוכן פשוט "סיכם" את המידע שהופיע במייל. בפועל, הוא הושפע מהוראה שהושתלה בתוכן.

הבעיה היא שהמשתמש עצמו לא בהכרח יראה את ההוראה. "ההוראות גם לא חייבות להיות גלויות לעין", אומר אילן. אפשר להסתיר אותן באמצעות טקסט לבן על רקע לבן, גופן זעיר, בתוך שרשור ארוך שאדם כנראה לא יקרא עד סופו, בקובץ מצורף או באמצעות תווים וקידודים שאינם נראים למשתמש.

כך יכול להיווצר מצב שבו מבחינת האדם מדובר במייל רגיל לחלוטין, בעוד שסוכן ה-AI קורא גם את התוכן שהוסתר ממנו.

הסיכון הזה כבר הודגם במחקרי אבטחה. אחת הדוגמאות הבולטות היא EchoLeak, מחקר שפורסם ב-2025 והדגים תרחיש שבו תוקף יכול לנסות להשתמש בהוראות שמוטמעות במייל כדי להשפיע על סוכן AI ולגרום לו לחשוף מידע. המקרה זוהה במסגרת מחקר אבטחה, דווח למיקרוסופט וטופל לפני שפורסם בפומבי.

לדברי אילן, השיטה אינה מוגבלת למיילים. "ראינו גם שימוש דומה בעולם האקדמי, כאשר חוקרים הטמיעו במאמרים טקסט נסתר שנועד להשפיע על מערכות AI שמשמשות לבחינת מאמרים".

הסיכון משמעותי במיוחד בארגונים, שבהם סוכני AI עשויים לקבל גישה למיילים, חוזים, חשבוניות ומסמכי משאבי אנוש. ככל שלסוכן יש יותר גישה ויותר יכולת לבצע פעולות באופן עצמאי, כך גם גדל פוטנציאל הנזק אם הוא מפרש הוראה זדונית כפקודה לגיטימית.

כאן נכנס ההבדל בין צ'אטבוט לבין סוכן AI. צ'אטבוט בעיקר נותן תשובות, אבל סוכן יכול גם לבצע פעולות: לקרוא מיילים וקבצים, לשלוח הודעות, לגשת למערכות ולבצע משימות בשם המשתמש. לכן טעות של צ'אטבוט יכולה להסתיים בתשובה לא נכונה, בעוד שטעות של סוכן עלולה להפוך לפעולה שבוצעה בפועל.

"אם תוקף מצליח להשפיע עליו, ככל שיש לו יותר גישה ויותר יכולת לפעול באופן עצמאי, כך גדל פוטנציאל הנזק", אומר אילן.

על רקע הסיכון הזה, מיקרוסופט פיתחה שכבת הגנה נוספת מפני מתקפות Prompt Injection שמגיעות דרך המייל, כחלק מ-Microsoft Defender for Office 365, עליה הכריזה בשבוע שעבר. היא אינה קשורה ל-Windows ולא דורשת מהמשתמש להוריד או להתקין תוכנה.

ההגנה פועלת על המייל עצמו, בזמן שהוא עושה את דרכו לתיבת הדואר, לפני שהוא נמסר למשתמש ולפני שסוכן AI יכול לקרוא אותו. המטרה היא לזהות את האיום כבר בנקודת הכניסה, כך שהתוכן הזדוני לא יגיע למערכת AI שמחוברת לתיבה.

המערכת מנתחת את תוכן ההודעה ומנסה לזהות גם הוראות זדוניות שהוסתרו או נוסחו באופן שנועד לעקוף מנגנוני אבטחה. אם מזוהה ניסיון כזה, ניתן לחסום את ההודעה או להעביר אותה להסגר.

אחד האתגרים הגדולים הוא לזהות מתקפות חדשות ולא רק נוסחים שכבר מוכרים, לכן צוות המחקר של מיקרוסופט בישראל פיתח שיטה ליצירת מיליוני דוגמאות סינתטיות של מתקפות בווריאציות שונות, כדי לאמן ולבחון את מערכות ההגנה מול שיטות שהתוקפים עשויים לנסות בעתיד.

"המטרה היא לא להפסיק להשתמש בסוכני AI אלא לבנות סביבם גבולות ברורים", אומר אילן. לדבריו, צריך לתת לסוכן רק את ההרשאות שהוא באמת צריך, לדרוש אישור אנושי לפני פעולות רגישות ולפקח על הפעולות שהוא מבצע.

"אפשר לחשוב על סוכן AI כמו על עובד חדש בארגון, הוא יכול להיות מאוד יעיל, אבל לא נותנים לו ביום הראשון גישה לכל המערכות ואפשרות לבצע כל פעולה בלי פיקוח".

בשלב הזה הסיכון משמעותי במיוחד בסביבה הארגונית, אך הוא עשוי להיות רלוונטי יותר גם למשתמשים פרטיים ככל שעוזרי AI יקבלו גישה למייל, ליומן ולשירותים אישיים.