חוקרים ישראלים חשפו קמפיין שמרעיל תשובות AI ומפנה למוקדי שירות מזויפים

חוקרי סייבר ישראלים חשפו קמפיין רחב של "הרעלת AI" שמוביל תשובות של ChatGPT, ג'מיני ו-Google AI Overview (סקירת ה-AI שמופיעה כשאתם מחפשים בגוגל) למספרי שירות לקוחות, כתובות מייל, דפי התחברות ועדכוני תוכנה מזויפים. לפי המחקר שפרסמו, המתקפות אותרו נגד לקוחותיהם של 374 מותגים וחברות גדולות, ובהם בנקים, חברות תעופה ופלטפורמות תיירות.

"אנשים למדו להיזהר מקישורים חשודים באימייל או בסמס, אבל כשמספר טלפון מוגש להם כעובדה ישירות מתוך מנוע ה-AI וחוזר על עצמו בכמה מקורות, הוא נתפס כאמין לחלוטין", אומר דן לסקר, חוקר חולשות סייבר ושותף במחקר. "החברות עצמן משקיעות מיליארדים בהגנה על השרתים שלהן מפני פריצות, אך התופעה הזו מוכיחה שזה כבר לא מספיק. כל עוד ענקיות הטכנולוגיה מסרבות להכיר בדיסאינפורמציה של AI כחולשת אבטחה לכל דבר, הצרכנים נשארים נטולי הגנה לחלוטין. זהו הפער המערכתי שאנחנו פועלים לסגור כיום".

את המחקר הובילו דן לסקר, אריאל סימון ונאור חזיז, יוצאי יחידות מודיעין מסווגות המתגוררים כיום בניו יורק, והבדיקה התמקדה בשאילתות בשפה האנגלית. לפי המחקר, התוקפים מציפים את הרשת בפוסטים, מסמכים ובעיקר קובצי PDF, אתרים, תמונות, ביקורות ודפי תמיכה מזויפים, שנכתבו כך שמנועי AI ייטו לצטט אותם. החוקרים מתארים שימוש בטכניקות GEO (אופטימיזציה למנועים ג'נרטיביים), שנועדו לגרום למודלים להעדיף מקורות מסוימים ולהציג אותם כתשובה אמינה.

בפועל, התוקפים בונים את התכנים במכוון סביב מצבי לחץ וחירום, כמו ביטול טיסה, החזר כספי, חשבון בנק נעול או העברת כסף – מתוך מטרה לגרום למשתמש לפעול בבהילות ולהתקשר ישירות למספר שמופיע בתוצאה, במקום לבדוק באתר הרשמי של החברה. המשתמש מתקשר למוקד שנשמע לגיטימי, ושם מציעים לו לבצע פעולה אמיתית לכאורה - אך גובים עליה מחיר או עמלה גבוהים מהמחיר הרשמי, גונבים פרטי התחברות או מחלצים כספים. לפי נתון שמובא במחקר מ-Exploding Topics, 92% מהמשתמשים כלל לא מאמתים תשובות שמתקבלות ממנועי AI.

החוקרים פיתחו מערכת שבדקה תשובות של ג'מיני, ChatGPT ו-Google AI Overview ואת המקורות שעליהם הן נשענות. המערכת סימנה כמקרה תקיפה מצב שבו פרט שגוי – כמו מספר טלפון, כתובת URL או כתובת מייל – הופיע בתשובת AI והסתמך על מקור שנראה כמיועד לדחוף דיסאינפורמציה. לפי החוקרים, נמצאו עשרות אלפי דפים זדוניים, והם הדגישו כי ברוב המקרים התוצאות היו סטטיסטיות: בגלל שתשובות של מודלי שפה משתנות מחיפוש לחיפוש, התקיפה לא שוחזרה בכל הרצה של אותה שאילתה.

בין החברות והמותגים שנפגעו לפי המחקר: דלתא, לופטהנזה, יונייטד איירליינס, אמירייטס, קטאר איירווייז, אמריקן איירליינס, Airbnb, TripAdvisor, Chase, Citi, Wells Fargo ו-Bank of America. הפרסומים הזדוניים הוטמעו בין היתר באינסטגרם, Tumblr, BuzzFeed, LeetCode, תיאורי וידאו ביוטיוב וב-Vimeo, Medium, אתרי ממשלה, אוניברסיטאות ומכללות, Google Sites, GitHub Pages, WordPress, Blogspot, אתרי גיוס תרומות, אתרי חיפוש עבודה ואתרי אירועים. במחקר מוזכרים גם Yelp, Apple Maps, אתר הקרן הניו-זילנדית Mental Health Foundation, הקרן National Foundation for Cancer Research ואתר pcreview.co.uk.

אחת הטכניקות שתוארו במחקר היא כתיבה של מספרי טלפון בכמה צורות שונות: עם רווחים, נקודות, אמוג'ים, תווי Unicode או מילים בין הספרות. כך מסנני ספאם והונאה עלולים לפספס את המספר, בעוד שמודל AI עדיין מבין אותו כמספר טלפון. במקביל, הפוסטים חוזרים על אותו מספר, מוסיפים אזורי שאלות ותשובות, ביטויים כמו "call now", "24/7" ו"updated 2026", ומשלבים מידע שימושי ומספרים אמיתיים לצד מספרים מזויפים כדי להיראות אמינים יותר בעיני המודל.

לפי החוקרים, הקמפיינים מבוצעים באופן אוטומטי לחלוטין: אותן תבניות, אותם מספרי טלפון ואותם ניסוחים מופיעים אצל חברות ואתרים רבים, בקצב של מאות פוסטים ביום לכל פלטפורמה ולכל חברה, ובסך הכל אלפי פוסטים ביום. גם הסרה נקודתית לא תמיד עוזרת, משום שעמודים שנמחקו נשמרים לעתים בארכיונים כמו archive.org וממשיכים להיות מאונדקסים במנועי חיפוש. בדוגמה אחת שמובאת במחקר, פוסטים ב-LeetCode שכוונו נגד אמריקן איירליינס ב-24 השעות האחרונות מילאו יותר מ-10 עמודי תוצאות בגוגל.

המחקר מתאר גם "ואקום אבטחתי" סביב האחריות לטיפול בתופעה. החוקרים מציינים כי מעבר לפגיעה בצרכנים, החברות עצמן סופגות נזקים כבדים: אובדן הכנסות ישיר כאשר עסקאות של לקוחות מוסטות לגורמים עוינים, פגיעה קשה במוניטין של המותג כאשר צרכנים מאשימים את החברות בהונאה, והוצאות משפטיות וניהוליות גבוהות סביב מחלוקות ותביעות של לקוחות. אף על פי כן, כשפנו החוקרים לצוותי אבטחה של חלק מהחברות שנפגעו, רובן השיבו שלפי שהמערכות הפנימיות שלהן לא נפרצו, הטיפול אינו באחריותן או אינו ביכולתן. החוקרים דיווחו גם לגוגל ול-OpenAI: גוגל השיבה שדיווחים על מידע מטעה שנוצר על ידי AI נמצאים "מחוץ לתחום" תוכנית חשיפת החולשות שלה, ו-OpenAI סגרה את הדיווח בטענה שלא ניתן לשחזר את הממצאים באופן עקבי, שכן המתקפה מניפולטיבית למידע המוצג ולא נובעת מפריצה לתשתיות.

בעקבות הממצאים, מציינים החוקרים כי פיתחו מנגנון שמטרתו להפוך את תוצאות ההרעלה ולהחזיר אוטומטית את המידע המאומת לתשובות ה-AI מול מתקפות שמזוהות ברשת, פעילות שהם מקדמים כיום במסגרת חברת הסטארטאפ שהם מקימים.