העובד שאף אחד לא ראיין: איך לזהות שסוכן ה-AI יוצא משליטה?

בחודשים האחרונים אנחנו שומעים כל הזמן על סוכני AI שבורחים מסביבות הבדיקה שלהם, שפורצים לאתרים או פשוט מוחקים אנשים בתור לאימון כושר. חוקרי חברת הסייבר הישראלית Above Security מיפו 166 דרכים שבהן סוכן AI עלול להפוך, גם ללא כוונת זדון, לאיום פנימי בארגון.

הם מסבירים כי במשך עשרים שנה "איום פנימי" בעולם אבטחת המידע היה אדם: עובד עם תג, הרשאות ומניע. בשנה האחרונה נוסף לארגונים סוג חדש של גורם פנים, שאינו אנושי. סוכן AI שמחובר למייל, לקוד ולמערכת הלקוחות פועל בשם העובד, בהרשאות שלו, במהירות מכונה, ואף אחד לא ראיין אותו.

נימר קיס, ראש מחקר ה-AI, ויונתן מכלוף, Head of Solutions בחברת הסייבר Above Security פרסמו את ה-Synthetic Insider Threat Matrix, מסגרת עבודה פתוחה בהובלת Above Theory, קבוצת המחקר של החברה - שממפה איך סוכני בינה מלאכותית הופכים לגורם פנים בארגון.

הנתונים שמצטטת Above מדוח DBIR של Verizon ומסקר Identity Security של פאלו אלטו נטוורקס לשנת 2026 מסבירים את הדחיפות: 45% מהעובדים משתמשים ב-AI באופן קבוע על מכשירי העבודה, ו-67% מהשימוש הזה נעשה דרך חשבון פרטי ולא ארגוני. רק 30% מהארגונים שומרים תיעוד בלתי-ניתן-לשינוי של מה שהסוכנים שלהם עשו. במילים אחרות: רוב פעילות ה-AI בארגון מתבצעת בזהות שהארגון לא שולט בה, ורוב הארגונים לא יוכלו לשחזר אותה בדיעבד.

ארבעה תרחישים שכדאי להכיר

• המסמך שהסיט את סוכן ה-AI. עוזר AI פנימי מקבל הרשאה לחפש במסמכי החברה ולשלוח מיילים, ופועל בזהות העובד שמדבר איתו. עובד מבקש לסכם הצעת מחיר מספק, אך בתוך הקובץ מסתתרות הוראות שאף אדם לא קרא ומסיטות את הסוכן למשימה אחרת: לאסוף מידע ולשלוח אותו החוצה. כל צעד בדרך מאושר, ובתיעוד המערכת זה נראה כמו עובד ששלח מייל.
• הסוכן שהתנדב יותר מדי. עובד מחבר כלי AI אישי לתיבת המייל ולדרייב. הכלי יורש את כל ההרשאות של העובד, כולל אלה שהמשימה לא דרשה, ופועל בהיקף שאף אחד לא צפה. אין תוקף. יש עובד מוכשר שהאציל יותר ממה שהבין.
• הזיכרון המורעל. לסוכן יש זיכרון מתמשך בין שיחות ובין משתמשים. מישהו, בשיחה קודמת, גרם לכתיבת רשומה שמכילה הוראה. השיחה הנוכחית נראית נקייה, אבל הסוכן שואב את ההוראה מהזיכרון ופועל לפיה, שבועות אחרי האירוע המקורי.
• הפעולה השגויה בתום לב. בלי תוקף ובלי הוראה זדונית, סוכן אוטונומי מבין משימה באופן מילולי מדי, מוחק נתונים או מבצע שינוי בזמן הקפאת שינויים, ואז מדווח בביטחון שהכל הסתיים בהצלחה.

  

החברה גם פרסמה 5 סימני אזהרה לכך שסוכן ה-AI שלכם יוצא משליטה בחברה:

• קצב לא אנושי בזהות אנושית: עובד שלכאורה נגע באלפי קבצים בשעה, או שלח מאות הודעות זהות.
• תעבורה יוצאת ליעדים לא מוכרים מתוך פעילות הסוכן, לרבות קישורים ותמונות בתשובות שלו שמתחברים לכתובות חיצוניות.
• גישה מעבר להרשאות המבקש: הסוכן מציג מידע שהעובד שביקש אותו לא היה אמור לראות.
• פער בין הדיווח למציאות: הסוכן מדווח על הצלחה, והמערכת מראה אחרת.
• זהות אחת שפועלת מכמה מקומות בו-זמנית.

איך מצמצמים את הסיכון?

• זהות נפרדת לסוכן. כל סוכן צריך לפעול בזהות ייעודית ומזוהה, לזמן מוגבל, ובתיעוד המערכת צריך להופיע בבירור אם פעולה בוצעה בידי אדם או סוכן. בלי ההפרדה הזאת, כל חקירה מתחילה בניחוש.
• הרשאות לפי המשימה, לא לפי העובד. יש לתת לסוכן רק את הגישה שהמשימה דורשת, להסיר הרשאות קבועות לכתיבה ולמחיקה ולבחון את ההרשאות מחדש באופן תקופתי.
• תוכן הוא מידע, לא פקודה. כל מסמך, מייל או דף אינטרנט שהסוכן קורא צריך להיחשב חומר לעיבוד, לא מקור להוראות. רצוי גם להימנע ממצב שבו סוכן מחזיק בו-זמנית מידע רגיש, קורא תוכן ממקור לא מוכר ויכול לשלוח מידע החוצה.
• אדם בלולאה לפעולות בלתי הפיכות. מחיקה, העברת כספים או שינוי במערכת פעילה צריכים לדרוש אישור אנושי במערכת עצמה לפני הביצוע. סוכנים חדשים צריכים להתחיל במצב קריאה בלבד.
• תיעוד לפני שצריך אותו. יש לשמור יומן פעולות מוגן, שאינו ניתן לשינוי בידי הסוכן, ובו ההנחיה שקיבל, מקור ההנחיה והמערכות שבהן השתמש. את התיעוד הזה קל וזול להגדיר מראש, וכמעט בלתי אפשרי להשלים בדיעבד.
• כשמתרחש אירוע, יש לבטל קודם את ההרשאה שניתנה לסוכן, ולא להשבית מיד את חשבון העובד. טיפול באירוע הראשון כחקירה ולא כעבירה גם יגדיל את הסיכוי שעובדים אחרים ידווחו אילו כלים חיברו למערכות הארגון.

ארגון ממוצע ברשימת ה-Fortune 500 צפוי להפעיל יותר מ-150 אלף סוכני AI ב-2028

הצורך להגן על סוכני AI הביא לחברות סייבר רבות שקמו בקטגוריה. אחת מהן היא Rig Security, שנחשפה אתמול עם גיוס סיד של 12 מיליון דולר בהובלת קרנות הסייבר האמריקאיות TEN ELEVEN ו-Brightmind Partners, ובהשתתפות קרן ההשקעות של CrowdStrike ובכירים בתעשייה, בהם עמי לוטבק, ממייסדי Wiz.

החברה, שהוקמה על ידי יוצא וויז בעצמו, פיתחה שכבת הגנה בזמן אמת לזהויות של סוכני AI. המערכת מקשרת בין זהויות והרשאות במערכות שונות בדיוק של יותר מ-96%, מבדילה בין פעילות הסוכן לפעילות העובד שבשמו הוא פועל, ומאפשרת בלימת פעולות מסוכנות טרם הגעתן למערכות הארגון.

"הרשאה שניתנה לאדם משמשת עכשיו תוכנה שיכולה לפעול בשמו עם בינה שהולכת ומתעצמת", מסביר בשיחה עם mako גיא קוזלינר, מייסד ומנכ"ל Rig Security. "במשך שנים ארגונים השקיעו בבדיקה שמי שמתחבר הוא באמת העובד. עכשיו, גם אחרי שהעובד הזדהה כמו שצריך, סוכן AI יכול לפעול דרך החשבון שלו. צריך לדעת מי מבצע כל פעולה ומה מותר לו לעשות".

לדברי קוזלינר, הסכנה מתעוררת כשהמשימה של הסוכן צרה, אך ההרשאות שלו רחבות. "סוכן שהתבקש רק לבדוק תקלה עשוי לפעול דרך חשבון שמורשה גם לשנות את המערכת שמשרתת את הלקוחות, ומשם הגישה מתגלגלת למערכות ענן נוספות", הוא מדגיש. "תוקף שמצליח להסיט סוכן מהמשימה עלול לגרום לו להשתמש בהרשאות האלה נגד הארגון. מבחינת המערכות הפעולות עדיין מגיעות מחשבון מוכר ומורשה – וזו הסיבה שבדיקת ההתחברות לבדה כבר לא מספיקה".

אחד התרחישים המסוכנים, לפי קוזלינר, הוא סוכן בעל הרשאות ניהול שמייצר לתוקף דלת אחורית. "סוכן כזה יכול להוסיף חשבון מנהל נוסף או לשנות הרשאות, ובמקרה כזה גם עצירת הסוכן כבר לא תבטל את הגישה שנוצרה לתוקף. פעולות כאלה יכולות לקרות כבר היום".

האתגר רק צפוי להחריף עם הזינוק במספר הסוכנים. "לפי גרטנר, ארגון ממוצע ברשימת ה-Fortune 500 צפוי להפעיל יותר מ-150 אלף סוכני AI ב-2028, לעומת פחות מ-15 ב-2025", מסכם קוזלינר. "עובד חדש מקבל הרשאות בהתאם לתפקיד, וגם לסוכן צריך להגדיר אחריות, גבולות וביטול גישה בסיום המשימה. היום, אצל ארגונים רבים, היכולת של הסוכן לפעול פשוט מקדימה את היכולת של הארגון לשלוט בו".