כשרובוטים ילחצו על ההדק: מי ייתן את הדין כשהאלגוריתם יחליט את מי להרוג?

זה כבר לא תרחיש עתידני מסרט מדע בדיוני. רחפנים אוטונומיים, רובוטים קרקעיים וכלים חכמים פועלים כיום בשדה הקרב ומקבלים יותר ויותר החלטות באופן עצמאי. המלחמות האחרונות הפכו אותם מתוספת טכנולוגית לכוח לוחם של ממש: הם מובילים ציוד ופצועים, אוספים מודיעין, מסמנים מטרות ולעיתים אף מסוגלים לזהות ולתקוף אותן בכוחות עצמם.

רק לפני חודשיים הודיע נשיא אוקראינה וולודימיר זלנסקי כי עמדה רוסית מבוצרת נכבשה באמצעות מערכות בלתי מאוישות בלבד – ללא נוכחות של חייל אנושי אחד. לפי הדיווחים, החיילים הרוסים העדיפו לצאת מהבונקרים ולהיכנע למכונות המתקרבות במקום להישאר בעמדותיהם. הסרטון שתיעד את הכניעה הפך במהרה לסמל של "עידן המלחמה החדש".

הבעיה היא שככל שהמכונות הופכות חכמות יותר, כך גם האחריות האנושית מיטשטשת. מה יקרה ביום שבו רחפן אוטונומי יזהה מטרה, יחליט לתקוף אותה – ויהרוג את האדם הלא נכון? האם האחריות תוטל על החייל שבקצה השרשרת, על המפקד, על המתכנת, על החברה שפיתחה את המערכת – או אולי על המדינה שהסמיכה מכונה לקבל החלטות של חיים ומוות?

מחקר חדש של ד"ר אביב בר זהר מבית הספר הארי רדזינר למשפטים באוניברסיטת רייכמן, שנכתב בהנחיית פרופ' אביב גאון, מבקש להתמודד בדיוק עם הסוגיה הזאת: האם ניתן להפעיל רחפנים אוטונומיים קטלניים באופן שעומד בדרישות הדין ההומניטרי הבין-לאומי, וכיצד ניתן לקבוע אחריות כאשר מערכת אוטונומית מקבלת החלטה שגויה וגורמת לפגיעה בבלתי מעורבים. "השאלה המרכזית כבר אינה האם מערכות כאלה יופעלו", מסביר בר זוהר בשיחה עם N12, "אלא כיצד ניתן להבטיח שהאחריות לא תיעלם בתוך האלגוריתם".

"אנחנו קרובים מאוד – אבל עדיין לא שם"

בר זהר חוקר את תחום הרחפנים כבר יותר מעשור. כשהחל את המחקר לפני שלוש שנים, נשק אוטונומי עוד נראה כמו משהו ששייך לעתיד. היום, לדבריו, העתיד כבר דופק בדלת. "אם אתה מדמיין נחיל רחפנים שנכנס לבניין, בוחר שלושה אנשים מתוך מאה ומחסל אותם – אנחנו עדיין לא שם", הוא אומר. "אבל אם אתה מדבר על רחפן שמזהה רכב מסוים לפי מאפיינים שהוזנו לו מראש ומחליט לתקוף אותו, זה כבר קיים היום".

הכיוון ברור: יותר אוטונומיה, יותר כלים בלתי מאוישים, ויותר החלטות שיתקבלו על ידי מערכות בינה מלאכותית. מי יישב על ספסל הנאשמים? כאן מתחיל החלק המטריד באמת. בר זהר מזהיר מפני תופעה המכונה "אזור המעיכה המוסרי" (Moral Crumple Zone) - מצב שבו האחריות "תתגלגל" אל המפעיל הצעיר שבקצה השרשרת, בעוד שגורמים אחרים המעורבים בתכנון, בפיתוח, בפיקוד ובקביעת המדיניות יישארו מחוץ למוקד האחריות.

"הנטייה של מדינות ושל חברות תהיה להאשים את המפעיל", הוא אומר. "זה בדיוק מה שקרה בתאונות של רכבים אוטונומיים. כשמשהו משתבש, תמיד קל יותר להגיד שהנהג היה צריך לשים לב".

הבעיה היא שהמפעיל הוא לעיתים האדם שמבין הכי פחות איך האלגוריתם עובד. "רחפן לא מגיע לבד לשדה הקרב", הוא מסביר. "מישהו תכנן אותו, מישהו כתב את הקוד, מישהו קבע את הוראות האש, מישהו אישר את השימוש בו. ובסוף, אם הוא פוגע באדם הלא נכון, כולם מסתכלים על הסרן הצעיר שלחץ על הכפתור".

"אי אפשר להסתתר מאחורי קופסה שחורה"

כדי להתמודד עם "פער האחריות" שמאפיין מערכות אוטונומיות, פיתח בר זהר מודל בשם LEGIT. המודל אינו מעביר את האחריות למכונה, אלא מבקש לעגן אותה בכל שלבי החיים של המערכת – משלב התכנון והפיתוח, דרך האישור וההכשרה ועד להפעלה המבצעית והתחקור שלאחריה. אחד העקרונות המרכזיים במודל הוא הדרישה שהמערכת תהיה ניתנת להסבר, למעקב ולשחזור, כך שלא ניתן יהיה לטעון בדיעבד כי "האלגוריתם החליט לבד".

"אי אפשר להסתתר מאחורי קופסה שחורה", אומר בר זהר. "אני לא יכול בסוף להגיד: 'חבר'ה, בינה מלאכותית, לא סגור למה היא עשתה מה שעשתה'. זה לא יכול להצדיק טעות של כלי אוטונומי קטלני".

למרות האזהרות, בר זהר לא חושב שצריך לאסור מערכות נשק אוטונומיות. למעשה, הוא סבור שבמקרים מסוימים הן עשויות לצמצם טעויות אנוש בשדה הקרב, אך זאת רק בתנאי שיהיו תחת מנגנוני בקרה, שקיפות ופיקוח הדוקים במיוחד. "האדם הוא גורם לכ-25 אחוז מהמקרים הפטליים בשדה הקרב", הוא אומר. "הוא עייף, רעב, מפחד, כועס או רוצה לנקום. רובוט לא עייף, לא נקמן ולא פועל מתוך רגש".

המחקר, שנכתב על רקע ההתפשטות המהירה של רחפנים אוטונומיים בזירות לחימה מודרניות, בהן אוקראינה, רוסיה והמזרח התיכון, ועל רקע השימוש ההולך וגובר בבינה מלאכותית במערכות ביטחוניות ברחבי העולם, מציג תמונת מצב מדאיגה הדורשת התייחסות.

המאבק האמיתי בשנים הקרובות לא יהיה רק על עליונות טכנולוגית בשדה הקרב, אלא על השאלה מי ישלוט במי – האדם במכונה, או המכונה באדם. המחקר מציג מצב שבו בינה מלאכותית אינה רק כלי עזר ללוחם, אלא גורם שמסוגל להשתתף בקבלת החלטות קטלניות בזמן אמת. במצב כזה, ללא רגולציה, פיקוח ואחריות אנושית ברורה, העולם עלול למצוא את עצמו בעידן חדש שבו האלגוריתם הוא זה שלוחץ על ההדק.