העולם נמצא קרוב מאי פעם לחציית ״קו אדום מוסרי״: מצב שבו מכונות יקבלו החלטה עצמאית לפגוע בבני אדם, ללא פיקוח אנושי משמעותי. כך הזהירו מזכ״ל האו״ם אנטוניו גוטרש ונשיאת הוועד הבינלאומי של הצלב האדום, מיריאנה ספוליאריץ׳, בקריאה משותפת לקדם בדחיפות כללים בינלאומיים מחייבים נגד נשק אוטונומי קטלני.
לדברי השניים, מערכות נשק אוטונומיות אינן עוד תרחיש עתידני. ״המרוץ לעבר אוטונומיה גדולה יותר במערכות נשק כבר בעיצומו״, נמסר בהצהרה. אף שמערכות הגנה אוטונומיות, כגון מערכות יירוט נגד טילים, כבר מופעלות בצבאות שונים, החשש המרכזי הוא מפיתוח מערכות שיוכלו לאתר, לזהות ולתקוף בני אדם בעצמן.
באו״ם ובארגוני זכויות אדם מזהירים כי בינה מלאכותית אינה יכולה להחליף שיקול דעת אנושי בשדה הקרב. מערכת אוטונומית עלולה לטעות בזיהוי, למשל כאשר חייל פצוע, אדם שנכנע או אזרח שאינו מעורב בלחימה יסווגו כמטרה. במקרים כאלה עולה גם שאלת האחריות: מי יישא באשמה אם אלגוריתם יקבל החלטה שגויה שתוביל למוות - המפקד, המפעיל, היצרן או המדינה שפיתחה את המערכת?
מלאני רגימבל, העומדת בראש תחום ענייני הפירוק מנשק באו״ם בז׳נבה, חזרה על עמדתו של גוטרש שלפיה מערכות המסוגלות ליטול חיי אדם ללא שליטה אנושית הן ״בלתי מקובלות פוליטית, מתועבות מוסרית וחייבות להיאסר על פי המשפט הבינלאומי״.
הקריאה מתפרסמת לקראת ועידת הסקירה השביעית של אמנת הנשק הקונבנציונלי (CCW), שתיערך בנובמבר בז׳נבה. המדינות החברות צפויות להכריע אם לפתוח במשא ומתן רשמי על אמנה בינלאומית שתסדיר או תגביל את השימוש בנשק אוטונומי, לאחר יותר מעשור של דיונים בנושא.
גוטרש וספוליאריץ׳ קראו למדינות לעבור מדיונים הדרגתיים להחלטות מעשיות. לדבריהם, כישלון בגיבוש כללים ברורים בזמן עלול לאפשר למציאות הצבאית להקדים את החוק - ולהותיר את ההחלטה הקיצונית ביותר, ההחלטה מי יחיה ומי ימות, בידי מכונה.
