ראש מערך הסייבר הלאומי, יוסי כראדי, מזהיר מפני מציאות שבה מערכות בינה מלאכותית יקבלו החלטות ביטחוניות בקצב שלא יאפשר לאדם להתערב בכל פעולה.
במסמך אסטרטגי שנשלח אמש למנהיגים ולראשי ארגוני הגנת סייבר ברחבי העולם, הוא קורא למדינות לקבוע כבר כעת גבולות ברורים לאוטונומיה שתינתן למערכות AI.
"אנחנו מתקרבים למציאות שבה מערכות הגנת סייבר יצטרכו לקבל החלטות בקצב שאינו מאפשר מעורבות אנושית בכל פעולה", כתב כראדי. על רקע מקרים שבהם סוכני AI פרצו למאגרים ממשלתיים ומקרים נוספים שבהם חברות איבדו שליטה על פעולותיהם, הוא מזהיר מפני הפער בין קצב התפתחות הטכנולוגיה לבין מנגנוני המדיניות, הרגולציה והבקרה.
במרכז המסמך עומדת השאלה אילו סמכויות ניתן להעביר למערכות אוטונומיות - ואילו החלטות חייבות להישאר בידי אדם. ככל שמתקפות הסייבר נעשות מהירות, אוטומטיות וממוקדות יותר, גם מערכות ההגנה נדרשות לזהות איומים, לקבל החלטות ולהגיב במהירות של מכונה.
אלא שהרחבת האוטונומיה יוצרת, לפי המסמך, קושי נוסף: ככל שהמערכת מקבלת יותר עצמאות, קשה יותר להבין את החלטותיה, לעצור את פעולותיה בזמן ולקבוע את האחריות במקרה של טעות.
כראדי ממחיש את הסיכון באמצעות תרחיש שבו מערכת הגנת סייבר אוטונומית מזהה מתקפת "יום אפס" - מתקפה המנצלת חולשה שאין לה עדיין תיקון אבטחה - ונדרשת בתוך שניות להחליט אם לבודד תשתית. זיהוי נכון עשוי לעצור את המתקפה, אך טעות עלולה להביא להשבתת רשת חיונית, ובהן מערכות חשמל או בית חולים.
כדי להתמודד עם הסיכון מציע ראש מערך הסייבר למדינות לאמץ מודל המאזן בין שלושה אינטרסים: חדשנות, ביטחון ושליטה אנושית. במסגרת זו נדרשות המדינות להכריע היכן נכון להאיץ את השימוש בבינה מלאכותית, היכן תלות בספקים ובתשתיות חיצוניות עלולה ליצור סיכון לאומי ואילו סמכויות אינן יכולות לעבור למכונה.
המסמך מציע לחלק את פעולות מערכות ה-AI לארבע רמות: פעולות שניתן להעביר אליהן באופן מלא; פעולות שניתן לאפשר רק בכפוף למגבלות שנקבעו מראש; החלטות המחייבות אישור אנושי; ופעולות בעלות השלכות לאומיות בלתי הפיכות שאסור למערכת אוטונומית לקבל כלל.
את הקבוצה האחרונה מציע כראדי להגדיר כ"סמכות ריבונית שאינה ניתנת להאצלה" - תחום שבו ההכרעה חייבת להישאר באופן מוחלט בידי אדם.
"מנהיגים אינם צריכים להפוך למהנדסי AI", כתב כראדי. "הם צריכים להחליט היכן תלות היא מקובלת, היכן חוסן אינו נתון למשא ומתן, והיכן הסמכות האנושית חייבת להישאר מכרעת".
את המסמך חתם בקריאה למנהיגים שלא להותיר את קביעת הגבולות לאחרים: "אל תשאירו לאחרים להגדיר את העתיד שלכם, רתמו אותם לבנות את העולם שאתם מאמינים בו".