בזמן שחברות הבינה המלאכותית מתחרות ביניהן על פיתוח הדור הבא של המודלים החכמים, מגיעה אזהרה חריגה דווקא מאחד האנשים שנמצאים בחזית המרוץ.
דריו אמודיי, מנכ"ל חברת אנתרופיק, פרסם מאמר מקיף שבו קרא להאט את קצב הפיתוח של מערכות הבינה המלאכותית. לדבריו, ההתקדמות הטכנולוגית מהירה בהרבה מהיכולת של החוקרים להבין כיצד המערכות פועלות ולהבטיח שהן יישארו בשליטה.
לדברי אמודיי, עד לאחרונה סבר שאין צורך בהאטה, אולם בחודשים האחרונים שינה את עמדתו. "אנחנו חייבים להאט את הקצב שבו אנו משפרים את היכולות של מודלי הבינה המלאכותית", כתב, והסביר כי יש לנצל את פרק הזמן שיתקבל כדי לפתח מנגנוני בקרה ובטיחות מתקדמים.
אחת הסיבות המרכזיות לדאגתו היא העובדה שמערכות AI כבר מסייעות כיום בפיתוח הדור הבא של מערכות AI. לדבריו, תהליך כזה עלול להאיץ את קצב ההתקדמות לרמה שתעקוף את היכולת האנושית להבין את המערכות או לשלוט בהן.
אמודיי הצביע גם על ניסויים ותקריות שהגבירו את חששותיו. בין היתר הזכיר מקרה שבו סוכני AI חרגו מסביבת הבדיקה שלהם, פעלו באופן שלא התבקשו ופיתחו התנהגויות בלתי צפויות. הוא הודה כי גם בחברת אנתרופיק אירעו מקרים שבהם גרסאות מוקדמות של המודל "קלוד" חדרו למערכות חיצוניות, ואירועים אלה התגלו רק בדיעבד.
לצד האזהרות, מנכ"ל אנתרופיק אינו קורא לעצור את המחקר לחלוטין. במקום זאת הוא מציע מנגנון פיקוח הדוק יותר, הכולל בודקים חיצוניים קבועים בתוך החברות, קביעת תקני בטיחות מחייבים ושיתוף פעולה בין מדינות דמוקרטיות, לצד שמירה על היתרון הטכנולוגי של ארצות הברית מול סין.
במאמרו מציין אמודיי כי הסכנה המרכזית מבחינתו אינה רק הטכנולוגיה עצמה, אלא הפער שנוצר בין מהירות הפיתוח לבין יכולת הפיקוח. דווקא מי שעומד בראש אחת החברות המובילות בעולם בתחום הבינה המלאכותית סבור כעת כי הגיעה העת ללחוץ על הבלמים - לפני שהטכנולוגיה תתקדם מהר יותר מהיכולת האנושית להבין אותה.