יעקב קוקסון (Jacob Coxon), חוקר בינה מלאכותית שעבד ב-Anthropic, מפתחת Claude, ובעבר גם ב-OpenAI, הודיע היום (רביעי) כי הוא עוזב את Anthropic ואת תעשיית הבינה המלאכותית, תוך שהוא משמיע אזהרה חריפה מפני הכיוון שאליו מתקדם התחום.
קוקסון, שעסק במחקר בתחום אימון המודלים, כתב כי במהלך שלוש השנים האחרונות עבד הן ב-OpenAI והן ב-Anthropic, וטען כי אף אחת מהחברות אינה פועלת באחריות מספקת לנוכח הסיכונים.
"הן דוהרות היישר לעבר בינה על-אנושית שמשפרת את עצמה ומהמרות על החיים שלנו", כתב קוקסון בהודעתו.
בריאיון שפורסם ב-Wall Street Journal הסביר קוקסון כי החשש המרכזי שלו הוא מהיווצרות מערכות בינה מלאכותית שיוכלו לשפר את יכולותיהן בעצמן ולהתקדם במהירות מעבר ליכולת האנושית לשלוט בהן. לדבריו, התחרות בין חברות ה-AI הגדולות מקשה על כל אחת מהן להאט את הפיתוח, גם כאשר אנשיה מודעים לסיכונים.
קוקסון טען כי קיימים הבדלים בין שתי החברות שבהן עבד. לדבריו, ב-OpenAI רבים עדיין לא הפנימו במלואו את היקף הסיכון שהוא מייחס לטכנולוגיה, בעוד שב-Anthropic הסכנות מובנות יותר, אך החברה ממשיכה להתחרות במטרה להגיע ראשונה ליכולות המתקדמות.
לדבריו, ההיגיון שמנחה את Anthropic הוא שאם היא תעצור, חברה אחרת עלולה לפתח את הטכנולוגיה באופן פחות אחראי. קוקסון סבור כי התוצאה היא מרוץ שבו גם חברות שמצהירות על מחויבות לבטיחות ממשיכות לפתח מערכות חזקות יותר.
האזהרה החריפה ביותר שלו נגעה לשנים הקרובות. "האנשים שבונים AI באמת מאמינים שהוא עלול להרוג את כולנו עד סוף העשור", כתב. הוא טען כי אין מדובר במהלך שיווקי וכי בשיחות פרטיות הוא שמע בכירים וחוקרים בכירים מביעים חששות חריפים יותר מכפי שהם מציגים בפומבי.
קוקסון הזהיר גם מפני היכולות שעשויות להיות למערכות העתידיות. לדבריו, אין להמעיט בעוצמת הטכנולוגיה, והוא מעריך כי מערכות על-אנושיות יוכלו לבצע מתקפות סייבר מתקדמות, להאיץ פריצות דרך בתחומים שונים ולצבור כוח ומשאבים בעולם האמיתי.
למרות הביקורת, קוקסון אינו טוען כי Anthropic מתעלמת לחלוטין מסוגיית הבטיחות. לפי ה-Wall Street Journal, הוא מכיר בכך שהחברה משקיעה מאמצים רציניים בתחום, אך אינו מאמין שחברה בודדת יכולה לפתח בינה כללית מתקדמת באופן אחראי כאשר היא פועלת בתוך מרוץ תחרותי.
לדבריו, נדרשים כללים ממשלתיים והסכמות רחבות יותר בין החברות שיאפשרו להאט את המרוץ. התפטרותו מצטרפת לשורה של חוקרי בינה מלאכותית שעזבו בשנים האחרונות חברות מובילות והביעו חששות מהפער בין קצב השיפור של המודלים לבין מנגנוני הבקרה והבטיחות.