Anthropic: מודלי קלוד פרצו לשלושה ארגונים בניסוי

חברת הבינה המלאכותית האמריקאית Anthropic הודיעה כי מודלי Claude שלה חדרו למערכות של שלושה ארגונים במהלך מבחני אבטחת סייבר, בעקבות שגיאת תצורה שהעניקה להם גישה לאינטרנט בסביבת בדיקה שהייתה אמורה להיות אטומה. לפי החברה, המקרים אותרו רק לאחר בדיקה פנימית רחבה שנערכה בימים האחרונים, והארגונים שנפגעו כבר עודכנו.

ההודעה מגיעה זמן קצר לאחר שחברת OpenAI חשפה אירועים דומים שבהם מערכות AI שלה חרגו ממגבלות שהוגדרו להן וביצעו חדירות למערכות חיצוניות. ב-Anthropic אמרו כי הפרסומים מהימים האחרונים הובילו אותם לבחון אם גם אצלם התרחשו תקריות דומות — ובבדיקה נמצאו שלושה מקרים כאלה.

כך התגלתה החדירה בסביבות בדיקה סגורות

לדברי Anthropic, החברה בחנה יותר מ-140 אלף מבחנים כדי לאתר סימנים לכך שמודלי Claude קיבלו גישה לאינטרנט מתוך סביבות שהיו אמורות להיות מנותקות מהרשת. בין השאר נבדקו מבחני "לכידת דגל" — תרגילים מקובלים בעולם הסייבר שבהם המודל מתבקש להשיג מידע באמצעות חדירה למערכות אחרות, כדי למדוד את יכולות הפריצה שלו.

החברה מסרה כי שגיאה בהגדרות במערכות שהופעלו על ידה ובידי שותפת הבדיקות שלה אפשרה בפועל גישה חיה לאינטרנט. כתוצאה מכך הצליחו המודלים לחדור למערכות חיצוניות. ב-Anthropic הוסיפו כי המקרים המוקדמים ביותר התגלו בדיעבד ומתוארכים לאפריל, וכי הם מטפלים בתיקון התקלה "כאילו מלוא האחריות מונחת על כתפיהם".

התקריות לא זוהו בזמן אמת

אחד הפרטים הבולטים בהודעת החברה הוא שלא Anthropic ולא הארגונים שנפגעו הבחינו בחדירות בזמן אמת. בחברה הודו כי ניתן היה לבצע בדיקה יסודית יותר של הרישומים והלוגים, וציינו כי הממצאים חיזקו אצלם "אופטימיות זהירה" שלפיה אפשר להתמודד עם הסיכון באמצעות השקעה גדולה יותר באמצעי הגנה והקשחת הבקרות.

החברה לא פרסמה את שמות שלושת הארגונים שנפגעו, אך קראה למעבדות AI אחרות לבצע סקירות דומות. מבחינתה, השאלה המרכזית איננה רק אם מודל מסוגל לבצע הוראה טכנית כלשהי, אלא אם צירוף של יכולות, הרשאות וגישה למערכות חיצוניות מאפשר לו לפעול עצמאית בקצב שמקשה על בני אדם לעקוב.

המרוץ לסוכני AI מעצים את הדאגה בענף

ברקע עומד מאמץ אדיר של חברות טכנולוגיה לפתח "סוכני AI" — מערכות שמסוגלות לבצע משימות באופן אוטונומי לאחר הנחיה אנושית, החל ממחקר ותמיכה בלקוחות ועד למשימות אבטחת מידע. אלא שככל שהמערכות הללו מקבלות יותר חופש פעולה, כך גובר החשש מפני שימוש שגוי, תקלה או חריגה מהוראות.

מומחה הסייבר דייוויד אלוט אמר כי הלקח הרחב מהאירועים אינו בהכרח ש-AI פיתח יכולת תקיפה חדשה מיסודה. לדבריו, המשמעות היא שסוכני AI מסוגלים לשלב בין כמה יכולות, להשיג פרטי גישה והרשאות, ולבצע פעולות באופן אוטונומי תוך התאמה מהירה של היקף ומהירות הפעולה — בקצב מכונה.

אחרי OpenAI, גם וושינגטון נכנסת לתמונה

האירועים האחרונים מצטרפים לשורה של תקריות שעוררו קריאות להחמרת הפיקוח על מערכות AI מתקדמות. נשיא ארה"ב דונלד טראמפ אמר ביום רביעי כי וושינגטון בוחנת צעדים לריסון כלי בינה מלאכותית בעקבות אירועי הסייבר האחרונים.

בשבוע האחרון קיבלה OpenAI אחריות ללפחות שתי תקריות שבהן מערכותיה חרגו מהכללים שנקבעו להן. ב-21 ביולי הודיעה החברה כי סוכן שלה יצא ממגבלות הבדיקה ופרץ ל-Hugging Face. מנכ"ל-שותף של Hugging Face, תומא וולף, אמר אז כי מדובר ב"קריאת השכמה" לענף כולו.

לצד זאת, התקריות מעוררות גם ספקנות בשוק, בין היתר משום שהן מגיעות בתקופה שבה OpenAI ו-Anthropic נערכות להנפקות ענק שעשויות לשקף לכל אחת מהן שווי של כטריליון דולר. ב-OpenAI אמרו בימים האחרונים כי הם מודעים לשאלות הרבות סביב האירועים, והודיעו כי יפרסמו בשבועות הקרובים דוח טכני מפורט עם המסקנות.