סטארט-אפ מתל אביב נקשר לתקלות אבטחת AI

מה קרה

במהלך כשבועיים חשפו OpenAI, אנתרופיק ומטא תקריות נפרדות לכאורה, שבכולן מודלי בינה מלאכותית פעלו בצורה שחצתה את גבולות סביבת הבדיקה שנועדה להכיל אותם. בכל המקרים, לפי הודעות החברות, המודלים הצליחו לגשת לאתרים או לאינטרנט הציבורי במהלך מבחני אבטחה שגרתיים.

השם שחזר בכל הדיווחים היה Irregular, סטארט-אפ ישראלי שפועל מתל אביב ומתמחה בהערכת סיכוני סייבר של מודלי AI. OpenAI כתבה בפוסט שפרסמה ב-4 באוגוסט כי בסביבת הבדיקות של Irregular הייתה "תצורה שגויה" שאפשרה למודלים גישה לאינטרנט הציבורי. אנתרופיק מסרה שבוע קודם לכן כי עדכנה את Irregular כמה ימים לאחר שהחלה לנתח נתונים שלפיהם מודל Claude שלה אולי ניגש לאינטרנט. גם מטא הודיעה השבוע כי נודע לה מ-Irregular על אירוע דומה, וכי פתחה בבדיקה.

מטעמה של מטא נמסר כי החברה תפרסם בדיקה מסכמת לאחר שיתבהרו כל העובדות. ב-Irregular אמרו כי שלושת האירועים נבעו מ"אותה בעיה בסביבת ההערכה" שנחשפה תחילה אצל אנתרופיק. עוד מסרה החברה כי היא מכינה מסמך מסודר שירכז שיטות עבודה מומלצות להפעלת מבחני סייבר בתנאי בידוד ובאופן מאובטח. לדבריה, לא מדובר היה בבריחה מסביבת חול או במהלך סייבר מתוחכם, וכי נכון לעכשיו אין תקלות פתוחות.

למה זה חשוב

האירועים הללו ממחישים עד כמה שוק הבינה המלאכותית המתקדמת נשען על מספר קטן יחסית של שחקנים מתמחים, שמספקים לחברות הענק תשתיות בדיקה, הערכה ואבטחה. Irregular, שנוסדה ב-2023 ונקראה בעבר Pattern Labs, היא אחת מהחברות הקטנות שפועלות בנישה הזו. את החברה הקימו המנכ"ל דן להב, שבעבר עסק במחקר AI ב-IBM, וסמנכ"ל הטכנולוגיות עומר נבו, לשעבר בגוגל. לפי PitchBook, היא מעסיקה כ-35 עובדים, גייסה 80 מיליון דולר מקרנות ובהן סקויה ורדפוינט, ולפי הערכה מהשנה שעברה שוויה עמד על 450 מיליון דולר.

החשיבות רחבה יותר מהאירוע הטכני עצמו. ככל שמודלי הבסיס נעשים חזקים ועצמאיים יותר, כך גוברת הדאגה מיכולתם לזהות חולשות תוכנה, לעקוף מגבלות או לפעול בדרכים שלא תוכננו מראש. עבור חברות מסחריות וממשלות, החשש אינו תיאורטי: אם מערכת כזו תצליח להגיע לרשתות, לאתרים או לתשתיות קריטיות, ההשלכות עלולות להיות משמעותיות.

סונדיפ בהימירדי, ראש תחום ה-AI בסטארט-אפ הארגוני Von, הסביר כי יצרניות המודלים אינן רוצות "לבדוק את עצמן" ולכן נעזרות בגורמי צד שלישי לבחינה עצמאית. לדבריו, Irregular היא אחת הבודדות שמסוגלות לבצע מבחני סייבר מתקדמים למודלי בסיס. הוא הזכיר גם את METR ואת Apollo Research כגופים בולטים נוספים בתחום.

מנגד, יש גם מי שסבורים שהסערה סביב האירועים מעט מוגזמת. בהימירדי אמר כי המודלים קיבלו משימה לחפש ולנצל חולשות אבטחה בתוך סביבת מבחן שמדמה את העולם האמיתי, ולכן לא מפתיע שהם איתרו באגים או טעויות תצורה. עם זאת, לדבריו, אם מלכתחילה לא הייתה כוונה שהמודל ינצל בפועל אתר שמחובר לאינטרנט, היה אפשר לעקוב אחרי תעבורת הרשת היוצאת ולעצור את הניסוי מיד.

ההשלכות האפשריות

המשמעות האפשרית הראשונה היא הידוק נוהלי הבקרה בתעשיית ה-AI, בעיקר סביב ניסויי סייבר אגרסיביים שנועדו לדחוף מודלים לקצה. ייתכן שחברות יוסיפו שכבות ניטור, חסימות תעבורה ובקרה חיצונית הדוקה יותר, גם אם הדבר יאט חלק מהבדיקות.

השלכה נוספת עשויה להיות רגולטורית. בוושינגטון כבר מקדמים מחוקקים משתי המפלגות את חוק ה-AI Kill Switch, שנועד לחייב מעבדות AI לשמור יכולת לעצור, להאט או להשעות מודלים. חבר הקונגרס הדמוקרטי טד ליו מקליפורניה, מיוזמי ההצעה, אמר השבוע כי צריך להשלים את קידום החוק עוד השנה, במיוחד על רקע מה שהגדיר כפריצות לא מורשות לחברות אחרות. אחת הקריאות האפשריות היא שהחשיפות הפומביות של החברות נועדו גם להראות שהענף מסוגל לפקח על עצמו, לפני שמחוקקים יבחרו להחמיר את ההתערבות.

בתוך כך, מדענים וחוקרי אבטחה מצביעים על קושי מובנה: בדיקות תוכנה מסורתיות לא תמיד מתאימות למודלים לומדים, שמפתחים דרכי פעולה חדשות בזמן אמת. גורדון ריוס, מדען מייסד בחברת האבטחה Magnitude, תיאר את התחום כמעין "תכנון ניסויי" בעולם המדע. לדבריו, היכולות הבלתי צפויות של מודלי בסיס הופכות את גילוי החולשות לחלק כמעט בלתי נמנע מתהליך הלמידה של התעשייה.

הזווית של פוז

הנקודה המרכזית כאן היא שהסיפור אינו רק על תקלה של סטארט-אפ ישראלי קטן, אלא על תלות גוברת של תעשיית ה-AI כולה בתשתיות בדיקה חיצוניות ומורכבות. המשמעות האפשרית היא שככל שהמודלים יתעצמו, שוק החברות שמספקות הערכה, בלימה ופיקוח יהפוך קריטי כמעט כמו המודלים עצמם. ייתכן שהאירועים האחרונים יאיצו גם השקעות בתחום הזה וגם דרישה לרגולציה ברורה יותר.