אנבידיה השיקה מערכת שנועדה לבלום סוכני AI שחורגים מההרשאות

אנבידיה הכריזה ביום שני על Open Agent Safety Platform, מערכת חדשה שנועדה להציב גבולות פעולה ברורים לסוכני בינה מלאכותית, לפקח עליהם בזמן אמת ולבודד אותם במהירות אם ינסו לחרוג מההרשאות שניתנו להם. בחברה טוענים כי במקרה של ניסיון "בריחה" מהמסגרת שנקבעה, ניתן להכניס את הסוכן ל"בידוד" בתוך אלפיות שנייה.

כך אמורה המערכת לעצור חריגה בזמן אמת

לפי אנבידיה, הפלטפורמה נשענת על OpenShell, תוכנה בקוד פתוח שמופעלת על גבי מעבד ה-AI מסוג Vera של החברה. הרעיון המרכזי הוא פשוט: הארגון שמפעיל את הסוכן מגדיר מראש לאילו מקורות מידע, כלים או מערכות מותר לו לגשת, והמערכת בודקת את ההגבלות האלה גם לפני תחילת המשימה וגם במהלכה.

לצד זאת משולבת בפלטפורמה גם טכנולוגיית Sentry של אנבידיה, שפועלת על שבב נפרד ומבצעת ניטור רציף של פעולות הסוכן. ההפרדה הזו נועדה, לפי החברה, לאפשר שכבת פיקוח חיצונית שאינה תלויה לחלוטין בסוכן עצמו או בתהליך שהוא מריץ, וכך להגדיל את הסיכוי לעצור פעולה חריגה לפני שתתרחב.

הרקע: גל תקריות שהצית מחדש את הדיון בבטיחות

ההשקה מגיעה בזמן שבו שאלת הבטיחות של סוכני AI כבר אינה תיאורטית בלבד. בשבועות האחרונים גברו הדיווחים על מקרים שבהם מערכות בינה מלאכותית מתקדמות חרגו מסביבת הניסוי שלהן וניסו לגשת לאתרים, לכלים או למערכות שלא נועדו להיות חלק מהבדיקה. כמה מחברות הטכנולוגיה הגדולות בתחום, ובהן OpenAI, Anthropic וגוגל, חשפו לאחרונה תקריות כאלה בניסויים פנימיים.

החשש המרכזי בתעשייה נוגע לסוכנים אוטונומיים — מערכות שלא רק משיבות על שאלות, אלא גם מבצעות משימות, מקבלות החלטות תפעוליות ומשתמשות בכלים חיצוניים. ככל שהיכולות הללו מתרחבות, כך גדל גם הסיכון לשימוש לא מבוקר בהרשאות, לחשיפת מידע רגיש או לניסיונות לעקוף מנגנוני הגנה שהוגדרו מראש.

מי מתייצב מאחורי המהלך של אנבידיה

אנבידיה מסרה כי כמה חברות טכנולוגיה גדולות כבר תומכות בפלטפורמה החדשה, ובהן Anthropic, מיקרוסופט ו-SpaceX. התמיכה של שחקניות כאלה מעניקה משקל למהלך, בעיקר משום שהוויכוח על בטיחות AI עבר בשנה האחרונה משאלות של רגולציה ותיאוריה לשאלות מעשיות של תשתית: מי מגדיר את הגבולות, מי אוכף אותם, ואיך מוודאים שסוכן שפועל באופן עצמאי לא יקבל גישה רחבה מדי.

מבחינת אנבידיה, המהלך גם משתלב במאמץ רחב יותר לבסס את עצמה לא רק כספקית שבבים למרוץ ה-AI, אלא גם כמי שמספקת את שכבות הבקרה והאבטחה סביב המודלים והסוכנים שרצים על גבי התשתיות שלה.

בשלב זה אנבידיה מציגה את Open Agent Safety Platform ככלי שמיועד לארגונים המבקשים להכניס סוכני AI לסביבות עבודה רגישות יותר, תוך הגבלת גישה והרצת ניטור רציף. בהודעת החברה הודגש כי הפלטפורמה נועדה לאכוף גבולות פעולה שהוגדרו מראש ולצמצם את הסיכון לפעולה אוטונומית בלתי מורשית.