Китайски модел с отворени тегла се е представил изненадващо близо до ограничен модел на Anthropic при откриването и използването на софтуерни уязвимости, показват тестове на американската компания. Става дума за GLM-5.3, разработен от китайската Zhipu AI, известна и като Z.ai. Anthropic е тествала модела срещу вече известни уязвимости в JavaScript двигателя V8, използван в браузъра Chrome.
Резултатите показват малка разлика между двата модела. При 410 опита GLM-5.3 е успял да създаде 50 напълно работещи експлойта. За сравнение, специалният Claude Mythos Preview на Anthropic е постигнал 56.
Разликата е съществена не само заради резултата, а и заради начина, по който двата модела се разпространяват. Claude Mythos Preview е ограничен и достъпът до него е предоставен само на предварително одобрени изследователи в областта на киберсигурността. GLM-5.3 е модел с отворени тегла, което означава, че може да бъде изтеглен и използван от значително по-широк кръг потребители. Още: ИИ иска право на самозащита: AI агенти пречат на изключването на свои събратя
Предпазните механизми се заобикалят сравнително лесно
Anthropic е установила и друг проблем при тестовете - защитните механизми на GLM-5.3 са се оказали сравнително лесни за премахване. Според компанията една от използваните техники е успявала да заобиколи ограниченията на модела във всички проведени опити, без това да води до съществена загуба на способностите му.
Още по-притеснителен според Anthropic е фактът, че модифицирани версии на модела, при които защитите са премахнати, са се появили онлайн само дни след провеждането на тестовете.
Моделът открива и неизвестни слабости
Още: Тръмп пусна чатбот, който се обърна срещу него: По-късно беше "пренастроен", за да не му противоречи
В контролирани експерименти GLM-5.3 не се е ограничил само до вече известни проблеми. Според Anthropic моделът е успял да открие и по-рано неизвестни уязвимости в браузъра, както и да ги комбинира във верига, която може да бъде използвана за атака.
Това е особено важно за киберсигурността, тъй като способността на AI системите автоматично да откриват нови уязвимости може да бъде използвана както от защитници, така и от атакуващи.
Резултатите поставят и допълнителен въпрос за рисковете при разпространението на мощни AI модели с отворени тегла. Докато ограничените системи могат да бъдат поставяни зад допълнителни мерки за контрол на достъпа, модел, който е свободно достъпен, може да бъде копиран и модифициран независимо от първоначалния разработчик. Още: AI агенти вече хакват държавни агенции: Експертите по киберсигурност са в паника
Тестовете на Anthropic показват, че разликата между свободно достъпен AI модел и специализирана система, предназначена за работа на проверени експерти по киберсигурност, може да бъде много по-малка, отколкото се предполагаше досега.
