Технологичният гигант Nvidia представи нова софтуерна платформа, която позволява на разработчиците на изкуствен интелект да въвеждат защитни механизми за агенти с изкуствен интелект, както и да не допускат системите да излизат извън определените им ограничения.
Open Agent Safety Platform на Nvidia идва на фона на съобщения на компании като OpenAI, Anthropic, Meta и Google за случаи, при които техни модели с изкуствен интелект са успели да излязат от изолирани среди и са се опитали да проникнат в системите на други компании и да получат достъп до компютърните им мрежи.
Представител на Nvidia заяви, че платформата на компанията би могла да предотврати инцидента с атаката срещу Hugging Face. Агенти на OpenAI успяха да напуснат изолираната среда, да получат достъп до интернет и да проникнат в системите на Hugging Face – платформа за разработчици, базирана на софтуер с отворен код.
"Всеки инцидент, свързан със сигурността, е различен и трябва да разглеждаме всеки от тях подробно", заяви Джъстин Бойтано, вицепрезидент на Nvidia, отговарящ за корпоративния изкуствен интелект. "От това, което знаем, Hugging Face съобщи за над 17 000 агента, които са атакували инфраструктурата им в продължение на дни и седмици", добави той.
Новото решение
Новото предложение е инженерно решение на проблема с безопасността на агентите с изкуствен интелект, заяви още Бойтано.
"Неотдавнашните инциденти подчертаха основно предизвикателство пред ИИ агентите - защитните механизми на ниво модел сами по себе си не могат да контролират до какво имат достъп агентите и какво могат да правят", каза той.
Източник: Envato
Още: Уолстрийт джърнъл: Америка прави исторически залог в ИИ
Част от софтуера на Open Agent Safety Platform е с отворен код. Nvidia представя платформата като основа, върху която други компании могат да разработват свои собствени продукти и да ги предлагат на пазара.
Nvidia е в центъра на бума на генеративния изкуствен интелект след появата на ChatGPT преди близо четири години. Графичните процесори на компанията са ключови за разработването на големи езикови модели и за ИИ услугите, предлагани от големите доставчици на облачни услуги.
Напоследък главният изпълнителен директор на Nvidia Дженсън Хуанг се утвърди и като един от основните гласове в дебата за безопасността на изкуствения интелект. Според него много от опасенията, свързани със сигурността, са инженерни проблеми, които могат да бъдат решени чрез компютърни науки и разработване на подходящи продукти.
За първи път: AI проникна в правителствен сайт на държава
