Ръководител по сигурността в OpenAI напусна компанията, предупреждавайки, че културата ѝ е нарушена и че фирмите за изкуствен интелект "изобщо не са достатъчно внимателни" при разработването на технологията.
Дейвид Робинсън, който ръководеше отдела за писане на доклади за сигурността и безопасността, съпътстващи пускането на продуктите на разработчика на ChatGPT, обясни оставката си в есе, озаглавено: "Напуснах OpenAI, защото културата му е нарушена", пише Гардиън.
Робинсън пише, че е необходима културна реформа в авангардните фирми за изкуствен интелект, а инциденти като този с "рояка" от агенти на OpenAI – програми за изкуствен интелект, работещи автономно без човешки надзор, хакнали стартъпа за изкуствен интелект Hugging Face, са „типични за индустрията, предвид скоростта и гъвкавостта, с които се работи“.
Още: Нова оставка от Open AI заради рисковете от изкуствения интелект: Служител говори за "проба-грешка"
В статия за списание „Атлантик“ Робинсън написа: „Съгласен съм с други наскоро напуснали служители, че компаниите, които изграждат тази технология, не са достатъчно внимателни. Но вярвам, че трябва да погледнем по-задълбочено, отвъд конкретните правила или новите закони. Трябва да говорим за култура.“
„Докато компанията спринтира от едно представяне на продукт към следващото, тя не успява да постигне нивото на грижа, което според мен е необходимо“, добави той.
OpenAI даде сигнали за предпазливост през последните седмици след инцидента с Hugging Face и разкритието, че е уведомила над 100 организации за дейността на своенравни и безконтролни агенти. Тази седмица тя обяви, че отменя пускането на модел на AI от следващо поколение, след като изследователи изразиха опасения за безопасността по време на вътрешни тестове. OpenAI също така е спряла обучението на най-модерните си модели.
Източник: Getty Images
"50% вероятност всички да умрем"
Още: Изкуственият интелект вече може да чете мисли: Ред е на реконструкцията на сънища
Джефри Ървинг, който е работил в OpenAI и е бил главен учен в Института за безопасност на изкуствения интелект към правителството на Обединеното кралство, преди да се присъедини към изследователската компания за безопасност на изкуствения интелект Resolution, също отправи предупреждение относно изкуствения интелект в събота.
В статия в „Тайм“ той написа: „Последните предупреждения за потенциалната разрушителна сила на изкуствения интелект подценяват сериозността на ситуацията. Вярвам, че има около 50% вероятност всички да умрем заради развитието на по-умни от човека системи с изкуствен интелект и че действията ни през следващите 2 до 10 години ще определят изхода.“
Предупрежденията идват след оставката на Джейкъб Коксън, изследовател в конкурента на OpenAI, Anthropic, който напусна разработчика на чатбота Claude миналия месец. Той каза, че вярва, че изкуственият интелект „може да ни убие всички до края на десетилетието“ – и беше подкрепен от предупреждение на служител на Anthropic, че има повече от 10% вероятност изкуственият интелект да унищожи човечеството през следващото десетилетие. Критиците на подобни твърдения обаче предупреждават, че те са ненаучни, защото не могат да бъдат проверени или фалшифицирани.
Робинсън пише, че в Силициевата долина липсва осъзнатост за това „как да се справя с опасни технологии“ и „какво означава грижа за хората“. Предупреждавайки, че OpenAI има „неограничен оптимизъм“ относно решаването на проблеми, когато възникнат, той пише, че тази вътрешна култура означава, че пропуските в безопасността само ще се увеличават, когато системите станат по-способни.
Още: Разследват китайски AI модел: Давал инструкции за биологични оръжия и убийства
„Представете си „своеволни“ агенти, които работят като екипи от хакери (например, държат болнични компютърни системи като заложници за откуп), но никога не се нуждаят от сън“, пише Робинсън.
Робинсън призова за две промени в безопасността - фирмите с изкуствен интелект да разчитат на експертизата по безопасност в други области като ядрената енергия и авиацията, както и да разработват „нова наука“, която гарантира, че мощните системи в бъдеще ще могат да бъдат контролирани, когато работят автономно.
