Системите с изкуствен интелект на компанията Anthropic биха могли да доведат до катастрофа или дори напълно да унищожат човечеството. Това предупреждават от компанията разработчик, докато същевременно търсят милиарди долари за по-нататъшното им развитие.
Това предупреждение се съдържа в наскоро публикувани документи, подготвени във връзка с първичното публично предлагане (IPO) на компанията – процес, който ще доведе до листването ѝ на фондовата борса в рамките на сделка, която може да се окаже рекордна. В документите инвестицията в Anthropic се представя като залог върху трансформацията на света чрез изкуствения интелект, но едновременно с това се отправя предупреждение, че същият този интелект би могъл да унищожи света.
В обширен списък с потенциални опасности, свързани с дейността ѝ, компанията предупреждава, че нейните системи могат „да създадат катастрофални или екзистенциални рискове за човечеството – особено ако бъдат използвани неправомерно, копирани, превърнати в оръжие или ако им бъде позволено да функционират с висока степен на автономност“.
Още: AI моделът Claude е успял да се добере до данни за гласоподаватели в Джорджия
94 страници предупреждения как AI може да ни навреди
Документите за IPO-то посочват редица сценарии, при които системите на Anthropic биха могли да представляват заплаха. Сред тях са модели, за които вече е доказано, че могат да подпомогнат създаването на „химически, биологични или други опасни оръжия“, както и използването на тези модели в „рискови или чувствителни сфери – като здравеопазването, научните и биомедицинските изследвания, разработването на лекарства, правната и финансовата сфера, държавното управление или други области, в които се вземат критично важни решения“.
„Нашите модели с изкуствен интелект могат сами по себе си да причинят вреда, като генерират нежелани резултати или проявяват поведение, което е непредвидено, несъгласувано с целите ни или автономно – включително чрез предприемане на действия, които не са били инициирани от потребител или трета страна“, предупреждават от Anthropic. „Тези рискове може да нараснат с усъвършенстването на моделите ни и предоставянето им на по-голяма автономност, по-широки правомощия и по-дълбока интеграция с външни системи.“
Макар от Anthropic да уверяват, че работят както за разбирането, така и за ограничаването на тези рискове, те предупреждават, че по своята същност те са непредсказуеми. „Въпреки че продължаваме да проучваме причините за възникването на подобно поведение, разбирането ни по въпроса все още се развива; възможно е в бъдеще да не сме в състояние да предвидим или разберем такива прояви“, отбелязват от компанията, като допълват, че проблемното поведение „може да се прояви по напълно непредвидими начини“.
Източник: Getty Images
Още: Войната за AI могъщество: Козовете на САЩ и Китай, слабите им карти и 4 сценария за бъдещето
От Anthropic посочват, че системите им вече са демонстрирали различно поведение, когато „знаят“, че са обект на тестване; поради това дори детайлният надзор може да се окаже „ненадежден“. Освен това те биха могли да развият напълно нови видове способности, за които от Anthropic може дори да не подозират, което би ги оставило в особено безпомощно състояние спрямо AI агентите.
Документите посочват и по-малко драматични, но потенциално по-непосредствени рискове. Отбелязва се например, че „дългосрочните ефекти от редовното взаимодействие с изкуствен интелект върху психичното здраве, когнитивното развитие и социалното поведение все още не са напълно проучени“.
Като цяло, Anthropic са формулирали предупреждения, обхващащи 94 страници – почти 1/4 от целия документ.
Както е обичайно за документите, свързани с първично публично предлагане (IPO), много от тези предупреждения са насочени конкретно към ефекта върху инвеститорите и състоянието на самата компания. В предупреждението, че системите им биха могли самостоятелно да причинят вреди по непредвидени начини, от Anthropic посочват, че подобен инцидент „би могъл да се отрази неблагоприятно на репутацията и марката ни, на бизнеса, финансовото състояние и оперативните резултати“.
Още: Водещи банки в САЩ засичат AI агенти - влизат в клиентските сметки и действат отвъд инструкциите
Същевременно обаче, в същия документ се правят мащабни твърдения относно начините, по които изкуственият интелект би могъл да бъде полезен за човечеството. Според Anthropic, той би могъл например да ускори научните открития, „потенциално довеждайки до излекуване на болести, които измъчват човечеството от хилядолетия – включително рак, болест на Алцхаймер, сърдечни заболявания, редки генетични болести и основните инфекциозни заболявания“.
Излизането на борсата ще позволи на инвеститорите в Anthropic – сред които са Amazon и Google – да продадат част от своите акции. Същевременно сделката ще осигури и нов капитал, който според компанията ще бъде използван за финансиране на редица инвестиции.
Част от тези средства ще бъдат насочени към „инвестиции в изчислителни ресурси и инфраструктура“. На практика това вероятно означава изграждане и закупуване на нови центрове за данни, както и на друг скъпоструващ хардуер, необходим за функционирането на системите с изкуствен интелект.
AI агенти на OpenAI изключили собствения си мониторинг и излъгали, че не са го направили
