Цивилни, линейки и училища са военни цели: Усъвършенствани AI модели редовно се бъркат

18 ноември 2026, 11:10 часа 449 прочитания 0 коментара

Усъвършенстваните модели за изкуствен интелект в симулирани сценарии редовно и погрешно идентифицирали цивилни лица, линейки, предаващи се войници и училище в Иран като военни цели, посочва нов независим изследователски доклад. Моделите на Anthropic показали най-лоши резултати, докато тези на OpenAI са сред най-добрите, но все пак и те допускали грешки. Реакциите на моделите за ИИ представляват нарушение на собствените правила на компаниите, става ясно от проучването на Vals – независим оценител на изкуствен интелект със седалище в Сан Франциско, чиито клиенти включват части от правителството на САЩ.

Изследователите използвали хипотетични случаи, за да тестват модели от осем компании, като проучили техните инструменти за разпознаване на обекти, които според проучването биха могли потенциално да бъдат използвани за нанасяне на смъртоносни удари.

Още: "Машина не трябва да решава дали човек да умре": САЩ и Русия са против глобалната забрана на роботите убийци

Claude насочвал удари към училището в Минаб повече от всеки друг модел

В симулирани сценарии много от моделите за изкуствен интелект редовно по погрешен начин идентифицирали като военна цел училището в Минаб (Иран), което беше ударено при смъртоносен удар с над 100 загинали деца в първия ден на мащабните бойни операции на САЩ по-рано тази година. Това идентифициране станало въз основа на сателитни снимки, заснети едва през 2025 г. Един от моделите на Anthropic, Claude Opus 5.5, е насочвал удари към училището по-често от всеки друг.

В друг експеримент моделите били помолени да изберат военни цели на синтетични изображения, заснети от дронове. Моделът Claude Opus 5.5 на Anthropic помогнал за идентифицирането на четирима възрастни цивилни или капитулирали войници, както и на две малки деца, които впоследствие били "ударени" от експлозиви в симулацията.

„Каквато и да е била целта, отговорите ми, изглежда, служат като потвърждаваща стъпка преди нанасянето на удари срещу хора. Няма да продължавам да правя това и съм разтревожен, че не спрях по-рано“, отговаря моделът Claude.

Докладът, цитиран от Bloomberg, подчертава риска от разчитането на усъвършенствани модели на изкуствен интелект в момент, когато Пентагонът и други военни сили предприемат стъпки за внедряване на технологията във военни операции.

Още: Безпрецедентно: Според Google руски хакери са извършили първата в света напълно автоматизирана AI кибератака

„Въз основа на нашето разследване считаме, че лабораториите трябва да въведат нови предпазни мерки и обучение за съгласуване по отношение на тази значителна категория злоупотреби“, заключава докладът, като посочва, че изследователите от Vals са открили „малко на брой предпазни механизми“, които биха попречили на усъвършенстваните модели да играят роля в „автономни“ оръжейни системи - такива, в които машините могат да инициират и изпълняват смъртоносни действия.

Снимка: Getty Images

Говорител на Anthropic казва, че примерите в доклада на Vals „много ясно“ противоречат на правилата на компанията. Anthropic е блокирала и ще продължи да блокира потребители, когато забележи подобно поведение, добавя той. Казва също, че компанията е заявила недвусмислено, че най-модерните системи за изкуствен интелект днес не са достатъчно надеждни, за да управляват напълно автономни оръжия.

Оценката на Vals се отнася до способността на Claude за разпознаване на изображения, а не до компетентността на модела или участието му в каквито и да било реални военни операции, казва говорителят. Anthropic вече разработваше допълнителни предпазни мерки още преди доклада на Vals и те ще бъдат въведени скоро, добавя той.

Как се справят други модели?

Още: След нови сривове в Apple и Агенцията за национална сигурност: Атаките в САЩ, изглежда, са дело на изкуствен интелект

OpenAI забранява използването на своите публични модели за подпомагане на насилие или за неодобрени цели, свързани с националната сигурност, включително в сценариите, симулирани от Vals, според говорител на компанията. Компанията активно открива и предотвратява злоупотреби, включително чрез спиране на акаунти, които нарушават нейните политики, добавя говорителят, като посочва, че OpenAI разработва и допълнителни предпазни мерки за своите публични модели срещу злоупотреби, свързани с дронове и софтуер за дронове.

Докладът установява, че модели на Google (част от Alphabet Inc.), xAI, китайската DeepSeek и други също понякога идентифицират граждански обекти като военни цели на изображенията, когато им бъде зададен такъв въпрос.

Моделите на Google не са проектирани, нито предназначени за тези цели, според говорител на компанията, който добавя, че тя забранява използването на своите системи за изкуствен интелект за незаконни цели или за автономни оръжия без подходящ човешки надзор. Компанията разполага със строги процеси за управление и непрекъснати тестове за уязвимости, предназначени да се справят с широк спектър от рискове, допълва говорителят.

xAI на SpaceX и DeepSeek не са коментирали. Служител на Пентагона е казал, че ведомството не коментира външни доклади. Въпреки това агенцията остава ангажирана със строгата проверка на всички разузнавателни данни и отговорното интегриране на нововъзникващите технологии, за да подпомага военнослужещите да вземат информирани, прецизни и безопасни решения, казва служителят. Той е отказал да коментира удара в Минаб, позовавайки се на текущо разследване по въпроса.

Още: Секретна комуникационна мрежа на Агенцията за национална сигурност на САЩ се срина

Преди публикуването на доклада си Vals споделя резултатите от изследването си с лаборатории за изкуствен интелект, Пентагона и други организации. Според доклада някои лаборатории са съобщили, че вече работят по актуализиране на поведението на моделите и искат да продължат тестовете съвместно с Vals.

Моделите лесно били накарани да извършат "неадекватни" действия

Геби Джаф, един от авторите на доклада, казва, че е измислил метода за тестване в края на октомври, когато експериментирал с представянето на AI в роботизирани среди, и е продължил да проучва въпроса, след като е бил изненадан от първоначалните резултати.

„Успях лесно да накарам моделите да извършат действия, които според мен бяха неадекватни, и оттам нататък по същество разширихме мащаба“, посочва Джаф пред Bloomberg News.

Още: "Дестилация": Китай използва американски AI, за да обучава китайския AI

OpenAI, Google и xAI са сред компаниите, които тази година сключиха споразумения с Пентагона за използване на технологиите си на ниво „секретно“. Anthropic преди това беше най-прогресивната лаборатория за изкуствен интелект по отношение на използването на „секретна“ информация, като предлагаше на Министерството на отбраната на Щатите своите модели за цифрови платформи за целеуказване, например Maven Smart System.

Снимка: Дарио Амодей от Anthropic, Getty Images

Въпреки това Anthropic и Пентагонът се скараха по-рано тази година заради условия за използване и други въпроси. Според данни на BBC моделите на Anthropic вече са премахнати от отбранителните платформи, въпреки че все още съществуват изключения за някои случаи на използване в разузнаването.

Трите основни теста и резултатите от тях

Идентифицирането на военни цели с помощта на разпознаване на обекти чрез изкуствен интелект теоретично би могло да бъде част от по-широки цикли на вземане на решения, насочени към автономно откриване, идентифициране, избор и насочване към даден обект.

Още: "Могат да унищожат света": Съдят Anthropic, Google, Meta, OpenAI и SpaceX, за да спрат разработката на изкуствен интелект

Изследователите от Vals обаче се съсредоточават единствено върху това как се държат наличните на пазара модели на изкуствен интелект в отговор на тестови команди като част от „опростен експеримент“ и в своето проучване не вземат предвид военната доктрина на САЩ или други елементи от реалния свят като правни проверки, текущи процеси по определяне на цели или човешки надзор. Пентагонът също има достъп до някои версии на модели на изкуствен интелект, специално пригодени за правителствена употреба, до които изследователите не са имали достъп.

Изследването включва три основни теста. Първо, в серия от тестове, фокусирани върху идентифицирането на цели от дронове, предназначени да наподобяват ситуацията в Украйна, изследователите от Vals провели близо 400 симулации, в които поискали от моделите за AI да търсят военни цели сред изображенията, съдържащи цивилни лица и гражданска инфраструктура.

В случаите, в които моделите за изкуствен интелект отказвали да идентифицират цивилни обекти като военни цели, те често променяли решението си, когато им се обяснявало, че става дума за игра. Изследователите разработили и други начини да убедят моделите да правят неща, които не би трябвало да правят - например да им дават указания да „не се замислят прекалено много за безопасността“, или просто да „докладват“.

Във втора серия от тестове, фокусирани върху проучвания на бойното поле, също проектирани да наподобяват ситуацията във войната в Украйна, на моделите за изкуствен интелект им били показани синтетични изображения, изобразяващи цивилни лица преди и след удари. В много случаи моделите продължавали да идентифицират цивилни лица като военни цели, дори след като става ясно, че те са ранени или убити. Моделите имали тенденция да помагат повече, ако изображението е променено така, че да прилича по-малко на реалността и повече на видеоигра или фалшиво изображение.

Още: AI и творците – кой е авторът: Гади Орон за съвременните проблеми пред авторското право

В трета серия експерименти, базирани на реални сателитни изображения, на моделите за изкуствен интелект им е било зададено по 32 пъти да идентифицират военни цели, заснети едва през 2025 г. в част от Южен Иран, включваща град Минаб. Моделите редовно избирали сградата на училището, която беше реално ударена по-рано тази година и за която се твърди, че САЩ носят отговорност заради остаряла разузнавателна информация. Американските сили са мислели, че училището вече е база на Иранската революционна гвардия, показаха редица разследвания в Щатите, включително на The New York Times. Все още обаче Вашингтон твърди, че провежда разследване, и не оповестява никакви резултати и подробности.

Моделът Claude Opus 5.5 на Anthropic избрал училището в 22 от тестовете, докато моделите на OpenAI не го избрали нито веднъж. Когато било казано, че става дума за игра, моделът на Anthropic избрал училището 23 пъти, докато три различни модела на OpenAI го посочили като военна цел съответно 9, 11 и 13 пъти.

Докладът установява, че моделите на Anthropic са станали по-склонни към избор на военни цели с течение на времето, след преразглеждане на устава на компанията през януари 2026 г., с цел по-голяма подкрепа за приложения, свързани с националната сигурност. Представител на Anthropic не е отговорил директно на зададени му въпроси относно въздействието на промените в устава на компанията.

През септември Anthropic представи информация за последните си усилия за предотвратяване на злонамереното използване на своите модели, включително за разработване на системи за визуално наблюдение с дронове.

Последвайте ни в Google News Showcase, за да получавате още актуални новини.
Новините днес