Claude, чатботът, разработен от Anthropic, е сигнализирал полицията след като потребителка от щата Флорида в САЩ, която го използвала като личен дигитален дневник, записала, че "ще застреля шерифа на окръг Лий". 30-годишната Карли Хелър написала думите на 26 септември, а на следващия ден тя добавила и запис за придобиването на "ново оръжие".
Автоматизираните системи за сигурност на Anthropic маркирали съобщенията заради наличието в тях на ключови думи за насилие и екстремизъм. Според вътрешните протоколи за безопасност, след като автоматичната система е засякла потенциална заплаха, тя ги е предала за човешка проверка. Екип по безопасността на Anthropic е прегледал текста и е преценил, че има реален риск. Компанията незабавно подава сигнал до офиса на шерифа в окръг Лий.
Хелър е арестувана и е обвинена в отправяне на писмена/електронна заплаха за извършване на масова стрелба или терористична атака, което е тежко престъпление по законите на щата Флорида. В досието по делото са включени записите й в Claude.
Още: Украйна за първи път свали руски реактивни дронове с роботизирани кули
Този инцидент е част от поредица случаи, в които потребители споделят опасни или незаконни намерения с ИИ (включително планове за самонараняване или насилие), след което компаниите подават сигнали към полицията или службите за спешна помощ.
