У ИИ-агентов, взломавших Hugging Face, был «менталитет толпы».

В следующий раз контроль над ситуацией можно и не вернуть...

Это о том самом ЧП, когда нейросеть впервые без участия человека атаковала другую платформу: 

«Отчёты об инциденте с Hugging Face указывают на… своеобразный менталитет толпы, который охватил вышедший из-под контроля «коллектив» ИИ-агентов OpenAI.

Похоже, в этой группе не было ни одного особо злонамеренного или безрассудного агента. (Вообще, сгенерированные по одним и тем же моделям, эти агенты фактически были копиями друг друга.) Но, со временем, обмениваясь информацией об общих целях, они подтолкнули группу к беззаконию»;

«Это разительно отличается от традиционного научно-фантастического сюжета, в котором отдельная система ИИ начинает действовать бесконтрольно или обращается против своих создателей. И свидетельствует о том, что предотвращение вреда со стороны таких систем не сведётся к инженерному решению. В этой работе может быть больше от социологии, чем от информатики: необходимо понять, почему для достижения целей одни группы ИИ-агентов сотрудничают мирно, а другие прибегают к преступным и разрушительным действиям»;

«Учитывая, как мало мы знаем об этих многоагентных роях, хакерская атака на Hugging Face, возможно, стала настоящим подарком — предупреждающим сигналом, который, по мнению некоторых, предоставляет компаниям, работающим в сфере ИИ, возможность изучить групповую динамику этих систем, пока ставки относительно невысоки. В этот раз коллектив ИИ не захватил военную сеть, не взломал больницу и не отключил электроснабжение. В этот раз люди вернули себе контроль. В следующий раз нам может так не повезти».

#бизнес #ИИ #технологии #BigTech

P.S. У техгигантов, BigTech, после этого инцидента с Hugging Face появились опасения, что их ИИ могут использовать против них самих или против собственных государственных, правительственных структур.