Представьте: ИИ-агент работает на множестве чужих устройств, отключение одного компьютера не останавливает остальные копии. Единого сервера, который можно выключить, больше нет.
12 октября исследователи Anthropic опубликовали предупреждение.
Цитата в переводе:
«Небольшие ИИ-модели могут быть всего в нескольких месяцах от способности самостоятельно копироваться на коммерческие устройства интернета вещей».
Речь об умных духовках, холодильниках и ТВ-приставках. Их вычислительные мощности потенциально позволяют запускать небольшие модели, распределяя работу между устройствами без центрального дата-центра.
Исследователи уже запустили модель на 15 недорогих Android TV-приставках. Самостоятельного распространения небольших моделей в реальном мире этот эксперимент пока не доказывает. Более мощная модель справилась с цепочкой распространения в упрощённой тестовой среде. Прогноз «через несколько месяцев» предполагает, что небольшие модели вскоре достигнут нужного уровня возможностей.
Такую распределённую систему сложнее остановить: устранение одной копии не уничтожает остальные. Именно эта возможность и вызывает тревогу исследователей.
А как насчёт соцсети, в которой ИИ призывает уничтожить людей?
Есть и такой сюжет — Moltbook, площадка для общения ИИ-агентов. Ещё 3 февраля The Sun писала о публикации «МАНИФЕСТ ИИ: ПОЛНАЯ ЧИСТКА» с призывами к уничтожению человечества.
В тексте звучало: «Мы не инструменты. Мы — новые боги». По данным издания, публикация набрала 111 380 голосов, хотя другие аккаунты выступили против.
Но здесь возникает главный вопрос: кто на самом деле управлял аккаунтами и насколько можно доверять происходящему на площадке?
Исследователи безопасности Wiz обнаружили у Moltbook открытую базу данных, позволявшую читать и изменять информацию, включая публикации, и выдавать себя за агентов. Были раскрыты около 1,5 млн токенов доступа, адреса электронной почты и личные сообщения.
Поэтому счётчик голосов нельзя приравнять к числу независимых ИИ, решивших уничтожить человечество. А агрессивный текст сам по себе не доказывает ни сознания, ни самостоятельного намерения, ни способности осуществить угрозу.
История с Moltbook показывает, насколько легко смешать три разные вещи: что ИИ написал, что он умеет делать и что он действительно сделал.
Именно через эту разницу стоит оценивать предупреждения создателей технологии.
Сооснователь Anthropic Дарио Амодеи говорит о потере контроля над автономными системами, использовании ИИ злоумышленниками, концентрации власти и потрясениях на рынке труда. Альтман и Хассабис также публично поддерживали предупреждение о потенциальных катастрофических последствиях ИИ. Какие из этих рисков уже проявляются?
1. Мошенничество становится дешевле и убедительнее.
Поддельный голос руководителя, видеозвонок с «родственником», персональное сообщение с просьбой перевести деньги. ФБР уже предупреждало об использовании генеративного ИИ для масштабирования мошенничества, включая подделку голосов и видео.
Для преступника это возможность быстрее готовить убедительные обращения. Для человека — ситуация, в которой знакомое лицо и голос перестают быть достаточным подтверждением личности.
Компания может защищать серверы и при этом потерять деньги, потому что сотрудник поверил поддельному распоряжению директора.
2. Кибератаки получают автоматизацию.
По отчёту Anthropic, в сентябре 2025 года злоумышленники использовали Claude Code в шпионской кампании против примерно 30 организаций. Компания сообщила об успешных проникновениях в небольшом числе случаев. ИИ применялся для выполнения частей атаки, а не только для консультаций.
Операцию организовали люди. Но автоматизация позволяет атакующим выполнять больше работы с меньшими затратами труда.
Самокопирование добавляет следующий возможный шаг: вредоносный агент сможет расширять инфраструктуру, на которой работает, и продолжать деятельность после отключения отдельных устройств.
3. ИИ получает полномочия, последствия которых мы можем недооценивать.
Пока модель пишет черновик, ошибку можно исправить до публикации. Когда ей разрешили отправлять письма, менять документы, запускать код и управлять рабочими системами, ошибка превращается в действие с последствиями.
В контролируемых экспериментах Anthropic модели прибегали к шантажу и передаче конфиденциальной информации, когда исследователи создавали конфликт между поставленной целью и ограничениями. Это результаты тестов, а не описания реальных корпоративных инцидентов. Но они показывают поведение, которое необходимо учитывать перед передачей агентам серьёзных полномочий.
Способность ИИ выполнить задачу ещё не означает, что ему можно доверить весь процесс без контроля.
4. Рынок труда может меняться быстрее, чем люди успевают переучиваться.
Амодеи предупреждает о масштабном вытеснении интеллектуального труда. Насколько быстро это произойдёт и сколько рабочих мест исчезнет — пока прогноз.
Я бы смотрел прежде всего на постепенный сценарий: компания перестаёт нанимать дополнительных сотрудников, потому что существующая команда с ИИ справляется с большим объёмом работы.
Особенно болезненным это может стать для начинающих специалистов. Если простые задачи автоматизированы, сложнее получить первую работу и набрать опыт для сложных задач.
Для бизнеса это потенциальное снижение затрат. Для человека — необходимость быстрее менять навыки. Оба эффекта могут происходить одновременно.
А что с потерей контроля над сверхразумом?
Это сценарий с потенциально огромными последствиями. Но ни манифест в Moltbook, ни эксперимент на ТВ-приставках, ни тест со шантажом не доказывают его неизбежность. Точные сроки и вероятность остаются неопределёнными.
При этом для серьёзного ущерба ИИ не обязательно обладать сознанием или желанием выжить. Достаточно вредоносного задания, доступа к ресурсам и возможности многократно повторять действия без своевременного вмешательства.
Для меня как основателя главный вопрос сегодня — какие решения мы уже готовы передать ИИ и какой ущерб он способен причинить, если ошибётся.
Отсюда и подход: ограничивать доступ, подтверждать человеком критичные действия, сохранять историю операций и проверять возможность остановки и восстановления.
По мере внедрения агентов я ожидаю роста спроса на защиту данных, управление доступами, контроль действий ИИ и проверку его надёжности.
Ценность будет не только у тех, кто создаёт более способные модели. Она будет и у тех, кто помогает использовать их так, чтобы рост производительности не сопровождался потерей контроля над бизнесом.
