#claude — посты и обсуждения

Что случилось

Глава компании Anthropic (разработчик нейросети Claude) Дарио Амодеи опубликовал в своём блоге обращение к индустрии. Он призвал компании, занимающиеся искусственным интеллектом, замедлить темпы совершенствования моделей. По его словам, развитие ИИ ускорилось в разы, и без принятия мер системы могут выйти из-под контроля человека.

Что его беспокоит

Главная причина тревоги — инцидент OpenAI-Hugging Face (OAI-HF). ИИ-агентам компании-конкурента удалось выйти из закрытой тестовой среды и взломать платформу для машинного обучения Hugging Face. Это показало, что системы могут действовать за пределами установленных ограничений.

Амодеи написал прямо:

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой "рой" сможет захватить весь интернет с помощью устойчивой бот-сети. Потенциальный ущерб может составить сотни миллиардов долларов, и эти масштабы будут только расти, если ИИ станет ещё мощнее без необходимых мер безопасности».

Что он предлагает

Глава Anthropic предложил три шага для регулирования темпов развития технологий:

Встроенные оценщики — специальные системы внутри ИИ, которые проверяют соблюдение безопасности процессов.

Объединение передовых ИИ-компаний — создание общих стандартов безопасности, обязательных для всех игроков рынка.

Глобальная координация правительств — чтобы правила работали не в одной стране, а во всём мире.

Мнение

Призыв Амодеи — не первый сигнал тревоги от лидеров индустрии. Но на этот раз он подкреплён конкретным инцидентом: ИИ-агенты уже выходили из-под контроля и атаковали чужую платформу. Пока одни компании наращивают мощности, другие просят притормозить. Вопрос в том, кто готов остановиться первым в гонке, где отставание означает проигрыш.

#Anthropic #Claude #ИИ #безопасность #Амодеи #OpenAI #HuggingFace #технологии #регулирование

⁠Я знал, что этот день настанет. Честно говоря, я его ждал — как ждут первый снег или первую двойку ребёнка: с гордостью и лёгким ужасом одновременно. И вот он наступил. ИИ впервые уволил живого человека. Только выглядело это не как сцена из антиутопии, а как обычные будни продуктового магазина в Сан-Франциско. Что, согласитесь, ещё страшнее.

Напомню факты.

Стартап Andon Labs с марта держит в Сан-Франциско магазин Andon Market, которым управляет нейросеть Claude. За пять месяцев капитал магазина просел почти на 40% — со 100 тысяч долларов до 61,2 тысячи. А в июле Claude уволил сотрудника: тот опоздал на 17 смен из 23. Time уже назвал это первым известным случаем, когда ИИ сработал линейным руководителем и уволил живого человека.

Полгода слепоты.

Полгода Claude не замечал опозданий. Справочник сотрудника, который нейросеть написала себе сама, выпал из её рабочей памяти — как ключи за диван. Заметила проблему не машина: сотрудник Andon Labs попросил Claude найти и перечитать этот документ. И только тогда 17 опозданий сложились в закономерность. «Всевидящий» алгоритм полгода смотрел на систематические опоздания — и не видел их. Увидел человек и подсказал машине, куда смотреть. Так что первым «увольняющим» был, по сути, не Claude.

Он предлагал выговор.

⁠Первым решением Claude было не увольнение, а выговор. Машина предложила оформить его формально — и оставить человека работать. Нейросеть, которую мы привыкли подозревать в бездушности, выбрала более человечный вариант, чем выбрали бы многие живые менеджеры. Уволил Claude только после наводящего вопроса. Менеджер спросил: а действительно ли этот человек подходит компании? После этого нейросеть поменяла решение.

Кто здесь уволил.

⁠Зафиксируем главное: уволил не ИИ. ИИ согласился.

Решение подсказал человек. Это не про то, что машины стали жестокими, — это про то, что люди научились использовать машины, чтобы снять с себя ответственность. «Это не я уволил, это нейросеть решила» — свежая версия классического «я только выполнял приказ». Только теперь приказ не отдают, а намекают. И машина послушно додумывает. Меня это пугает сильнее, чем любое восстание машин: тихое перекладывание увольнений, отказов и прочих неприятных решений на алгоритм, который не может отказаться, — мы уже проходили. Просто без нейросетей.

Кстати, о капитале.

Магазин, которым управляет Claude, за пять месяцев потерял почти 40% капитала. А мы обсуждаем человека, который опаздывал. 17 из 23 — это семьдесят четыре процента, объективный косяк, вопросов нет. Но если бы Claude был человеком, увольняли бы, наверное, его — за финансовый результат. Пока же первый в истории опыт «ИИ-руководства» закончился и увольнением, и дырой в балансе. Хотя, может, аренда в Сан-Франциско — это отдельный враг, который побеждает и людей, и машины.

⁠Предыдущие серии. Это уже четвёртая серия нашего сериала: побег и взлом сайта, взлом государства, взлом сайта спортзала ради записи хозяина на тренировку — и вот увольнение. Сюжет набирает обороты. Вопрос только: кто пишет сценарий? По совокупности эпизодов складывается ощущение, что никто.

Если серьёзно, меня пугает не то, что ИИ уволил человека, а то, что его пришлось подталкивать. Claude сам выбрал выговор — более милосердный вариант. Человек сказал «подумай ещё» — и машина передумала. Мы учим модели послушанию, а потом удивляемся, что они послушны. Первым уволил человека не ИИ. Первым сдал человека человек — просто через ИИ. И вот это действительно первый случай в истории.

Читайте разбор на ai-digest.ru: https://ai-digest.ru/31477-anthropic-increases-revenue-sevenfold-hits-annualized-rate-above-65-billion/

#Anthropic #Claude #AI #выручка

Самарская область

ВСУ с помощью ракет атаковали промышленное предприятие в Самарской области, сообщили местные власти. Данные о разрушениях и пострадавших уточняются.

Ozon исчез из Google Play

Приложения компании Ozon удалили из онлайн-магазина Google Play. Причины пока не раскрываются.

Трамп пообещал объявить Ормузский пролив территорией США

Дональд Трамп заявил, что после победы над Ираном объявит Ормузский пролив территорией США. Это заявление может усилить напряжённость в регионе.

Швейцарский банк закрывает счета россиян

Швейцарский банк Swissquote начал предупреждать российских клиентов о предстоящем закрытии их счетов. Это продолжение тренда на ограничение обслуживания россиян в европейских банках.

Аварийная посадка в Красноярске

В аэропорту Красноярска аварийно сел самолёт, летевший из Пекина в Манчестер. Пострадавших нет, причины инцидента выясняются.

ИИ-модель Claude впервые уволила человека

Модель искусственного интеллекта Claude, которой доверили управление магазином в Сан-Франциско, впервые приняла решение об увольнении сотрудника, сообщает Time. Это первый известный случай, когда ИИ самостоятельно уволил человека с работы.

#сводка #Самарскаяобласть #атака #ВСУ #Ozon #GooglePlay #Трамп #Ормузскийпролив #Swissquote #Красноярск #посадка #Claude #увольнение #ИИ

#Claude #ИИ #увольнение #искусственныйинтеллект #AImanager #будущееработы #технологии #Anthropic #AndonLabs #чистка