Утром после пожара остановился дата-центр «Яндекса», а днем перестали открываться сайты ведущих СМИ и других сервисов. Причину второй волны удалось установить: ошибку допустила компания, которая защищает интернет-ресурсы от DDoS-атак.
Утром 8 октября российские компании разбирались с последствиями остановки дата-центра «Яндекса» в Сасово. После атаки беспилотников и пожара из строя вышла зона доступности Yandex Cloud ru-central1-b. Облачный провайдер переключал нагрузку на другие площадки, а его клиенты восстанавливали работу своих сервисов. Казалось, причина перебоев понятна. Подробнее об этом происшествии IT-World рассказывал в отдельном материале.
Но около четырех часов дня российские сайты снова начали массово исчезать из интернета. В 15:57 мск «Ведомости» сообщили о недоступности собственного сайта, а также РБК, «Интерфакса» и РИА Новости. Поступали жалобы на работу «Авито», «Профи.ру», Ivi, T2 и банковских сервисов. Не открывался даже «Сбой.РФ», собирающий сообщения о подобных происшествиях. К 16:05 сайт «Ведомостей» заработал, но проблемы у других ресурсов сохранялись.
На фоне утренней аварии возникло предположение, что ее последствия оказались шире первоначальных оценок. Однако вскоре выяснилось, что у дневного сбоя был другой источник. Причем довольно неожиданный: сайты перестала обслуживать система, которая должна защищать их от атак.
Компания Curator, предоставляющая услуги защиты от DDoS-атак, признала сбой в собственной сети. Как сообщили ее представители изданию «Код.ру», с 15:32 до 16:04 мск инфраструктура Curator не принимала трафик из-за внутренней ошибки конфигурации. Неполадки продолжались 32 минуты, практически совпав с периодом массовой недоступности ряда российских сайтов.
Связь прослеживается не только по времени. Сайты «Коммерсанта», «Интерфакса», «Ведомостей» и «Вестей» использовали сеть Curator. При этом «Лента.ру», «Газета.ру» и Mail.ru оставались доступными. Не открывался и сайт самого Curator.
Причина, по которой ошибка одного провайдера затронула сразу несколько независимых ресурсов, кроется в принципе работы защиты от DDoS-атак. При ее подключении пользовательский трафик сначала поступает в сеть защитного провайдера, где фильтруются подозрительные запросы. Остальные перенаправляются на серверы клиентов. Если защитная сеть перестает принимать трафик, сайты становятся недоступными, даже когда их собственные серверы продолжают работать.
Таким образом, для одновременного отключения нескольких крупных СМИ оказалось достаточно ошибки в инфраструктуре общего поставщика защиты. При этом Curator не уточнил, какой именно компонент сети отказал, ограничившись сообщением об ошибке конфигурации.
Однако объяснить этим все перебои 8 октября нельзя. Утренние проблемы были связаны с физическим повреждением дата-центра «Яндекса» в Сасово. Несмотря на переключение нагрузки на другие площадки, зона доступности ru-central1-b оставалась недоступной. К вечеру компания сообщила, что масштаб ущерба еще оценивается, а возможность восстановления оборудования пока не подтверждена.
Последствия затронули и сторонние сервисы. «Циан» сообщил о проблемах с сайтом и мобильным приложением из-за инцидента у инфраструктурного партнера, не назвав его. ГК «Астрал» предупредила о возможных перебоях в электронной отчетности, документообороте и работе электронных перевозочных документов, связав их с аварией в дата-центре «Яндекса».
Кроме того, некоторые нарушения продолжались значительно дольше сбоя Curator. По данным мониторинга Enterno.io, которые также приводит «Код.ру», сайт РЖД оставался недоступным более трех с половиной часов. Во второй половине дня проблемы фиксировались у Т-Банка, МТС, «Туту», Timeweb и «Хабра». Т-Банк подтвердил кратковременные затруднения у небольшой части пользователей мобильного приложения и личного кабинета, но причину не назвал. Поэтому связывать все эти случаи с одним из двух инфраструктурных инцидентов пока нельзя.
В итоге 8 октября произошли как минимум два подтвержденных сбоя с разными причинами. Утренний был вызван физическим повреждением дата-центра «Яндекса», дневной произошел из-за ошибки конфигурации сети Curator. Доказательств связи между этими происшествиями нет.
При этом оба происшествия показали, насколько сильно независимые интернет-сервисы могут зависеть от общей инфраструктуры. В случае «Яндекса» такой точкой зависимости стала одна вычислительная площадка. В случае Curator проблема возникла в сети поставщика защиты, через которую проходил пользовательский трафик сразу нескольких крупных сайтов.
И если для остановки облачной зоны потребовались пожар и повреждение оборудования, то для недоступности нескольких крупных СМИ хватило ошибки в сетевых настройках. Причем произошла она в инфраструктуре, предназначенной для защиты сайтов от атак.
Даже размещение приложения в нескольких дата-центрах не гарантирует его доступности, если весь пользовательский трафик проходит через одного поставщика сетевой защиты. В таком случае резервируются серверы, но сохраняется общая точка отказа, способная одновременно лишить пользователей доступа ко всем площадкам.
