The Loadville Courier

В воскресенье в 23:48 Марта Келлер, ночная дежурная городского дата-центра, допивала третий кофе, когда все экраны перед ней разом покраснели. Пивная на Мельничной перестала видеть, какие столики заняты. Кинотеатр не мог продать ни одного билета на ночной сеанс. Такси не принимало вызовы.

Первым делом Марта проверила главное — базу города за рекой?На самом делеDynamoDB, us-east-1Облачная база данных Amazon в регионе Северная Вирджиния., где почти все лавки и конторы Лоудвиля хранят свои данные. База работала: все записи на месте, ни одной ошибки.

Просто её как будто никто не видел.

Компьютерам города знать не положено, где живёт база. Входов?На самом делебалансировщики DynamoDBСерверы, которые принимают запросы к базе и раздают их дальше. у неё много, одни открываются, другие закрываются, — поэтому компьютер каждой лавки раз в несколько минут спрашивает городской справочник?На самом делеDNS (Route 53)Система, которая по имени сервиса говорит, по какому адресу его искать.: «Где сейчас база?» — и идёт по ответу.

Справочник ведут не люди, а программы. Одна составляет свежие списки входов?На самом делеDNS-планНабор адресов входов с весами: куда и сколько отправлять.. Ещё три — исполнители?На самом делеDNS Enactor × 3Программы, которые вносят готовые планы в DNS. — вносят эти списки в справочник, по одному исполнителю в каждом из трёх машинных залов?На самом делезоны доступностиОтдельные дата-центры внутри одного региона.. Одного держать нельзя: если его зал отключится, справочник перестанут обновлять, а входы у базы меняются постоянно — и компьютеры города пойдут к закрытым дверям. Поэтому исполнителей трое, каждый в своём зале: отключится один — двое других продолжат.

В ту ночь один исполнитель застрял. Пока он стоял застрявшим, вышли десятки новых списков. Перед этим он успел проверить: «Мой список новее того, что в справочнике». Проверка была честной, но к тому времени, как он очнулся, давно устарела.

Дальше совпали две вещи, и обе — в одну и ту же секунду. Застрявший исполнитель очнулся и записал свой безнадёжно старый список поверх самого свежего. А другой исполнитель как раз только что записал тот самый свежий список — и, как после каждой записи, начал уборку?На самом делеудаление старых плановУдаление старых планов, чтобы не копились.: выбросить старые списки, которые давно отстали, чтобы не копились.

Уборка не смотрела, что сейчас лежит в справочнике, — она выбрасывала всё, что сильно отстало от только что записанного. Под это попал и список, который лежал в справочнике: он отставал на десятки выпусков. Другого списка там не было — и строка «База»?На самом делеdynamodb.us-east-1.amazonaws.comИмя, по которому все программы ищут базу., где хранится ответ на вопрос «где база?», осталась пустой.

Получилось странное: база работала, но на вопрос «где она?» справочник отвечал пустотой.

Марта сначала не поверила. Перезапустила проверку, позвонила начальнику смены, потом его начальнику. Автоматика, которая обычно чинит такие вещи сама, на этот раз запуталась окончательно и встала. Строку пришлось вписывать вручную, посреди ночи: двое инженеров на телефоне, третий в пижаме. В 2:25 строка вернулась. Ещё четверть часа компьютеры города жили со старым пустым ответом в памяти?На самом делеDNS-кешКомпьютер запоминает ответ справочника на несколько минут и сам не переспрашивает., пока не спросили справочник заново. В 2:40 пивная снова увидела свои столики.

Утро

К утру выяснилось, что ночь не кончилась. Почти все серверы?На самом делеdropletsФизические серверы, на которых запускаются машины EC2. Лоудвиля сдаёт внаём одна прокатная контора?На самом делеDWFMСистема Amazon, которая управляет физическими серверами EC2. — каждый по договору аренды?На самом делеleaseРегулярное подтверждение, что сервер под присмотром и в него можно ставить новые машины., который продлевается через ту самую базу. За ночь договоры истекли — и новые серверы стало негде запускать. Как только база нашлась, контора бросилась продлевать все договоры разом, не успевала, начинала заново — и встала. К 5:30 её подняли.

Серверы начали включаться, но не до конца. Чтобы до сервера можно было добраться, ему нужны настройки сети — что-то вроде адреса и дороги. А служба, которая их раздаёт?На самом делеNetwork ManagerРаздаёт новым серверам сетевые настройки., за ночь накопила огромную очередь и отвечала с опозданием в часы. Сервер работает, а дороги к нему ещё нет.

Тут вступили сторожевые программы?На самом делеhealth checks в NLBПроверки балансировщика: живы ли серверы за ним.. Их работа — регулярно проверять, жив ли сервер, и убирать мёртвых из работы. Они стучались к серверам, у которых ещё не было дороги, слышали то ответ, то тишину — и начали выкидывать здоровые серверы, а через минуту возвращать. Город мигал.

В 9:36 сторожам запретили выкидывать кого-либо самим. В 10:36 новые серверы снова запускались как надо. К двум часам дня город выдохнул.

Что не спасло бы

• Больше исполнителей. Их и так было трое, в трёх залах. Запас спасает, когда отключился зал, но не когда двое одновременно делают одно дело.
• Проверять внимательнее. Проверка была. Беда во времени между «проверил» и «записал»: мир за это время поменялся.
• Вторая база в том же городе. Её адрес лежал бы в том же справочнике.

Зато помогла копия в соседнем городе?На самом делереплики global tablesКопия таблицы в другом регионе Amazon.: кто держал там копию своих данных, работал всю ночь, хоть копия и отставала.

Что сделали

• Программы, обновляющие справочник, отключили во всех городах — пока не исправят гонку и не научат справочник не принимать неверные списки.
• Сторожам ограничили, сколько серверов можно выкинуть из работы за раз.
• Прокатная контора будет тренироваться подниматься после таких ночей, а служба, раздающая настройки сети, — брать новую работу, только пока очередь не слишком длинная.

От редакции

• Номер на списке. Записывать, только если в справочнике всё ещё тот список, который ты видел перед началом. Если нет — взять свежий. Медленный исполнитель сделает лишний круг, зато ничего не испортит.
• Не удалять то, чем сейчас пользуются. Уборка трогает только списки, которых уже нет в справочнике, — и строка никогда не остаётся пустой.