Котатор-ротатор и Грохотатор
В прошлую среду мы пришли на работу как обычно. Ожидали самый обычный рабочий день. Статистика сетевых отказов тоже выглядела совершенно обычно, и никаких причин ждать чего-то особенного не было.А потом дверь распахнулась, и на пороге появился Директор. С глазами навыкате.— Ребята! Что это?— ???— У меня почтовый ящик забит жалобами. Ни у кого ничего не работает. Ни у кого! Ничего!Тут он, конечно, слегка погорячился. Не то чтобы совсем ничего и не то чтобы у всех.Децентрализованная сущность Кошачьих Туннелей сыграла свою роль — полностью заблокировать Котика не удалось. Но для нормальной работы системе нужны трекеры — опорные узлы. На тот момент их у нас было несколько десятков: в разных странах, у разных провайдеров, в разных датацентрах.И все они, без исключения, оказались заблокированы в России.До единого.Без них Котик не мог нормально подключать новых пользователей, да и у старых всё начинало работать заметно медленнее.Поскольку за опорную сеть отвечаю я, круче всего досталось, естественно, мне.Начался сизифов труд.Я ввожу новые узлы, запускаю новые серверы — бац, они тоже заблокированы.Я запускаю ещё — бац.Ещё — бац.В общем, долго так продолжаться, конечно, не могло. Пришлось сесть и соорудить Котатор-ротатор.Котатор-ротатор следит за доступностью опорных серверов, автоматически останавливает те, которые по статистике чаще всего недоступны клиентам, и запускает взамен новые. Причём чем хуже ситуация, тем активнее он это делает.А степень этой самой «хуже ситуации» с лёгкой руки Марианны Николаевны называется у нас в офисе Грохотатором. Читать далее