Небольшой кластер из нескольких узлов: как он устроен и что на нём работает.
Мониторинг: агенты, шаблоны и тишина в чатах
Метрики со всех машин собираются в одном месте: загрузка, диски, температура, состояние сервисов. Шаблоны общие, поэтому новый узел подключается за пару минут.
Главное правило — алерт должен требовать действия. Всё остальное уходит в графики, а не в уведомления.
Резервное копирование по правилу 3-2-1
Три копии данных, два разных носителя, одна копия вне площадки. Ночные снапшоты хранятся неделю, недельные — квартал.
проверка восстановления раз в месяц, а не «когда понадобится»;
отдельная учётная запись для бэкапов без прав на удаление;
отчёт о каждом задании в мониторинг.
Порядок с первого дня
Единообразные имена машин, одинаковая базовая настройка и фаервол, который по умолчанию закрыт. Всё, что открыто наружу, записано и имеет причину.
Обновления ставятся по расписанию, а изменения конфигурации хранятся в git — так проще понять, что и когда сломалось.
Хранилище: почему NVMe и ZFS
Для виртуальных машин важнее задержки, чем объём. NVMe-диски в зеркале под ZFS дают предсказуемую скорость, а снапшоты делаются мгновенно и почти ничего не стоят.