Собеседование DevOps-инженера — условие и решение

Рабочий материал для самостоятельного использования. Скопируй текст в свой документ и адаптируй под свою задачу. Данные не отправляются.

Условие: name превращается в display_name

У сервиса 20 реплик. Версия v1 читает и пишет поле name. Версия v2 должна перейти на display_name. Во время rolling update версии сосуществуют. Предлагается canary на двух репликах. Образ каждой версии собирается один раз и продвигается по digest.

Правило упражнения: остановить продвижение, если доля 5xx среди запросов canary превышает 2% в окне не менее 1000 запросов или обнаружена несовместимость схемы. Меньшее окно даёт «недостаточно данных» для этого статистического барьера, а не успех. Критический инцидент может потребовать остановки раньше по отдельному оперативному решению.

Нужно предложить порядок миграции, показать чтение и запись обеих версий, определить откат и проверить четыре окна: 20 ошибок из 1000, 21 из 1000, 0 из 999 и 40 из 2000. Все числа учебные. Две реплики из двадцати не гарантируют 10% трафика: это зависит от маршрутизации, соединений и нагрузки на экземпляры.

Решение: сначала совместимость

Сразу удалить name и выкатить v2 нельзя: оставшаяся v1 перестанет работать. Начни с расширения схемы — добавь display_name, сохранив старое поле и его смысл. В приложении должна появиться временная совместимая версия, которую можно запускать рядом с v1.

В нашем решении во время смешанной работы name остаётся источником истины. Совместимая v2 читает name и при записи обновляет оба поля в одной транзакции. Если v1 запишет только name, копия display_name может временно отстать, но чтение v2 останется правильным. Именно поэтому недостаточно написать «v2 читает новое поле с fallback»: после backfill старое приложение может обновить name, а новое ненулевое поле останется устаревшим.

После ухода всех v1 запускаем идемпотентный backfill и сверяем соответствие полей. До смены источника истины нужно убедиться, что не осталось старых фоновых задач, консольных скриптов и иных писателей. Затем выпускаем фазу v2, читающую новое поле, но продолжающую обновлять оба. Подготовленная цель возврата — совместимая v2, которая читает name и пишет оба поля. Прямой rolling-возврат к v1 снова создаст старого писателя рядом с читателями display_name и риск устаревших чтений. Если он всё же предусмотрен отдельным планом, нужно сначала вернуть совместимый режим чтения, а перед новым переходом на display_name повторить backfill и сверку. Ошибки сверки блокируют эту фазу.

Удаление name — отдельный contract-этап после окончания согласованного окна возврата, проверки всех клиентов и готовности восстановления. Версия v1 после него уже не совместима. Старый digest не вернёт колонку и не восстановит потерянные данные.

В реальном сервисе дополнительная колонка и backfill могут создать блокировки, нагрузку на журнал и репликацию. Размер таблицы, стратегия порций и способ изменения схемы зависят от СУБД. Маленькая SQLite-модель показывает логическую совместимость, а не безопасность миграции большой PostgreSQL-таблицы.

Критерии canary и решение по окнам

Ошибки / запросыДоляРешение по заданному правилу
20 / 10002%Порог не превышен; проверить остальные барьеры
21 / 10002,1%Остановить продвижение
0 / 9990%Недостаточное окно для этого барьера
40 / 20002%Порог не превышен; проверить остальные барьеры

Равенство 2% не равно превышению. Прохождение одного барьера не означает автоматического продвижения: нужна совместимость схемы, результат функциональной проверки и отсутствие других причин остановки. В приложение включён отдельный gate для заданных окон и отрицательный контроль неверного ожидания.

До начала canary зафиксируй источник метрик и знаменатель: это запросы к canary, не ко всему сервису. Иначе ошибка, затрагивающая маленький сегмент, растворится в общем числе запросов. Сравнение с контрольной версией полезно, но одинаковая внешняя авария может ухудшить обе группы; одних процентов без причин недостаточно.

Как объяснить откат

Реплика кандидата:

Сначала прекращу увеличение доли новой версии и проверю совместимость данных с целевой версией возврата. В этом плане возвращаю совместимую v2, читающую старое поле, а не v1, которая пишет только его. После удаления колонки простой rollback образа уже не предусмотрен: потребуется отдельное восстановление либо исправление вперёд. Это решается до contract-миграции.

Отличай остановку rollout, возврат приложения, откат инфраструктуры и восстановление данных. Это четыре действия с разным результатом. Возврат приложения не отменяет внешние письма, проведённые операции и несовместимые изменения схемы. В runbook нужны ответственный, команда или процедура, проверка результата и условие прекращения попытки.

Если причина сбоя неизвестна, не делай необратимую миграцию «для проверки». Сохрани журналы и артефакты, останови опасное продвижение в пределах полномочий и привлеки владельца данных. Инцидентный порядок должен соответствовать реальной организации, а не импровизированному списку из статьи.