Собеседование SRE-инженера: вопросы, ответы и практический кейс — условие и решение

Рабочий материал для самостоятельного использования. Скопируй текст в свой документ и адаптируй под свою задачу. Данные не отправляются.

Полное условие: 100 запросов превращаются в 160 попыток

Зависимость в учебном сценарии имеет постоянную идеальную мощность 120 попыток/с. Вход — 100 логических запросов/с. По заданному профилю они создают 100 первичных попыток, 40 первых повторов и 20 вторых в секунду: всего 160 попыток/с. Это входные величины упражнения, а не измерения production и не замкнутая модель вероятности ошибок.

Вторая политика допускает не больше 10 дополнительных попыток/с для этого потока. Клиентский deadline — 500 мс. Повтор разрешён только для идемпотентной операции, подходящей временной ошибки и при наличии бюджета. Для небольшого примера проверки времени требуется, чтобы задержка до повтора плюс выделенный ему timeout были строго меньше оставшегося времени; равенство считаем недостаточным запасом.

Нужно рассчитать усиление, предложить первые действия и проверить очередь. Начальная очередь пуста. Для модели принимаем шаг 0,1 с, входящие попытки приходят пакетом в начале шага, затем обслуживается не больше 12 попыток за шаг. Буфер конечный, максимум 200 ожидающих попыток; избыток отклоняется. Проверяем 10 секунд постоянного профиля. Эта дискретизация не задаёт точную задержку отдельного запроса и не проверяет deadline 500 мс целиком.

Расчёт без подмены знаменателя

Дополнительных попыток 60 на 100 логических запросов: усиление относительно первичного потока — 60%. Относительно мощности перегрузка составляет (160−120)/120≈33,33%. Это разные сравнения. Нельзя назвать оба результата одним «процентом ошибок»: исходы попыток в условии вообще не заданы.

При бюджете 10 суммарный вход ограничивается 110 попытками/с. Номинальный запас до 120 — 10 попыток/с, но из этого не следует выполнение SLO. Длительность операций, разброс, другие пользователи зависимости и распределение потока могут изменить результат. Для реального бюджета надо определить область: на клиент, процесс, сервис или общий поток, иначе множество локальных лимитов снова создаст перегрузку.

В модели без лимита повторов после каждой секунды до насыщения буфера остаётся на 40 попыток больше: вход 160, обслуживание 120. После первого шага очередь 4, после первой секунды 40. При входе 110 и мощности 120 очередь на конце каждого шага пуста, но это не означает нулевую задержку: запросы пришли пакетом и обслуживались внутри шага.

Вводя предел 200, мы ограничиваем ожидающую работу. Это не исправление причины и не бесплатная потеря: часть входа будет отклоняться. Определение места отсечения и отношение отклонений к пользовательским запросам требуют отдельного контракта. Модель считает отклонённые попытки, а не число уникальных пострадавших людей.

Первые действия во время инцидента

Сначала зафиксируй пользовательский симптом и масштаб: какие операции, регионы и доля потока затронуты. Проверь достоверность метрик. Исчезнувший ряд — не доказательство нулевых ошибок. Сопоставь логические запросы, попытки, очередь, активные операции и время ожидания, чтобы не принять усиление за рост полезного спроса.

Если полномочия и проверенный регламент позволяют, останови бесконтрольные повторы, ограничь конкурентность или вход по согласованной политике. Изменение должно быть ограниченным и обратимым, с условием остановки. Прежде чем уменьшить нагрузку, пойми, какие запросы можно отклонять, есть ли безопасное частичное обслуживание и как клиент узнает результат.

Затем проверь, что снизился именно поток попыток и не выросли другие ошибки. Возвращения графика CPU к обычному значению недостаточно, если пользователи продолжают ждать или получать отказы. Первоначальное ограничение усиления не доказывает исходную причину замедления зависимости: её расследуют отдельно.

Реплика кандидата:

Для заданного потока бюджет ограничивает максимум попыток до 110/с, но не гарантирует успешность 100 запросов. Я проверю фактические повторы и очередь, сохраню понятный отказ при недопуске и продолжу искать причину изменения обслуживания. Повторы неидемпотентной операции без отдельного контракта не включу.

Как учитывать deadline и остановку

Допустим, осталось 350 мс, backoff 100 мс, timeout попытки 200 мс. Сумма 300 мс меньше 350: по временному правилу упражнения повтор возможен, если выполнены остальные условия. Если осталось ровно 300 мс, повтор отклоняется. Если операция неидемпотентна или бюджет исчерпан, достаточное время этого не меняет.

Передай отмену в поддерживающие её операции и определись, кто дожидается завершения. Обёртка с таймером не уничтожает произвольный блокирующий вызов и не откатывает уже зафиксированный эффект. При отмене прекращают создание ненужной новой работы, а судьба уже выполняющейся определяется реальным контрактом.

В приложении функция разрешения повтора проверяет эти развилки отдельно от модели очереди. Так простой расчёт нагрузки не выдаётся за симуляцию всего жизненного цикла запроса и обработки cancellation.

Алерты и координация

Алерт должен сообщать об условии, требующем действия конкретного владельца. Prometheus рекомендует ориентироваться на значимые симптомы, а Datadog разбирает настройку мониторов и полезный контекст уведомления. Для нашего кейса нужны различимые логические RPS и attempt RPS, очередь и пользовательские исходы. Один статический порог частоты повторов без знаменателя может потерять смысл при ином входе.

Назначение координатора, технических исполнителей и коммуникации определяется процессом команды. Руководство PagerDuty об incident commander показывает один вариант распределения ответственности. Не объявляй эту должность обязательной для каждой компании. В статусе отделяй влияние, сделанное действие, наблюдение и следующий срок обновления; не обещай время решения неизвестной причины.

Что проверяет комплект

node verify.mjs выполняет фиксированные профили 100+40+20 и 100+10, проверяет рост 40 за секунду до насыщения, ограничение буфера и сохранение баланса «вход=обслужено+отклонено+остаток». Отдельно проверяются правила повтора и граница времени. python3 negative_control.py портит ожидаемый результат в отдельной копии и подтверждает ненулевой выход Node без успешного result.json.

Фактическая среда — Node.js 26.8.2; сеть и внешние библиотеки не нужны. Это детерминированная модель с заданными допущениями, не подтверждение мощности реального сервиса. После тренировки объясни, какие измерения и полномочия понадобились бы для того же решения в команде, в которую ты собеседуешься.