Собеседование дата-инженера: вопросы, ответы и практический кейс
Вопросы дата-инженеру: snapshot, CDC, checkpoint и схема данных. Кейс перезапуска после сбоя, удаления и повторов с полным решением и тестами.
На этой странице
На собеседовании дата-инженера полезно уметь провести одну запись от источника до потребителя: откуда известна её версия, как она переживёт повторную доставку и что произойдёт при сбое. Ответ «настрою Kafka и сделаю exactly-once» скрывает главные вопросы: где заканчивается гарантия, что считается подтверждением и можно ли восстановить состояние.
Ниже — профессиональные вопросы с полными ответами и авторская задача о snapshot, CDC и checkpoint. В приложении реально выполняются транзакции SQLite, инъекция ошибки и повторное открытие базы. Kafka, Debezium и PostgreSQL не запускаются. Учебная модель показывает границу атомарного применения данных; она не является испытанием распределённой инфраструктуры или заданием работодателя.
Вопросы и ответы о данных и доставке
«Как представить свой пайплайн?»
«Начну с потребителя и требования к данным: кому нужны записи, с какой задержкой и каким способом определяется правильность результата. Затем опишу источник, преобразования, хранение и свою ответственность. Для одного события покажу обычный путь и повтор после сбоя. Назову, где отслеживались lag, ошибки схемы и потери. Не буду приписывать себе весь контур, если отвечал только за один sink».
Подготовь пример, где пришлось выбрать между задержкой и дополнительной проверкой качества. Число обработанных строк само по себе мало говорит о решении: важно, какие строки, как часто, с каким распределением и какой допустимой задержкой. Формат встречи уточняй по вакансии. Открытая страница интервью по данным Т-Банка относится к конкретному работодателю, а не задаёт универсальный список вопросов.
«Чем CDC отличается от периодического SELECT?»
«CDC передаёт изменения в рамках определённого контракта источника. При полном чтении таблицы я вижу состояние на момент выбранного чтения, но не получаю автоматически историю удалений и порядок всех изменений. Для CDC нужно знать, какие операции представлены, какие ключи доступны и как построен переход от исходного snapshot к потоку. Нельзя считать произвольную выгрузку и произвольный offset согласованной парой».
Документация Debezium PostgreSQL connector описывает snapshot и последующее чтение изменений в контексте этого коннектора. PostgreSQL logical decoding задаёт свойства механизма источника. На интервью отделяй эти реальные механизмы от учебного предположения «snapshot согласован до границы 100»: в задаче ниже это уже дано, а не реализовано одним SELECT.
«Когда можно обещать exactly-once?»
«Сначала назову границы. Нужно различать доставку сообщения, изменение целевой системы и внешний побочный эффект. Даже если компоненты потока поддерживают транзакционный режим, запись в произвольную внешнюю базу не становится частью этой гарантии автоматически. Для своего sink покажу, что обновление данных и сохранение позиции согласованы, либо предложу идемпотентное применение с объяснёнными ограничениями».
Kafka 4.0 о delivery semantics и документация Confluent рассматривают гарантии в определённом контуре. Из них нельзя вывести, что отправка письма или изменение любой сторонней базы произойдёт ровно один раз. В нашем упражнении одна SQLite-транзакция охватывает target, журнал применений и checkpoint. Это локальная атомарность, а не общий протокол всех систем.
«Почему одного UPSERT может быть недостаточно?»
«UPSERT по ключу помогает применить новое состояние записи, но не решает автоматически порядок событий. Позднее старое событие может заменить более новое; повтор операции увеличения счётчика может дать лишнее увеличение. Я уточню, что несёт событие: полное состояние или дельту, есть ли версия и как определяется порядок. Затем выберу правило, которое проверяется на повторах и перестановках».
В задаче события upsert содержат готовое значение суммы, не прибавку. Но даже здесь мы не применяем любое старое значение: уже обработанный offset сверяется с сохранённым digest, а новое событие обязано быть следующим в учебном потоке. Для нескольких partitions одного глобального checkpoint может быть недостаточно. Не переносим плотную нумерацию упражнения на реальные Kafka offsets: фильтрация и другие особенности потока требуют собственного контракта.
«Удаление и NULL — одно и то же?»
«Нет. NULL может быть допустимым отсутствием значения в существующей строке. Удаление означает отсутствие самой строки и должно передаваться отдельно — например, явным типом операции. Проверю, как именно источник кодирует delete и tombstone, а не буду угадывать по пустому полю. После преобразования сохраню различие там, где оно необходимо потребителю».
В практикуме C с amount=null существует; B после delete отсутствует. Если заменить оба случая одинаковой пустой суммой, потребитель не сможет отличить неизвестное значение от удалённой сущности. Если выбросить все строки с NULL «для качества», потеряется допустимая запись C. Решение определяется схемой и назначением поля, а не универсальным запретом пустых значений.
«Что делать при изменении схемы?»
«Разделю совместимое расширение и несовместимое изменение смысла или типа. Определю политику заранее: какие поля разрешены, что считается ошибкой, где хранится отклонённое событие и когда двигается позиция. Автоматическая эволюция схемы не доказывает, что строка unknown корректно заменяет целочисленную сумму. Не стану молча приводить её к нулю».
Databricks описывает отдельные режимы schema evolution для Auto Loader. Это пример того, почему политику нужно читать для конкретного инструмента. В нашей строгой модели лишнее поле и неверный тип отклоняются, checkpoint не двигается. В production это может остановить поток; нужны наблюдаемость, сохранение причины и согласованная процедура исправления. Простое «скипнуть плохое» меняет гарантию полноты.
«Как проверите перезапуск и backfill?»
«Размещу сбой на точной границе, затем прочитаю состояние после повторного открытия хранилища. Проверю, что snapshot не импортируется поверх уже применённых изменений и повтор не создаёт другой результат. Backfill проведу с определёнными ключами, версией и порядком относительно текущего потока. Один успешный запуск без сбоя не доказывает восстановление».
Для большого набора понадобятся дополнительные ограничения: время хранения журнала источника, пропускная способность восстановления, объём журнала дедупликации и допустимая задержка потребителей. Называя throughput, приведи среду и профиль данных. Небольшой тест SQLite ниже проверяет корректность переходов, а не производительность кластера или восстановление после отключения питания.
Практикум: snapshot, три события и сбой до checkpoint
Это авторское учебное условие. Дан согласованный snapshot до условной границы 100: A имеет amount=100, B — amount=200. Сумма измеряется в целых условных единицах. Один последовательный поток содержит только перечисленные релевантные события, его номера в упражнении плотные. Переход от snapshot к потоку считается согласованным по условию.
| offset | op | id | amount |
|---|---|---|---|
| 101 | upsert | A | 120 |
| 102 | delete | B | null |
| 103 | upsert | C | null |
| 104 | upsert | A | строка unknown |
Допустимые поля события — ровно offset, op, id, amount. Offset — целое число от 101 до 2147483647, bool не принимается. Id содержит от 1 до 16 латинских букв или цифр. Amount — NULL либо целое от 0 до 1000000; строки и bool запрещены. Для delete amount обязан быть NULL. Операции только upsert и delete. Это контракт упражнения, не описание универсального формата Debezium.
Требуется применить 101-103, пережить ошибку после изменения A, но до записи checkpoint, затем корректно обработать повторы. Несовместимое событие 104 должно быть отклонено без продвижения позиции. Повтор уже применённого offset с тем же содержимым — no-op; с другим содержимым — ошибка. Новый offset с пропуском или перестановкой также отклоняется.
Решение: одна транзакция и журнал применений
В SQLite создаются target, control с одной строкой checkpoint и applied с digest события по offset. Snapshot загружается только при отсутствии начального control. Повторное открытие существующей базы не импортирует A=100 и B=200 заново. Иначе успешный перезапуск мог бы незаметно отменить уже применённый CDC.
Сначала валидируется вся структура события. Затем проверяется журнал applied. Если такой offset уже есть, digest должен совпасть; точный повтор не меняет target или checkpoint. Если записи нет, offset должен равняться checkpoint+1. Проверка плотности относится только к выбранному учебному потоку.
Внутри одной транзакции выполняются изменение target, вставка digest и обновление checkpoint. Для upsert записывается полное значение, для delete удаляется строка. Только выход с успешным commit делает набор изменений подтверждённым. Инъекция ошибки находится после UPDATE A, до вставки applied и checkpoint: исключение приводит к rollback. После ошибки A=100, B=200, checkpoint=100.
Скрипт закрывает соединение, повторно открывает тот же файл и проверяет этот результат. Затем 101 применяется заново, за ним 102 и 103. Итог: A=120, C существует с NULL, B отсутствует, checkpoint=103. Точный повтор 103 и более раннего 101 не меняет итог. Другой payload для 103 отклоняется как конфликт, а не считается очередным обновлением C.
Ошибка схемы и намеренно сломанный вариант
Событие 104 содержит строку unknown вместо допустимой суммы. Оно отклоняется до изменения базы, checkpoint остаётся 103. Если просто превратить unknown в NULL, получится уже другой контракт: потребитель потеряет признак нарушения схемы. Если молча перейти к следующему offset, нужно будет отдельно признать пропуск и определить восстановление. Наше решение этого не делает.
Дополнительные проверки включают gap 102 до 101, bool вместо суммы, NULL вместо offset, лишнее поле и недопустимый id. После каждого отказа сравниваются и данные, и checkpoint. Значения передаются в SQL параметрами; тестовый id с фрагментом SQL не принимается ещё и по явному формату идентификатора.
Негативный режим намеренно вызывает commit сразу после изменения target. После введённой ошибки A уже равно 120, а checkpoint всё ещё 100. Проверка требует исходное A=100 и заканчивается кодом 2. Такой режим обнаруживает именно неправильную границу транзакции, а не случайный синтаксический сбой. Проверки работают и с PYTHONOPTIMIZE=1: вместо отключаемого assert используется явная ошибка.
Файлы и границы проверки
Скачай полный практикум CDC, открой условие и решение с копированием или Markdown. В архиве есть snapshot.csv, events.json, check.py, README и execution-log.json. Для запуска нужны Python 3.9+ и SQLite не ниже 3.24.0: UPSERT появился в этой версии. После распаковки выполни python3 check.py. Для контролируемой ошибки — python3 check.py --negative, ожидаемый код 2.
Фактические проверки прошли в Python 3.9.6 с SQLite 3.54.0; обычный и оптимизированный запуск дали одинаковые ожидаемые исходы. Реально испытаны транзакции, rollback, повторное открытие файла и обработка перечисленных событий. Kafka, Debezium, PostgreSQL, несколько писателей, обрыв питания и распределённая транзакция не запускались.
Журнал applied в этой модели растёт без очистки. Для рабочего контура нужно определить retention, предел допустимых повторов, область offset, координацию писателей и наблюдаемость отставания. На интервью сначала докажи корректность короткого условия. Затем объясни, какие допущения перестанут выполняться при масштабировании и как изменится протокол, а не только список используемых продуктов.
