# CDC: восстановление и checkpoint

Авторское учебное условие; не запуск Kafka или Debezium.

## Практикум: snapshot, три события и сбой до checkpoint

Это авторское учебное условие. Дан согласованный snapshot до условной границы 100: A имеет amount=100, B — amount=200. Сумма измеряется в целых условных единицах. Один последовательный поток содержит только перечисленные релевантные события, его номера в упражнении плотные. Переход от snapshot к потоку считается согласованным по условию.

| offset | op | id | amount |
|---|---|---|---|
| 101 | upsert | A | 120 |
| 102 | delete | B | null |
| 103 | upsert | C | null |
| 104 | upsert | A | строка unknown |

Допустимые поля события — ровно offset, op, id, amount. Offset — целое число от 101 до 2147483647, bool не принимается. Id содержит от 1 до 16 латинских букв или цифр. Amount — NULL либо целое от 0 до 1000000; строки и bool запрещены. Для delete amount обязан быть NULL. Операции только upsert и delete. Это контракт упражнения, не описание универсального формата Debezium.

Требуется применить 101-103, пережить ошибку после изменения A, но до записи checkpoint, затем корректно обработать повторы. Несовместимое событие 104 должно быть отклонено без продвижения позиции. Повтор уже применённого offset с тем же содержимым — no-op; с другим содержимым — ошибка. Новый offset с пропуском или перестановкой также отклоняется.

## Решение: одна транзакция и журнал применений

В SQLite создаются target, control с одной строкой checkpoint и applied с digest события по offset. Snapshot загружается только при отсутствии начального control. Повторное открытие существующей базы не импортирует A=100 и B=200 заново. Иначе успешный перезапуск мог бы незаметно отменить уже применённый CDC.

Сначала валидируется вся структура события. Затем проверяется журнал applied. Если такой offset уже есть, digest должен совпасть; точный повтор не меняет target или checkpoint. Если записи нет, offset должен равняться checkpoint+1. Проверка плотности относится только к выбранному учебному потоку.

Внутри одной транзакции выполняются изменение target, вставка digest и обновление checkpoint. Для upsert записывается полное значение, для delete удаляется строка. Только выход с успешным commit делает набор изменений подтверждённым. Инъекция ошибки находится после UPDATE A, до вставки applied и checkpoint: исключение приводит к rollback. После ошибки A=100, B=200, checkpoint=100.

Скрипт закрывает соединение, повторно открывает тот же файл и проверяет этот результат. Затем 101 применяется заново, за ним 102 и 103. Итог: A=120, C существует с NULL, B отсутствует, checkpoint=103. Точный повтор 103 и более раннего 101 не меняет итог. Другой payload для 103 отклоняется как конфликт, а не считается очередным обновлением C.

## Ошибка схемы и намеренно сломанный вариант

Событие 104 содержит строку unknown вместо допустимой суммы. Оно отклоняется до изменения базы, checkpoint остаётся 103. Если просто превратить unknown в NULL, получится уже другой контракт: потребитель потеряет признак нарушения схемы. Если молча перейти к следующему offset, нужно будет отдельно признать пропуск и определить восстановление. Наше решение этого не делает.

Дополнительные проверки включают gap 102 до 101, bool вместо суммы, NULL вместо offset, лишнее поле и недопустимый id. После каждого отказа сравниваются и данные, и checkpoint. Значения передаются в SQL параметрами; тестовый id с фрагментом SQL не принимается ещё и по явному формату идентификатора.

Негативный режим намеренно вызывает commit сразу после изменения target. После введённой ошибки A уже равно 120, а checkpoint всё ещё 100. Проверка требует исходное A=100 и заканчивается кодом 2. Такой режим обнаруживает именно неправильную границу транзакции, а не случайный синтаксический сбой. Проверки работают и с PYTHONOPTIMIZE=1: вместо отключаемого assert используется явная ошибка.

## Файлы и границы проверки

Скачай [полный практикум CDC](practice.zip), открой [условие и решение с копированием](copy.html) или [Markdown](practice.md). В архиве есть snapshot.csv, events.json, check.py, README и execution-log.json. Для запуска нужны Python 3.9+ и SQLite не ниже 3.24.0: [UPSERT появился в этой версии](https://www.sqlite.org/lang_upsert.html). После распаковки выполни `python3 check.py`. Для контролируемой ошибки — `python3 check.py --negative`, ожидаемый код 2.

Фактические проверки прошли в Python 3.9.6 с SQLite 3.54.0; обычный и оптимизированный запуск дали одинаковые ожидаемые исходы. Реально испытаны транзакции, rollback, повторное открытие файла и обработка перечисленных событий. Kafka, Debezium, PostgreSQL, несколько писателей, обрыв питания и распределённая транзакция не запускались.

Журнал applied в этой модели растёт без очистки. Для рабочего контура нужно определить retention, предел допустимых повторов, область offset, координацию писателей и наблюдаемость отставания. На интервью сначала докажи корректность короткого условия. Затем объясни, какие допущения перестанут выполняться при масштабировании и как изменится протокол, а не только список используемых продуктов.
