Kafka и Event-Driven Architecture

• Объяснить, как topic, partition и репликация влияют на порядок и пропускную способность
• Сохранять порядок через выбор ключа
• Предсказывать поведение consumer group, offset commit и rebalancing
• Различать реальный смысл семантик at-most-once, at-least-once и exactly-once
• Писать consumer, устойчивый к дубликатам (идемпотентный)
• Обеспечивать согласованность базы и Kafka через transactional outbox
• Обратно совместимо менять схему события с помощью Schema Registry
• Настроить мониторинг и алертинг по consumer lag и другим метрикам

Ни одна образовательная программа не может гарантировать трудоустройство или повышение.

1. 01

   Базовая модель Kafka

   Понимаем, что даёт модель на основе лога и чего она не даёт.

   • Topic, partition, segment и модель лога
   • Репликация, leader и ISR
   • Retention и log compaction
   • Batching producer, acks и задержка
   • Чем Kafka отличается от очереди

   Практическая лабораторная: Создать topic на локальном кластере и понаблюдать, как параметры partition и retention меняют поведение.

2. 02

   Порядок и партиционирование

   Порядок сохраняется только внутри partition; превращаем этот факт в проектное решение.

   • Ключ сообщения и partitioner
   • Hot partition и перекос распределения
   • Выбор числа partition и последствия его увеличения позже
   • Как нарушается порядок (retry, несколько producer)
   • Выбор ключа на основе предметной области

   Практическая лабораторная: Выбрать ключ, сохраняющий порядок событий одного клиента, и воспроизвести случай нарушения порядка.

3. 03

   Consumer group и rebalancing

   Как consumer делят partition между собой и к чему это может привести.

   • Consumer group и назначение partition
   • Стратегии offset commit
   • Виды rebalance и cooperative rebalancing
   • max.poll.interval и проблема медленного consumer
   • Consumer lag и предел параллелизма

   Практическая лабораторная: Замедлить consumer до шторма rebalance, найти причину в логах и метриках и исправить.

4. 04

   Семантика доставки и идемпотентное потребление

   Дубликаты неизбежны; учимся писать consumer, устойчивые к ним.

   • At-most-once, at-least-once, exactly-once
   • Идемпотентный producer и транзакции Kafka
   • Идемпотентность на стороне consumer: уникальный ключ и дедупликация
   • Retry topic и dead letter topic
   • Обработка poison message

   Практическая лабораторная: Написать consumer, получающий одно сообщение дважды, и тестом доказать, что эффект не применяется повторно.

5. 05

   Transactional outbox

   Устраняем несогласованность между записью в базу и публикацией события.

   • Проблема dual write
   • Таблица outbox и polling publisher
   • Подход на CDC (концепция Debezium)
   • Очистка outbox и порядок
   • Паттерн inbox

   Практическая лабораторная: Построить outbox в сервисе заказов и показать, что событие не теряется при падении сервиса и дубликаты обрабатываются.

6. 06

   Моделирование событий и эволюция схем

   События — долгоживущие контракты; учимся менять их, не ломая потребителей.

   • Event, command и state transfer
   • Именование и состав событий
   • Avro/Protobuf и Schema Registry
   • Правила обратной и прямой совместимости
   • Версионирование и жизнь со старыми событиями

   Практическая лабораторная: Добавить и удалить поле в существующей схеме события и понаблюдать, какое изменение отклонит проверка совместимости.

7. 07

   Choreography и orchestration

   Сравниваем два способа координировать многошаговый бизнес-процесс через события.

   • Choreography: преимущества и скрытая связность
   • Orchestration: центральный контроль и его цена
   • Видимость процесса и отладка
   • Компенсация и обработка timeout

   Практическая лабораторная: Построить один и тот же бизнес-процесс двумя подходами и сравнить простоту трассировки и изменения.

8. 08

   Эксплуатация и мониторинг

   Определяем, что нужно отслеживать, чтобы надёжно эксплуатировать систему на Kafka.

   • Consumer lag и алертинг
   • Метрики broker и topic
   • Планирование ёмкости и цена retention
   • Replay: повторная обработка событий
   • Основы безопасности: аутентификация и ACL

   Практическая лабораторная: Настроить dashboard и правило алерта по consumer lag и проверить их сценарием, создающим lag.

Статьи по теме программы

• Распределённые системыFailure handling in distributed systems
• Событийная архитектураEvent-driven architecture trade-offs
• Распределённые системыIdempotency patterns for safe retries
• Событийная архитектураDelivery semantics, idempotent consumers and the outbox pattern
• KafkaKafka fundamentals for backend engineers