karabanov/kafka-workshop

Интенсив «Kafka за 90 минут» для DevOpsConf 2023

Интенсив «Kafka за 90 минут»

Интенсив «Kafka за 90 минут» состоит из двух частей: теории и практики. Теория поможет составить ментальную модель Kafka, а практика — попробовать инструмент в действии и получить набор готовых конфигураций для применения их в своих лабораторных и тестовых средах на работе.

Теория

Содержание

• Расскажем о сценариях использования Kafka.
• Узнаем, что такое консумер, продюсер и брокер.
• Разберём, как связаны топики, партиции и сегменты.
• Поговорим о формате сообщений в Kafka.
• Расскажем о лидере партиций, репликации данных и партицировании.
• Поговорим о гарантиях доставки сообщений и идемпотентности.
• Выясним, что такое консумер-группа и ребалансировка консумеров в ней.

Длительность: 45 минут

Материал

• Презентация
• Расшифровка

Практика

Содержание

• Склонируем репозиторий с конфигурацией Docker Compose.
• Подберём конфигурации топиков и создадим их.
• Настроим и запустим продюсер.
• Настроим и запустим консумер.
• Изменим оффсет для консумер-группы.
• Посмотрим на основные показатели в Grafana.

Длительность: 30 минут

Материал

• Перед началом
• Запуск кластера
• Создание топика
• Работа продюсера
• Работа консумера
• Наблюдаемость Kafka

Бонус-трек

Материалы

• Kafka: настройка клиента
• Kafka: чтение и запись в топик
• Kafka: управление топиками и партициями
• Kafka: управление консумер-группами
• Kafka: управление доступами к топикам