Каталог
IT, разработка
Олег Тодор
Курс «Apache Kafka Java продвинутый»

Курс «Apache Kafka Java продвинутый»

5 | 5 отзывов о курсе

Видеоуроки, Текст / Самостоятельно / Обучение на ИнфоХит

9 модулей
Книга

Погружение в диагностику проблем и тонкую настройку кластера для промышленной эксплуатации. Достигайте новых высот в Apache Kafka!

Автор: Олег Тодор 5 (5 отзывов)

Обновлено: 23.09.2026

Источник изображения: magnific.com

Стоимость курса:

1 500 ₽

Оплата производится на нашем сайте. После оплаты вы получите доступ к просмотру материала и сможете приступить к изучению.

Оформить заказ Купить в подарок

Этот курс включает:

9 модулей
Срок доступа: бессрочный
Обучение: на ИнфоХит
Когда будете учиться: в любой день в любое время
Уровень сложности: для новичков
Техническая поддержка: в рабочее время
Доступ: сразу после оплаты

Правообладатель: Олег Тодор

Эксперт в области ИТ и специалист по Java.

5 5 отзывов

Что вы получите

Понимание архитектуры Kafka.
Навыки оптимизации и exactly-once.
Умение строить Kafka Streams и real-time аналитику.
Навыки работы со схемами и интеграцией.
Навыки безопасности и развертывания.
Навыки мониторинга и отказоустойчивости.

Для кого

Разработчиков, стремящихся углубить свои знания в Kafka и его архитектуре.
Инженеров данных, желающих освоить продвинутые техники обработки данных в реальном времени.
Специалистов, работающих с высоконагруженными и отказоустойчивыми распределенными системами.
Профессионалов, заинтересованных в оптимизации производительности продюсеров и консьюмеров.
Тех, кто хочет научиться управлять схемами данных и обеспечивать их совместимость.
Разработчиков, желающих освоить безопасность и мониторинг кластеров Kafka.

Тематика:

IT, разработка

Модуль 1. О курсе 1 урок, 00:06:05

Доступен бесплатно после

Вы узнаете о том, как курс поможет вам перейти от базового использования Apache Kafka на Java к профессиональному владению, раскрывая глубинные архитектурные механизмы и превращая Kafka в стратегическую платформу для бизнес-критичных систем.

Модуль 2. Архитектура Кафка под капотом 6 уроков

1. Архитектура брокеров и партиций

Урок посвящен архитектуре брокеров и партиций в Kafka: их роли, распределению и репликации, механизму ISR, балансировке через контроллер кластера и влиянию этих факторов на производительность, отказоустойчивость и масштабируемость системы.

2. Роль контроллера кластера, ISR (In-Sync Replicas)

Урок объясняет, как контроллер кластера и механизм In-Sync Replicas (ISR) обеспечивают согласованность, отказоустойчивость и автоматическое восстановление Kafka через выборы лидеров, настройки min.insync.replicas и unclean.leader.election.enable, а также гарантии доставки при разных acks.

3. Распределение партиций и репликация

Урок посвящен алгоритмам распределения партиций и механизмам репликации в Kafka, включая rack awareness, мониторинг отставания реплик и настройку unclean.leader.election, определяющую компромисс между доступностью и согласованностью данных.

4. Оптимизация производительности

Урок посвящен тонкой настройке производительности Kafka через оптимизацию параметров продюсеров, консьюмеров и брокеров, включая batch.size, linger.ms, сжатие, fetch-настройки, JVM/ОС-тюнинг и мониторинг метрик для достижения максимальной пропускной способности при минимальных задержках.

5. Тюнинг параметров продюсера acks, linger.ms и др

Урок посвящен продвинутому тюнингу продюсера Kafka: детальному разбору параметров acks, linger.ms, batch.size и compression.type, их влиянию на надёжность, производительность и задержки, а также выбору оптимальных комбинаций под сценарии логирования, финансовых транзакций и IoT-потоков.

6. Влияние параметров консьюмера fetch.min.bytes, max.poll.records

Урок посвящен тонкой настройке консьюмера Kafka через управление параметрами fetch.min.bytes и max.poll.records, их влиянию на задержки, пропускную способность и эффективность обработки данных, а также оптимальным комбинациям под различные сценарии и предотвращению опасных антипаттернов.

6.1
6.2
Тест 1
Тест 1
Тест 2
Тест 2
Тест 3
Тест 3
Тест 4
Тест 4

Модуль 3. Транзакции и Exactly-Once семантика 7 уроков

1. Идемпотентные продюсеры

Урок посвящен идемпотентным продюсерам Kafka: механизму гарантии уникальной доставки через Producer ID и Sequence Number, их настройке, ограничениям и лучшим практикам для критически важных систем.

2. Настройка enable.idempotence=true

Урок посвящен детальному разбору параметра enable.idempotence=true в Kafka: механизму идемпотентности, неявным изменениям конфигурации, жизненному циклу Producer ID, гарантиям и ограничениям, а также обработке типичных ошибок.

3. Транзакции в Kafka

Урок посвящен транзакциям в Kafka для достижения exactly-once семантики: архитектуре Transaction Coordinator, протоколу двухфазного коммита, настройке транзакционных продюсеров и консьюмеров с isolation.level=read_committed, интеграции с внешними системами и обработке ошибок.

4. API для транзакций initTransactions(), beginTransaction()

Урок посвящен детальному разбору транзакционного API Kafka — методам initTransactions(), beginTransaction() и commitTransaction(), их внутренней механике, взаимодействию с координатором транзакций, обработке ошибок и лучшим практикам применения.

5. Обработка ошибок при commit abort

Урок посвящен продвинутой обработке ошибок при коммите и откате транзакций в Kafka: классификации фатальных и восстанавливаемых сбоев, стратегиям восстановления и компенсации, паттернам Circuit Breaker и экспоненциального backoff, а также анализу неоднозначных состояний для построения отказоустойчивых систем.

6. Консьюмеры в транзакционных системах

Урок посвящен роли консьюмеров в транзакционных системах Kafka: работе с isolation.level=read_committed, обработке транзакционных маркеров, согласованности смещений и интеграции с внешними системами через паттерны вроде Transactional Outbox.

7. Изоляция isolation.level=read_committed

Урок посвящен детальному разбору уровня изоляции read_committed в Kafka: механизму фильтрации незакоммитованных сообщений и транзакционных маркеров, гарантиям согласованности, влиянию на задержки и практическим примерам интеграции с exactly-once обработкой.

7
Тест 1
Тест 1
Тест 2
Тест 2
Тест 3
Тест 3
Тест 4
Тест 4
Тест 5
Тест 5

Модуль 4. Кафка Streams для сложной обработки данных 8 уроков

1. Топологии и процессоры

Урок посвящен архитектуре потоковой обработки Kafka Streams: проектированию топологии в виде DAG из Source, Processor, Sink и State Store, сравнению Streams DSL с Processor API и жизненному циклу процессора для реализации кастомной логики и управления состоянием.

2. Построение Directed Acyclic Graph (DAG)

Урок посвящен принципам проектирования Directed Acyclic Graph (DAG) в Kafka Streams: компонентам топологии, правилам построения без циклов, паттернам ветвления, слияния и stateful-обработки для создания масштабируемых потоковых приложений.

3. Использование Processor, Transformer, StateStore

Урок посвящен глубокому изучению низкоуровневых компонентов Kafka Streams — Processor, Transformer и StateStore — для реализации кастомной логики, управления состоянием и оптимизации производительности потоковых приложений.

4. Окна и агрегации

Урок посвящен применению оконных агрегаций в Kafka Streams: различиям между Tumbling, Hopping и Session окнами, их настройке через KGroupedStream, обработке задержанных данных с grace period и интеграции в DAG-топологии для анализа потоковых данных в реальном времени.

5. Tumbling, Hopping, Session Windows

Урок посвящен экспертному изучению трёх типов окон в Kafka Streams — Tumbling, Hopping и Session — их архитектурным различиям, тонкой настройке grace period и retention, а также реализации сложных агрегаций с обработкой задержанных данных.

6. Агрегация с KGroupedStream

Урок посвящен продвинутой агрегации с KGroupedStream в Kafka Streams: архитектуре агрегаторов и State Stores, паттернам стандартных, сессионных и каскадных агрегаций, оптимизации производительности и обработке пограничных случаев.

7. Тестирование

Урок посвящен комплексному тестированию Kafka Streams приложений: юнит-тестированию топологий с TopologyTestDriver, интеграционному тестированию с EmbeddedKafkaCluster, а также проверке обработки ошибок, восстановления состояний и производительности.

8. TopologyTestDriver для юнит-тестов

Урок посвящен детальному освоению TopologyTestDriver для юнит-тестирования Kafka Streams: эмуляции stateful-топологий, управлению виртуальным временем, валидации State Store и обработке исключительных сценариев без реального брокера.

8
Тест 1
Тест 1
Тест 2
Тест 2
Тест 3
Тест 3
Тест 4
Тест 4
Тест 5
Тест 5

Модуль 5. Управление схемами и Schema Registry 6 уроков

1. Интеграция Avro или Protobuf

Урок посвящен интеграции Avro и Protobuf в Kafka-приложения на Java: генерации классов из схем, настройке сериализации/десериализации через Schema Registry и управлению эволюцией схем.

2. Генерация классов из схем

Урок посвящен автоматической генерации Java-классов из схем Avro и Protobuf, интеграции этого процесса в сборку Maven/Gradle и пониманию структуры сгенерированных классов для эффективной работы с Kafka.

3. Сериализация десериализация с KafkaAvroSerializer

Урок посвящен детальному разбору механизма работы KafkaAvroSerializer и KafkaAvroDeserializer, их настройке для продюсеров и консьюмеров, интеграции со Schema Registry, формату сообщений и обработке ошибок при работе с Avro в Kafka.

4. Совместимость схем

Урок посвящен разбору стратегий совместимости схем (BACKWARD, FORWARD, FULL, NONE) в Schema Registry, правилам валидации изменений и их влиянию на продюсеры и консьюмеры Kafka.

5. Стратегии BACKWARD, FORWARD, FULL

Урок посвящен стратегиям совместимости схем BACKWARD, FORWARD и FULL в Schema Registry Kafka: их принципам, разрешённым изменениям, настройке и обработке ошибок для безопасной эволюции схем.

6. Использование Confluent Schema Registry

Урок посвящен детальному разбору архитектуры и практического применения Confluent Schema Registry в Kafka-экосистеме: интеграции в Java-приложения для управления схемами Avro/Protobuf, контроля версий, обеспечения совместимости данных и обработки ошибок регистрации.

6
Тест 1
Тест 1
Тест 2
Тест 2
Тест 3
Тест 3
Тест 4
Тест 4
Тест 5
Тест 5

Модуль 6. Безопасность и мониторинг 6 уроков

1. Аутентификация и авторизация

Урок посвящен механизмам безопасности Kafka — аутентификации через SASL/SCRAM, авторизации через ACL и шифрованию SSL/TLS, а также их настройке в брокерах и Java-приложениях.

2. SASLSCRAM, SSL-шифрование

Урок посвящен детальному разбору механизмов аутентификации SASL/SCRAM и SSL/TLS-шифрования в Kafka, их настройке на брокере и в Java-приложениях для защиты кластера.

3. Настройка ACL через kafka-acls.sh

Урок посвящен детальной настройке Access Control Lists (ACL) в Apache Kafka с помощью утилиты kafka-acls.sh: синтаксису, типам операций, стратегиям управления правами, примерам для продюсеров, консьюмеров и администраторов, а также опасным антипаттернам.

4. Мониторинг

Урок посвящен комплексной настройке мониторинга Apache Kafka: сбору JMX-метрик, визуализации через Grafana, отслеживанию consumer lag и настройке алертинга для диагностики проблем в реальном времени.

5. JMX-метрики Kafka (Lag, Request Latency)

Урок посвящен детальному изучению JMX-метрик Apache Kafka для мониторинга отставания консьюмеров (Lag) и задержки запросов (Request Latency), их интерпретации, диагностике проблем и интеграции в системы мониторинга.

6. Grafana + Prometheus для визуализации

Урок посвящен построению комплексной системы мониторинга Apache Kafka с помощью Prometheus и Grafana: настройке сбора JMX-метрик, созданию информативных дашбордов и алертингу для диагностики производительности и отставания консьюмеров в реальном времени.

6
Тест 1
Тест 1
Тест 2
Тест 2
Тест 3
Тест 3

Модуль 7. Паттерны и антипаттерны 6 уроков

1. Dead Letter Queue (DLQ)

Урок посвящен проектированию отказоустойчивых систем обработки событий в Kafka с использованием паттерна Dead Letter Queue: концепции изоляции некорректных сообщений, архитектуре DLQ, стратегиям retry с backoff и практической реализации на Java.

2. Обработка некорректных сообщений

Урок посвящен продвинутым стратегиям обработки и восстановления некорректных сообщений в Kafka: их обнаружению и классификации, автоматической коррекции данных, паттернам изоляции через DLQ и практической реализации на Java.

3. Retry-механизмы

Урок посвящен проектированию отказоустойчивых Retry-механизмов в Kafka: классификации ошибок, стратегиям экспоненциального backoff, интеграции с гарантиями доставки и практическим паттернам повторной обработки временных и постоянных сбоев.

4. Экспоненциальная backoff-стратегия

Урок посвящен реализации и оптимизации экспоненциальной backoff-стратегии в Kafka: математическим основам, паттернам интеграции с консьюмерами, добавлению джиттера, практической реализации на Java с учётом идемпотентности и настройке параметров под различные сценарии сбоев.

5. Порядок обработки сообщений

Урок посвящен гарантиям и стратегиям сохранения порядка обработки сообщений в Kafka: ограничениям параллелизма, паттернам ключевой маршрутизации, однопоточной обработки и буферизации, а также антипаттернам и компромиссам между порядком и производительностью.

6. Гарантии порядка в рамках партиции

Урок посвящен гарантиям и стратегиям сохранения порядка обработки сообщений в пределах партиции Kafka: ограничениям параллелизма, паттернам ключевой маршрутизации, управления потоками и буферизации, а также практической реализации и компромиссам между порядком и производительностью.

6
Тест 1
Тест 1
Тест 2
Тест 2
Тест 3
Тест 3

Модуль 8. Практика разбор кейса 7 уроков

1. Транзакционное приложение

Урок посвящен разбору итогового проекта — системы обнаружения мошеннических транзакций в реальном времени (Real-Time Fraud Detection System) на базе Spring Boot, PostgreSQL, Debezium, Kafka и Kafka Streams, интегрирующей все пройденные технологии курса и лучшие практики.

2. План реализации

Урок представляет пошаговый план подготовки среды разработки и начальной настройки проекта Real-Time Fraud Detection System с использованием Java 17, Docker, Kafka, Debezium, PostgreSQL и Spring Boot.

3. Транзакции между Kafka и БД (Debezium)

Урок посвящен настройке синхронизации данных между PostgreSQL и Kafka через Debezium (CDC), включая конфигурацию коннектора, поток событий и интеграцию с сервисом Fraud Detection для отслеживания транзакций в реальном времени.

4. Kafka Streams для Real-Time Analytics

Урок посвящен реализации системы обнаружения подозрительных операций в реальном времени на Kafka Streams с использованием оконных агрегаций, фильтрации, группировки по пользователю и генерации алертов для пометки транзакций как подозрительных.

5. Агрегация данных с оконными функциями

Урок посвящен использованию оконных функций Kafka Streams для сложных агрегаций данных в реальном времени на примере детектирования мошеннических операций, включая типы окон, кастомные агрегаты и комбинированные условия алертинга.

6. Настройка безопасного кластера

Урок посвящен настройке безопасного кластера Kafka с использованием SSL/TLS-шифрования, аутентификации и авторизации через ACL для защиты соединений между Spring-приложением, Debezium и брокерами.

7. Развертывание с SSLSASL в Docker

Урок представляет пошаговую инструкцию по генерации SSL-сертификатов и настройке защищённого соединения Kafka с SASL/SSL в Docker, включая интеграцию со Spring Boot, Kafka Streams и решение типичных проблем Windows при работе с OpenSSL.

7.1
7.2
Задание
Задание

Модуль 9. Итоги 1 урок

Итоги курса

Подведение итогов курса.

О курсе

Описание
Особенности

Курс по Apache Kafka предназначен для разработчиков и инженеров данных, стремящихся выйти за рамки базовых знаний и освоить инструмент на уровне senior-специалиста. Программа охватывает архитектуру, производительность, безопасность и мониторинг распределённых систем с разбором реальных production-кейсов.

В ходе обучения вы освоите ключевые направления:

Архитектура «под капотом» — принципы работы брокеров, партиций, механизм ISR и выбор лидера репликации.
Оптимизация производительности — тонкая настройка параметров продюсеров (acks, linger.ms, batch.size) и консьюмеров (fetch.min.bytes, max.poll.records) для баланса между пропускной способностью и задержками.
Exactly-Once семантика — реализация идемпотентных продюсеров, транзакционная обработка с isolation.level=read_committed.
Kafka Streams — построение потоковых топологий (DAG), управление состоянием через StateStore, оконные агрегации (Tumbling, Hopping, Session Windows).
Управление схемами данных — интеграция Avro/Protobuf с Confluent Schema Registry, контроль версий и совместимости.
Безопасность и мониторинг — настройка SASL/SSL/ACL, визуализация метрик через Prometheus и Grafana.
Паттерны отказоустойчивости — Dead Letter Queue (DLQ), Retry с экспоненциальным backoff, интеграция с БД через Debezium.

Курс дает не только теоретическую базу, но и практические навыки: вы научитесь строить транзакционные Java-приложения, реализовывать Real-Time аналитику с оконными функциями и тестировать потоковые топологии с помощью TopologyTestDriver. Особое внимание уделяется диагностике проблем и тонкой настройке кластера для промышленной эксплуатации.

Курс представляет собой комплексную программу подготовки специалистов по Apache Kafka уровня senior: от глубокого понимания внутренней архитектуры и оптимизации производительности до обеспечения Exactly-Once семантики, безопасности кластера и профессионального мониторинга — всё это подкреплено разбором реальных production-сценариев.

Особенности учебного процесса

Формат

Самостоятельно
Видеоуроки / Текст
Обучение на ИнфоХит
Количество модулей

9
Уровень сложности

Для новичков
Когда вы будете учиться

В любой день в любое время
Техническая поддержка

В рабочее время
Срок доступа к материалам

Бессрочный

Кто автор курса?

Олег Тодор

Эксперт в области ИТ и специалист по Java. Автор курсов по разработке, автоматизации тестирования и внедрению ИИ. Основатель онлайн-школы IT-Teach.

5 5 отзывов 1 курс

Ответы на вопросы о курсе

Как я запомню, на каком уроке остановился?

Наш плеер сделает все за вас. Он будет следить за вашим прогрессом и запомнит момент, на котором вы закончили просмотр.

Для продолжения обучения вам надо будет убедиться, что вы авторизованы на сайте. И выбрать урок, который пройден менее, чем на 100%.

На какой срок я получу доступ к курсу?

Курсы на нашем сайте предполагают пожизненный доступ. Тем самым вы не ограничены по времени доступа к курсу. И сможете в любой момент начать обучение заново, чтобы обновить знания.

Могу ли я смотреть уроки с телефона?

Да, вы можете учиться с телефона или планшета. А также с любого устройства с браузером и доступом в интернет. Для этого вам нужно только авторизоваться на нашем сайте.

Могу ли я получить бонус за рекомендацию этого курса?

Да, вы можете рекомендовать курс и получать бонус в виде партнерского вознаграждения.

Мы создали для автора курса партнерскую программу на базе нашего сайта. Вам надо только присоединиться к ней, чтобы получить свою уникальную ссылку. Потом вы просто можете делиться ссылкой с другими, чтобы получить процент с каждого оформленного заказа.

Подойдет ли мне этот курс?

Вам подойдет этот курс, если вы хотите освоить новую для себя тему или пополнить багаж знаний в сжатые сроки. И готовы учиться по урокам в записи самостоятельно.

Что делать, если у меня техническая проблема или вопрос?

Если у вас возникнут проблемы технического характера, например, с доступом к курсу или личному кабинету, напишите нам на info@info-hit.ru. И мы поможем вам как можно скорее.

Отзывы о курсе «Apache Kafka Java продвинутый»

5 отзывов

5 0 0

Редакция ИнфоХит не несет ответственности за содержание отзывов, результаты обучения индивидуальны.

Размещая отзыв или комментарий, вы соглашаетесь с правилами и даете согласие на обработку персональных данных в соответствии с условиями.

Добавить отзыв

Ринат 23 сентября 2026 в 12:46

Курс написан очень хороший и информативный. Мне нравится такой формат, поэтому 10 из 10. Сам формат можно сказать сухой, но всё по теме с разбором кейсов. Отдельное спасибо за Debezium и настройку SSL, в процессе домашнего задания пришлось плотно с ними познакомиться) По самим процессам Кафка так же всё до мелочей, в работе сильно пригодились знания полученные по настройке.

Ответить

Евгений 23 сентября 2026 в 10:54

Очень понравился курс, за такую малую цену здесь очень много полезной информации. До этого был опыт только с другими брокерами, захотелось освоить кафку. Практический проект в конце тоже очень классный и интересный, охватывает почти все темы курса.

Ответить

Анастасия Т 21 сентября 2026 в 15:12

Спасибо за курс. Материал сложноват, много тех терминов, но доносится в целом хорошо. Понравился подход донесения информации, это реально сокращает время на то чтобы вникнуть в суть уроков.

Ответить

Дмитрий С 20 сентября 2026 в 20:06

Очень хороший профессиональный курс, который помогает глубоко разобраться в теме и узнать новое. Очень рекомендую всем кто будет работать с kafka.

Ответить

Anonymous 17 сентября 2026 в 21:47

Курс понравился 10/10; материал структурирован, понятен и интересен, без воды. Буду время от времени возвращаться к материалу как к полезной шпаргалке. Задания в курсе на понимание и не просто создай/удали топик, а можно сделать полезную систему с ключевыми моментами по Apache Kafka. Оперативная обратная связь: получила рецензию в течение 10 часов после отправки решения (и это в выходной). Курс рекомендую

Ответить

Добавить отзыв

Глеб З 23 сентября 2026 в 16:07

Отличный курс, даже такой новичок как я справился, единственное что бы порекомендовал автору, добавить видео разбор UI интерфейса графаны, глаза там просто из орбит вылезают)

Курс «Grafana & Prometheus: глубокое погружение»

Сайт курса

Ответить

Ринат 23 сентября 2026 в 12:46

Курс «Apache Kafka Java продвинутый»

Сайт курса

Ответить

Евгений 23 сентября 2026 в 10:54

Курс «Apache Kafka Java продвинутый»

Сайт курса

Ответить

Иван 21 сентября 2026 в 15:39

Курс произвел исключительно положительное впечатление. Материал хорошо структурирован, без воды, с понятными объяснениями и множеством практических примеров.
- Изначально сомневался, хватит ли материала по Prometheus и PromQL — оказалось, что его достаточно, плюс даётся хорошая база по мониторингу и observability в целом.
- Хотя платформа оценивает курс всего в 2 часа, на каждый из 6 разделов стоит выделять около 4 часов, так что полный разбор материала займёт минимум 3 рабочих дня (если всё выполнять и повторять).
- Я не Java-разработчик и проходил курс ради Grafana и Prometheus, но стоит учитывать, что не менее 25% материала посвящено Java, Micrometer и Spring Boot. Пропустить эти блоки сложно из-за тестов и практического задания на RestAPI-приложении.
- Лично мне хотелось бы видеоуроков, но экранный диктор современных браузеров неплохо справляется с озвучкой материала, так что обучение остаётся комфортным.
В целом курс оставил исключительно положительное впечатление. Рекомендую всем, кто хочет глубоко погрузиться в мониторинг и работу с Grafana, Prometheus, PromQL и Java.

Курс «Grafana & Prometheus: глубокое погружение»

Сайт курса

Ответить

Читать все отзывы (9)

Курсы аналоги

Подборка других курсов, которую нашла нейросеть по содержанию этого курса. Мы учитываем тему, уровень, формат и длительность, а также рейтинг и отзывы. Смотрите близкие программы — для углубления или альтернативного старта.