практикум

Kafka by Rebrain

Программа охватывает все основные аспекты работы с Kafka
Начать >>>

стек, который вы освоите

Kafka
GSSAPI + Kerberos
Prometheus & JMX Exporter
Multi-broker cluster
Producer API
Consumer API
Schema Registry
Kafka Connect
Kafka Streams
Message Delivery Guarantees
Cтандарт индустрии
На сегодняшний день Apache Kafka является стандартом индустрии в качестве брокера сообщений
Прохождение в комфортном темпе
Практикум без жестких дедлайнов
Реальная применимость
Практические задания, приближенные к реальной практике специалистов
Rebrain
— большое сообщество IT-специалистов, создаём
практикумы по инфраструктуре с 2018 года
Почему выбирают наши программы
  • Автоматические проверки — мгновенная обратная связь по заданиям
  • Проверки менторами — DevOps-инжерами с опытом в индустрии от 5+ лет
  • Возможность общаться с опытными практикующими специалистами
  • Свободный темп — проходите без жёстких дедлайнов
  • Прикладные задачи — кейсы, приближенные к реальной работе DevOps-инженера
Стать частью сообщества >>>
phone

Кому подойдёт

Data-инженерам (Middle/Senior)

работающим с большими потоками данных, которым нужен надёжный инструмент для их обработки и передачи

Backend-разработчикам

создающим распределённые и микросервисные архитектуры, где необходима асинхронная обработка сообщений

DevOps-инженерам (Middle)

ответственным за развертывание и поддержку высоконагруженных систем, включая брокеры сообщений

Как проходит
практикум

Команда Rebrain изучает, какие из компетенций требуются на разных уровнях профессий. Мы понимаем, что нужно знать, чтобы на собеседовании или при выполнении задач чувствовать себя уверенно. После наших практикумов специалисты легко адаптируются к реальным рабочим условиям.

Материалы останутся с вами навсегда
Проходите в удобное для вас время

программа практикума

Онбординг

  • Онбординг

Инфраструктура

  • Знакомство с Kafka
  • WebUI. Настройки Kafka
  • Безопасность в Kafka: возможности и best practices
  • Мониторинг Kafka
  • Отказоустойчивость Kafka. Multi-broker cluster

Разработка

  • Producer API
  • Consumer API
  • Schema Registry
  • Kafka connect. Connect API. Kafka Streams
  • Kafka как распределённая система. Гарантии доставки (*Optional)

Финальное задание

  • Итоговое задание

Заключение

  • Заключение
Авторы практикума
Алексей Калакин
Алексей Калакин
- System Architect - Solution Architect, DevOps - UNIX-эксперт
Руководитель департамента по работе с большими данными и ИИ в компании «Билайн»
МАТВЕЙ СУХОВ
МАТВЕЙ СУХОВ
Более 12 лет опыта разработки интеграционных систем для бизнеса в качестве ведущего инженера и разработчика
Архитектор в «Билайн»
НИКОЛАЙ МАКАРОВ
НИКОЛАЙ МАКАРОВ
Более 6 лет разрабатывает различные backend и data intelligence системы, любит event-driven архитектуру
Software Engineer в «Иви»

Ключевые навыки для резюме:

Установка и базовая настройка Apache Kafka
Настройка авторизации и аутентификации через GSSAPI + Kerberos
Организация мониторинга Kafka с использованием Prometheus и JMX Exporter
Создание защищённых мультиброкерных кластеров Kafka
Конфигурация и использование Consumer API и Producer API
Работа с Schema Registry
Настройка и управление репликацией в Kafka
Использование Kafka Connect и Kafka Streams для интеграции и потоковой обработки данных

немного о
технологии

Масштабное применение

Более 49 000 компаний по всему миру используют Apache Kafka — он занимает 26,7 % рынка в категории Enterprise Application Integration. Среди компаний с подтверждёнными данными — 18 500 организаций.

Основной компонент современного стека

Kafka — это невидимая магия современного Data Stack: он обеспечивает реальное время, event-driven архитектуры, стриминг данных, интеграцию с lakehouses, аналитикой и микросервисами.

Разнообразие применений и объёмы

Среди применений: мониторинг, Data Warehouse, асинхронные приложения, системы безопасности и IoT.

Architectural инновации и управляемость

В 2025 году вышла Kafka 4.0 с новым «KRaft» (без ZooKeeper), что упрощает управление кластером, повышает масштабируемость и надёжность. Также представлены «Queues for Kafka» — новый способ организации потребления.

Растущий спрос и зрелость технологии

По данным Confluent, 86% IT-руководителей считают инвестиции в стриминг данных стратегическим приоритетом. Уровень зрелости внедрения данных решений остаётся высоким.

Пример задания

В данном задании мы запустим брокер Kafka и подключим к нему мониторинг Prometheus.
Что Kafka, что Prometheus представлены в виде docker-compose

Подключитесь к выделенной при старте задания машине по SSH. Архив с Kafka уже развёрнут в папке /opt/kafka. После подключения добавьте следующие записи в файл /etc/hosts. Вместо 10.129.0.13 укажите ваш адрес.

  1. 129.0.13 kafka-centos-8

  2. 129.0.13 kafka1

  3. 129.0.13 kafka2

  4. 129.0.13 kafka3

  5. 129.0.13 grafana

  6. 129.0.13 prometheus
    В папке /opt/docker/kafka для вас подготовлен docker-compose файл. Запустите его в фоне, предварительно добавив параметры jmx к каждому экземпляру kafka
    KAFKA_OPTS: >-

  • javaagent:/etc/jmx_exporter/jmx_exporter.jar=7072:/etc/jmx_exporter/config.yml
    volumes:

  • './data/node1:/opt/kafka/data' ### где номера нод соответствуют экземплярам kafka

  • './jmx_exporter/jmx_exporter.jar:/etc/jmx_exporter/jmx_exporter.jar'

  • './jmx_exporter/config.yml:/etc/jmx_exporter/config.yml'
    И выставляем порт JMX
    7072 как 20100 для kafka1
    7072 как 20200 для kafka2
    7072 как 20300 для kafka3
    В папке /opt/docker/kafka-monitoring для вас подготовлен docker-compose файл. Запустите его в фоне, предварительно поменяв таргет для сбора метрик в файле /opt/docker/kafka-monitoring/prometheus/prometheus.yml

Остались вопросы?
Приходите на бесплатную консультацию с экспертом. Мы ответим на все вопросы
и подробнее расскажем о практикуме.

практикум

Kafka by Rebrain

В стоимость входит:

  • Выполнение задач на настоящей инфраструктуре
  • Сопровождение — менторы, координатор
  • Бессрочный доступ к теоретической части практикума
стоимость
16.990 руб.
от 4.248 руб./мес.

долями на 4 платежа

от 4.248 руб./мес.

долями на 4 платежа, или сразу - 16.990 руб.

Перейти к оплате >>>

Файлы куки

При использовании данного сайта, вы подтверждаете свое согласие на использование файлов cookie и других похожих технологий в соответствии с настоящим Уведомлением.