практикум
Kafka by Rebrain
стек, который вы освоите
практикумы по инфраструктуре с 2018 года
- Автоматические проверки — мгновенная обратная связь по заданиям
- Проверки менторами — DevOps-инжерами с опытом в индустрии от 5+ лет
- Возможность общаться с опытными практикующими специалистами
- Свободный темп — проходите без жёстких дедлайнов
- Прикладные задачи — кейсы, приближенные к реальной работе DevOps-инженера
Кому подойдёт
Разработчикам
Получите практические навыки работы с Kafka
Системным аналитикам и архитекторам
Этот практикум поможет понять инфраструктуру потоковой обработки, выбрать архитектуру и оценить отказоустойчивость
SRE и DevOps-инженерам
Практикум идеально подойдёт тем, кто отвечает за надёжность и масштабирование систем. Вы научитесь развертывать и мониторить Kafka-кластеры, использовать автопроверки и общаться с кураторами, что ускоряет решение реальных задач
Как проходит
практикум
Команда Rebrain изучает, какие из компетенций требуются на разных уровнях профессий. Мы понимаем, что нужно знать, чтобы на собеседовании или при выполнении задач чувствовать себя уверенно. После наших практикумов специалисты легко адаптируются к реальным рабочим условиям.
Материалы останутся с вами навсегда
Проходите в удобное для вас время
программа практикума
Онбординг
- Онбординг
Инфраструктура
- Знакомство с Kafka
- WebUI. Настройки Kafka
- Безопасность в Kafka: возможности и best practices
- Мониторинг Kafka
- Отказоустойчивость Kafka. Multi-broker cluster
Разработка
- Producer API
- Consumer API
- Schema Registry
- Kafka connect. Connect API. Kafka Streams
- Kafka как распределённая система. Гарантии доставки (*Optional)
Финальное задание
- Итоговое задание
Заключение
- Заключение
Ключевые навыки для резюме:
немного о
технологии
Более 80 % компаний
из Fortune 100 используют Kafka
до 138 миллионов
Компания Uber обрабатывает через Kafka до 138 миллионов сообщений в секунду
GitHub активность
12 000+ звёзд, лидер среди стриминговых систем по активности сообщества
Пример задания
В данном задании мы запустим брокер Kafka и подключим к нему мониторинг Prometheus.
Что Kafka, что Prometheus представлены в виде docker-compose
Подключитесь к выделенной при старте задания машине по SSH. Архив с Kafka уже развёрнут в папке /opt/kafka. После подключения добавьте следующие записи в файл /etc/hosts. Вместо 10.129.0.13 укажите ваш адрес.
-
129.0.13 kafka-centos-8
-
129.0.13 kafka1
-
129.0.13 kafka2
-
129.0.13 kafka3
-
129.0.13 grafana
-
129.0.13 prometheus
В папке /opt/docker/kafka для вас подготовлен docker-compose файл. Запустите его в фоне, предварительно добавив параметры jmx к каждому экземпляру kafka
KAFKA_OPTS: >-
-
javaagent:/etc/jmx_exporter/jmx_exporter.jar=7072:/etc/jmx_exporter/config.yml
volumes: -
'./data/node1:/opt/kafka/data' ### где номера нод соответствуют экземплярам kafka
-
'./jmx_exporter/jmx_exporter.jar:/etc/jmx_exporter/jmx_exporter.jar'
-
'./jmx_exporter/config.yml:/etc/jmx_exporter/config.yml'
И выставляем порт JMX
7072 как 20100 для kafka1
7072 как 20200 для kafka2
7072 как 20300 для kafka3
В папке /opt/docker/kafka-monitoring для вас подготовлен docker-compose файл. Запустите его в фоне, предварительно поменяв таргет для сбора метрик в файле /opt/docker/kafka-monitoring/prometheus/prometheus.yml
и подробнее расскажем о практикуме.
практикум
Kafka by Rebrain
В стоимость входит:
- Выполнение задач на настоящей инфраструктуре
- Сопровождение — менторы, координатор
- Бессрочный доступ к теоретической части практикума