практикум
Greenplum в Yandex MPP Analytics for PostgreSQL
темы, которые вы освоите
практикумы по инфраструктуре с 2018 года
- Автоматические проверки — мгновенная обратная связь по заданиям
- Проверки менторами — DevOps-инжерами с опытом в индустрии от 5+ лет
- Возможность общаться с опытными практикующими специалистами
- Свободный темп — проходите без жёстких дедлайнов
- Прикладные задачи — кейсы, приближенные к реальной работе DevOps-инженера
Кому подойдёт
Data-инженеры / ETL-разработчики
Специалисты, которые хотят освоить новую мощную СУБД для построения масштабируемых хранилищ данных и пайплайнов, чтобы работать с объёмами в сотни терабайт и более.
Аналитики данных / BI-специалисты
Для тех, кому не хватает скорости и мощности текущих инструментов. Навыки работы с Greenplum позволят самостоятельно готовить данные для сложных отчетов и быстро выполнять глубокую аналитику.
Разработчики БД / Архитекторы
Профессионалы, которые стремятся расширить экспертизу в области распределенных систем, изучить архитектуру MPP и научиться проектировать высоконагруженные аналитические базы данных.
Как проходит
практикум
Команда Rebrain изучает, какие из компетенций требуются на разных уровнях профессий. Мы понимаем, что нужно знать, чтобы на собеседовании или при выполнении задач чувствовать себя уверенно. После наших практикумов специалисты легко адаптируются к реальным рабочим условиям.
Материалы останутся с вами навсегда
Проходите в удобное для вас время
программа практикума
Онбординг
- Введение
- Входной тест
Общая информация о Greenplum
- Знакомство с Greenplum
- Архитектура Greenplum
- Greenplum в сервисе Yandex MPP Analytics for PostgreSQL
- Лабораторная работа #1
Физическая модель данных и DDL
- Ключевые сущности Greenplum
- Таблицы: виды, дистрибуция и сжатие
- Таблицы: партицирование
- Типы данных
- Преобразование типов данных
- Индексы, ограничения целостности, последовательности
- Представления и функции. Зависимости между объектами БД
- Лабораторная работа #2
Работа с внешними источниками
- Инструменты СУБД Greenplum для загрузки и выгрузки данных
- Лабораторная работа #3
Оптимизация производительности запросов
- Как выполняются запросы в Greenplum
- Операторы в плане запроса. Спилл-файлы
- Факторы, влияющие на план запроса
- Анализ запросов
- Оптимизация производительности запросов
- Лабораторная работа #4
Итоги
- Итоговый тест
- Заключение
Ключевые навыки для резюме:
немного о
технологии
Лидер в аналитике больших данных
Greenplum — одна из самых популярных MPP (Massively Parallel Processing) СУБД в мире. Она используется в крупнейших компаниях для обработки петабайтов данных, где обычные базы не справляются.
Полностью управляемое решение в облаке
В Yandex Cloud Greenplum доступен как сервис Yandex MPP Analytics. Вам не нужно администрировать кластер — можно сосредоточиться на данных, а облако обеспечит масштабирование и отказоустойчивость.
Скорость, которая меняет подходы
Благодаря распределённой архитектуре, сложные аналитические запросы, которые выполнялись часами, в Greenplum могут занимать минуты. Это ускоряет принятие бизнес-решений.
Карьерный рост для дата-специалиста
Навык работы с Greenplum — это весомое конкурентное преимущество на рынке труда. Эксперты в этой области высоко ценятся в финтехе, телекоме, ритейле и других data-driven индустриях.
Построен на PostgreSQL
Если вы уже знакомы с PostgreSQL, освоить Greenplum будет значительно проще. Вы сможете использовать знакомый SQL, но получите в распоряжение мощь распределенных вычислений для big data.
Пример задания
-
Разверните кластер Greenplum в сервисе Yandex MPP Analytics for PostgreSQL.
-
Изучите архитектуру Greenplum Master Segment — распределение данных.
-
Проверьте корректность создания кластера и доступность компонентов.
-
Подготовьте краткое описание архитектуры развёрнутого решения и сценариев отказоустойчивости.
Спроектируйте таблицу для аналитического сценария с учётом типа таблицы схемы дистрибуции партицирования.
-
Создайте таблицу с использованием DDL.
-
Настройте индексы и ограничения целостности.
-
Проверьте влияние выбранной дистрибуции на выполнение запросов.
-
Подготовьте внешний источник данных для загрузки.
-
Используйте встроенные инструменты Greenplum для загрузки данных.
-
Выполните выгрузку данных из Greenplum во внешний источник.
-
Проанализируйте скорость и корректность загрузки и выгрузки.
-
Выполните аналитический SQL-запрос к подготовленным данным.
-
Проанализируйте план выполнения запроса.
-
Определите узкие места операторы спилл файлы.
-
Оптимизируйте запрос и сравните показатели производительности до и после.
и подробнее расскажем о практикуме.
практикум
Greenplum в Yandex MPP Analytics for PostgreSQL
В стоимость входит:
- Выполнение задач на настоящей инфраструктуре
- Сопровождение — менторы, координатор
- Бессрочный доступ к теоретической части практикума