Курс «Симулятор Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных»

Курс-симулятор для инженеров и аналитиков данных, которые хотят овладеть навыками построения хранилищ данных и научиться работать с актуальными инструментами для обработки и анализа информации. На курсе вы научитесь использовать dbt (Data Build Tool) для создания и оптимизации ETL-процессов, DataOps-практикам и автоматизации аналитической работы. Проводится подготовка экспертами образовательного проекта «Онлайн-школа Inzhenerka.Tech».

Вы научитесь проектировать и создавать структуры данных на базе dbt, которые будут обрабатывать большие объемы информации, обеспечивая быстрое и точное получение аналитики. Курс построен на кейсах, имитирующих задачи, с которыми сталкиваются инженеры по аналитике данных в крупных организациях. Вы научитесь работать с настоящими данными и получите реальный опыт, применимый в работе инженера.

Программа курса «Симулятор Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных»:

1. Знакомство с профессией инженера аналитики.
2. Создание базы и проекта Data Build Tool. Где хранить код. Таблица анализа статистики.
3. Автоматизация проекта.
4. Практика выполнения финансового анализа организации.
5. Упаковка и продажа себя как инженера аналитики.

Data Warehouse и Data Build Tool — это то, чем обязан владеть каждый middle-, senior-аналитик и Analytics Engineer. Получив эти знания, вы сможете уверенно чувствовать себя в любом проекте как на отечественном, так и зарубежном рынке.

• Понимание ролей и обязанностей в сфере аналитики и места в ней новой профессии Analytics Engineer.
• Понимание, какие преимущества дает dbt и какие старые проблемы эффективно решает.

• Тренируемся эффективно использовать большие языковые модели, генерировать SQL-скрипты и дебажить ошибки dbt.
• Осваиваем AI-помощника ДуДу.
• Краткое введение в промпт-инжиниринг.

• Понимание, чем отличаются разные виды хранилищ данных, какие у них достоинства, недостатки и границы применимости.
• Умение настраивать локальную и облачную инфраструктуру для персональных проектов.

• Понимание, как устроен проект dbt и описание моделей.
• Умение создавать таблицы из SQL-моделей dbt.

• Понимание, как аналитики моделируют и перемоделируют хранилище данных.
• Умение создавать модели dbt из SQL-запросов.
• Расчет и визуализация географических данных.

• Понимание, когда нужно превращать обычные модели в инкрементальные и что для этого требуется.
• Умение выбирать инкрементальную стратегию в зависимости от задачи и типа хранилища.
• Базовое владение техникой шаблонизации SQL-моделей dbt с помощью встроенного инструмента Jinja.
• Умение внедрять инкрементальность в SQL-код модели, проводить их отладку и заполнять исторические данные.

• Понимание границ применения CSV-файлов в аналитике, их достоинств, недостатков, изучение альтернатив.
• Умение создавать таблицы из CSV-файлов с помощью dbt seed.
• Умение строить и обновлять пайплайны данных на основе CSV-файлов.
• Умение генерировать CSV-файлы под заданные требования с помощью сервисов LLM.

• Умение создавать макросы Jinja для переиспользования бизнес-логики между моделями.
• Умение создавать параметризованные модели, управляемые с помощью переменных из командной строки.
• Умение правильно работать с тайм-зонами в хранилище.
• Автоматизация проекта dbt для решения вспомогательных задач с помощью хуков.
• Понимание основ низкоуровневой оптимизации данных в хранилище.
• Настройка автоматической раздачи доступов к артефактам dbt.

• Понимание основных проблем качества данных, умение диагностировать и решать их.
• Использование взвешенного подхода при внедрении тестов данных с фокусом на основных проблемах.
• Умение использовать стандартные тесты dbt для быстрого внедрения типовых проверок данных.
• Умение создавать свои тесты данных на основе SQL для моделей и отдельных колонок.

• Добавляем в проект метаданные и data contracts.
• Генерируем интерактивный портал с каталогом всего проекта и учимся работать с ним.
• Что такое артефакты dbt и как их можно использовать для анализа проекта.
• Настраиваем CI/CD с GitHub Actions для автоматического обновления каталога данных из исходного кода.

• Что такое пакеты dbt, какие возможности дают, где их брать и устанавливать.
• Обзор dbt Package Hub и наиболее интересных пакетов.
• Переиспользование сложной бизнес-логики для быстрого построения моделей и создания тестов данных.

• Изучаем особенности семантического слоя, отличие от OLAP-кубов и разные способы его реализации.
• Создаем семантический слой в проекте dbt с MetricFlow.

• Переносим старый непонятный и недокументированный SQL-код из представлений и сохраненных процедур в проект dbt. Автоматизируем расчет показателей бизнеса с помощью dbt.

• Что такое in-memory-аналитика и почему DuckDB набирает популярность.
• Заменяем расчеты в Excel на DuckDB и документированные SQL-модели.
• Выполняем финансовый анализ компании.

• Методы деплоя аналитических пайплайнов.
• Multi-stage окружение.
• Запускаем dbt-core в GitHub Actions по расписанию.
• Обзор оркестраторов для dbt.
• Введение в Dagster и Airflow.

• Учимся красиво представлять свой опыт и полученные знания.
• Как составить эффективное резюме, оформить демо-проект на GitHub и пройти техническое интервью на должность дата-инженера/аналитика.
• Дальнейшие пути развития в рамках dbt и не только.

• Научитесь запускать сборку моделей dbt руками.
• Научитесь настраивать запуск по расписанию.
• Научитесь работать с селекторами dbt.
• Научитесь запускать тесты dbt assets.
• Коротко обсудим остальные аспекты работы с Dagster – software defined assets, ops, jobs.

• Научитесь запускать сборку моделей dbt руками.
• Научитесь настраивать запуск по расписанию.
• Научитесь работать с селекторами dbt.
• Обсудим отличия от Dagster и работу с дагами эйрфлоу в целом.

• Формат
  В группе с наставником
  Живые вебинары / Видеоуроки / Консультации Мастер задач — Видеоуроки
  Обучение в ЛК на сайте автора
• Демодоступ
• Продолжительность
  3 месяца
• Уровень сложности
  Для новичков
• Когда вы будете учиться
  Строго по расписанию
• Документ об обучении
  Сертификат
• Сопровождение
  Куратором
• Общение с группой
  Форум или чат внутри ЛК
• Техническая поддержка
  В рабочее времяЧат в мессенджереТелефон
• Срок доступа к материалам
  Бессрочный
• Бонусы
  Только для дорогих тарифов
• Год выхода
  2024 Последнее обновление: 20.11.2024
• Дополнительные материалы курса
  AI-бот для мгновенного CodeReview