Мягкий онбординг в курс, где мы объясним, как учиться онлайн, как сдавать практические работы, как работать со стендами, а также расскажем, в чем заключается профессия инженера данных.

Практика: реализовать первый этап работы с данными — их выгрузку из источника, представленного в виде API.

Вы узнаете подходы и способы решения ежедневных задач дата-инжиниринга с помощью базовых инструментов в лице Python и утилит командной строки.

Практика: обогатить данные из источника расшифровкой кодов и сгенерировать агрегированное представление.

Вы узнаете подходы и способы решения ежедневных задач дата-инжиниринга с помощью базовых инструментов в лице Python и утилит командной строки.

Практика: построить витрину торговых партнеров как по импорту, так и по экспорту по каждому из представленных в данных временных диапазонов.

Вы узнаете, как устроен один из самых популярных инструментов для распределенной обработки данных и научитесь его применять как для пакетных, так и для потоковых задач.

Практика: построить витрину данных, представляющую собой набор агрегатов по месяцам на основе лога таможни

Вы получите базовое понимание принципов организации данных в реляционных базах данных, а также узнаете пару инструментов и подходов для решения задач DE с применением SQL.

Практика: получить данные из PostgreSQL в Clickhouse и построить витрину данных, представляющую собой набор агрегаций по месяцам.

Вы увидите отличие NoSQL-баз как вида, так и разных их вариаций для решения соответствующих задач, используете на практическом задании различные базы данных.

Вы узнаете отличия между ETL и ELT и увидите, какие последствия для инфраструктуры несет внедрение того или иного подхода. Дадим список критериев, по которым можно оценивать то или иное решение для перекладки данных.

Цель: освоить работу с Apache AIrflow для автоматизации задач.ка: построить витрину данных, представляющую собой набор агрегатов по месяцам на основе лога таможни.

Вы приобретете опыт работы с Apache AirFlow, изучите сильные стороны инструмента и узнаете, как его конфигурировать. У вас также будет некоторое понимание архитектуры, как устроен Airflow и как настраивать компоненты.

Цель: научиться обрабатывать большие файлы в стриминговом потоке Kafka. Задача в загрузке файла для его дальнейшего использования.

Вы изучите разные способы настройки Kafka для решения задач батчинга и стриминга, поработаете с компонентами.

Цель: получить навык работы со стриминговыми данными в NiFi с использованием распределённого программного брокера сообщений Apache Kafka.

Вы поймете, как использовать Apache NiFi для управления и преобразования потоков данных в проектах и задачах обработки информации.

Практика: познакомиться с возможностями dbt и создать полноценный dbt-проект.

Вы познакомитесь с современными методиками проектирования хранилищ, узнаете о типичных проблемах и потенциальных решениях, возникающих в процессе эксплуатации инфраструктуры по работе с данными.

Цель: изучить возможности Metabase для визуализации данных.

Вы покажете на практике сопровождение данных на всех этапах жизненного цикла, сможете сделать проект на собственных данных. Также затронем вопрос улучшения data quality.

В конце обучения вас ждет финальный тест, а также работа над собственным проектом, где вы покажете все, чему научились. Вы на практике покажете сопровождение данных на всех этапах жизненного цикла

Без этих знаний обучение будет очень сложным, и, возможно, не принесёт пользы

Мы собрали в курсе актуальные темы и поможем вам пройти от азов профессии Data-инженера до уровня начинающего специалиста

Вы можете начать погружение в океан Big Data с вашей базой — Python. Именно с него стартует учебная программа

Мы живем в мире, где объем данных растет день ото дня. Бизнесу и корпорациям будут требоваться люди, которые могут совладать с потоком входящей информации и предлагать решения для развития

Всех студентов мы добавим в чат поддержки. Здесь на вопросы будут отвечать спикеры курса — сам чат будет доступен и после окончания занятий. Также спикеры будут давать обратную связь по некоторым домашним заданиям и итоговому проекту. Вас поддержат на всех этапах изучения профессии

Да, напишите об этом в отдел продаж или на почту ask@slurm.io для обсуждения подробных условий

Доступ к курсу останется у вас на 2 года

Да, для этого выберите вариант «Оставить заявку»

Вы сможете вернуть 13% от стоимости обучения за счет государства, если трудоустроены официально. Для этого нужно подать заявление на сайте nalog.ru