[DataStudy] SQL и автоматизация витрин данных (Даниил Джепаров)

​

Для кого это обучение

• Хочешь самостоятельно реализовывать аналитические задачи и отчетность "под ключ"
• Сильного специалиста на рынке отличает умение делать задачу от сбора требований до финального результата
• Хочешь научиться оптимизировать комплексные SQL запросы
• Оптимизация - это навык, который позволяет писать быстрые и эффективные запросы, которые соответствуют высокому качеству аналитической системы для быстрого отклика расчета данных
• Хочешь использовать Python для автоматизации широкого спектра задач
• Функциональное программирование на Python позволяет писать DAGи в Apache Airflow для настройки ETL потоков, автоматизировать работу с Google таблицами, извлекать данные по API, считывать данные из баз данных, а также отправлять отчеты в любой мессенджер. Это универсальные навыки для большого спектра задач
• Хочешь систематизировать знания в работе с DWH и ETL и уметь выполнять задачи в области анализа и инженерии данных
• Инженерные навыки всегда высоко оплачиваются на рынке, компании ищут сильных людей, готовых работать с комплексными системами
• Хочешь профессионального и финансового роста
• Практические навыки после обучения позволяют работать на позиции middle+ / senior специалиста, зарплатная вилка на рынке 180-350 gross в зависимости от компании и требуемого опыта

Для обучения потребуются базовые знания SQL

• фильтрация
• функции агрегации
• JOIN
• понимание оконных функций

Твой результат после обучения

• Умею реализовывать сложные бизнес и технические задачи с помощью SQL
• Умею писать оптимальные и оптимизированные SQL-запросы, применяя оконные функции, JOIN, CTE, подзапросы, временные таблицы
• Умею реализовывать полную и инкрементальную загрузку данных с помощью SQL и Python
• Умею автоматизировать обновление данных с помощью Apache Airflow и Cloud Functions

Какие инструменты освоишь

• PostgreSQL
• Apache Airflow
• Cloud Functions

Программа:

• Витрины данных
  Сначала погрузишься в контекст что называется витриной данных, как загружаются данные в витрину разными способами и какие виды материализации витрин существуют
• Сбор требований
  В этом блоке узнаешь как собирать требования для разработки витрин, какие вопросы задавать и какие шаблоны можно применять для фиксации требований
• SQL для преобразований данных
  Для разработки бизнес-логики расчета метрик и автоматизации обновления данных изучишь новые операторы SQL и научишься работать с массивами, списками и json форматами данных внутри базы. Также рассмотрим методы формирования комплексных запросов с помощью подзапросов, CTE и временных таблиц
• Лайфхаки из практики
  Здесь собраны максимально полезные практические материалы с работы, тонкие нюансы и лайфхаки, которые нарабатываются обычно только с опытом. Стандарты сборки витрин, дедубликация, снэпшоты данных, расчет окон атрибуции, тотал и сабтотал метрики и другое
• Теория и практика Git
  Навыки аналитика-инженера или фулстек-аналитика подразумевают работу с Git-системами. Поэтому здесь изучишь основные команды git и работу с репозиторием, которая будет закреплена в практических заданиях
• Реализация полной перезагрузки
  Научишься создавать витрины с полной перезагрузкой данных в них разными способами
• Реализация инкрементальной загрузки
  Научишься реализовывать загрузку данных разными инкрементами (частями)
• Оптимизация запросов
  Нам важно уметь писать SQL-запросы эффективно, чтобы они выполнялись максимально быстро и просто. Поэтому изучим правила оптимизации SQL и чтения плана запроса
• Документация
  После создания витрины нужно создать документацию, чтобы ты и твои коллеги могли этим пользоваться. Рассмотрим шаблоны документации и как их заполнять
• Качество данных
  Без качественных данных не получить качественный анализ. Научишься следить за метриками качества при создании витрин и автоматизировать проверки на качество
• Clickhouse
  Узнаешь чем колоночная база данных Clickhouse технически отличается от реляционной PostgreSQL
• Полноценный пайплайн от источника до отчета
  Разберём создание проекта "под ключ" от извлечения данных из источника, их преобразования и обработки в хранилище до создания BI отчета с метриками в Datalens. Стек: PostgreSQL, Apache Airflow, Yandex Datalens
• Разработка и автоматизация 10 витрин
  На практике разработаешь 10 витрин под разные аналитические задачи: расчет Retention, RFM, LTV, Маркетинговый отчет, P&L отчет, CRM отчет и другое

Автор Даниил Джепаров

• Я организовал Datastudy, чтобы максимально эффективно обучать людей навыкам анализа и преобразования данных.
• У меня 6 лет коммерческого опыта работы аналитиком, сейчас я лид-аналитик в Сравни, выполняю задачи сам и отвечаю за команду аналитиков.
• С 2022 года обучил своей профессии множество людей, помимо этого делюсь знаниями и своей жизнью в tg-канале

Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...