Скачать с ютуб 4 лайфхака, которые помогут вам эффективно использовать конвейеры AirFlow • Александр Шелютин в хорошем качестве

4 лайфхака, которые помогут вам эффективно использовать конвейеры AirFlow • Александр Шелютин

На конференции Systems Design 2024 Александр Шелютин, опытный Data Engineer с 6-летним стажем, рассказал о важности создания шаблонных DAG на основе конфигурационных и коллективных файлов для повышения эффективности работы с AirFlow. Он также выделил значение генерации автоматических сущностей AirFlow и создания событийных пайплайнов AirFlow. 00:00 О спикере 01:09 Что такое AirFlow? 05:54 1. Создавайте шаблонные DAGи на основе конфигурационного файла 13:08 2. Создавайте шаблонные DAGи на основе коллективного файла конфигурации 18:20 3. Генерируйте автоматически, на основе сущностей AirFlow 23:45 4. Создавайте событийные (event-driven) пайплайны Airflow 29:50 В чем разница оркестрации и хореографии? 32:15 Что является событием в тестировании доменной безопасности? Почему не удавалось это сделать по расписанию? Основы проектирования интеграций ИТ-систем https://ssa.io/6OR2xB Проектирование интеграции с REST API https://ssa.io/emIEgi Современные технологии хранения данных в микросервисной архитектуре https://ssa.io/KAvrAe Работа с очередями в RabbitMQ и Apache Kafka https://ssa.io/maMkdq Моделирование предметной области и проектирование БД https://ssa.io/gfbVFV Основы ООП и разработка UML-моделей https://ssa.io/SnGkCQ ____________________ 📌 ПОДПИСАТЬСЯ НА Systems Education: ➛Официальный сайт: https://systems.education/ ➛VK https://vk.com/sys_education ➛Telegram - Новости Systems Education и расписание курсов https://t.me/systems_education ➛Telegram - Анонсы событий по системному анализу: https://t.me/itsysdes_events ➛Telegram - Как стать системным аналитиком: http://t.me/kak_stat_SA