Скачать с ютуб Стриминговые фреймворки: Apache Flink • Дарья Колесова в хорошем качестве

Стриминговые фреймворки: Apache Flink • Дарья Колесова

На конференции Systems Design выступила Даша Колесова, Data Engineer, которая провела доклад о стриминговых фреймворках, сосредоточившись на Apache Flink. Она рассмотрела use cases, работу со state, распределение ресурсов и выделила ключевые аспекты при проектировании стриминговых архитектур. 00:00 О докладе 01:15 Смысл стриминговых фреймворков 05:30 Фреймворк Apache Flink 10:18 Use cases в Apache Flink 14:40 State в Apache Flink 20:00 Распределение ресурсов 22:28 Выводы: что учитывать при проектировании? 24:35 В чём отличие bounded-потока от batch-передачи? 26:12 В чем разница между at least once и exactly one в стриминге? 28:48 Аналогичен DAG в Apache AirFlow и в Apache Flink? 29:18 Какие могут быть последствия при применении Apache Flink (вместо Spark) на уровне DWH? 32:55 Состояние можно передать из оператора в оператора только через третье хранилище или возможно напрямую? 34:00 Можно сказать, что Apache Flink - это что-то между Apache Spark Streams и Apache Airflow? 35:13 Из каких этапов состоит проектирование? Работа с очередями в RabbitMQ и Apache Kafka https://ssa.io/maMkdq Моделирование предметной области и проектирование БД https://ssa.io/gfbVFV Основы ООП и разработка UML-моделей https://ssa.io/SnGkCQ ArchiMate для проектирования и поиска скрытых связей https://ssa.io/2DK5Pw Разработка требований к информационной безопасности ИТ-систем https://ssa.io/DW3H4C ____________________ 📌 ПОДПИСАТЬСЯ НА Systems Education: ➛Официальный сайт: https://systems.education/ ➛VK https://vk.com/sys_education ➛Telegram - Новости Systems Education и расписание курсов https://t.me/systems_education ➛Telegram - Анонсы событий по системному анализу: https://t.me/itsysdes_events ➛Telegram - Как стать системным аналитиком: http://t.me/kak_stat_SA