DAG (Directed Acyclic Graph). Это модель, структурирующая информацию в некий порядок выполнения операций: извлечь А и В, объединить в С, убрать ошибки.
К инструментам для порционной (батчевой) загрузки данных в 2024 году относят:
• Fivetran. Это коммерческий софт для порционной загрузки данных из большого количества источников с удобным графическим интерфейсом. Инструмент нативно соединяется плагинами с dbt, который используется для трансформации данных.
4 этап. Data-savvy (понимание данных). Организация использует данные в большинстве производственных процессов. Например, начинает сегментировать рассылки, пробует выделить группы наиболее ценных клиентов по самым значимым параметрам.
