Дані та аналітика
Що таке сховище даних (Data Warehouse)?
Сховище даних (Data Warehouse, DWH) — це окрема база даних, куди збирають інформацію з усіх систем компанії спеціально для аналізу та звітів. Воно зберігає історію в єдиній структурі і не навантажує робочі застосунки.
Звичайна база застосунку налаштована на швидкі операції з окремими записами: створити замовлення, змінити статус. Важкий аналітичний запит за кілька років на такій базі сповільнить роботу системи, тому аналітику переносять в окреме місце.
Крім того, сховище дає єдину версію правди: однакові довідники, узгоджені визначення показників і повну історію змін. Дані потрапляють туди через ETL-процеси, зазвичай за розкладом уночі.
Де застосовується
Сховище потрібне, коли звітів з однієї бази вже не вистачає. Замовлення зберігаються в інтернет-магазині, оплати — в обліковій системі, звернення — у CRM, витрати — у рекламних кабінетах, і скласти з цього єдиний звіт напряму неможливо.
Сьогодні сховища найчастіше хмарні: BigQuery, Snowflake, Redshift або PostgreSQL для невеликих обсягів. Структуру будують за схемою «зірка»: таблиця фактів із подіями і довідники навколо неї. Наповнюють сховище ETL-процесами вночі, а з ним працюють BI-інструменти й аналітики.
Приклад
Аналітику треба порахувати виручку за групами клієнтів за три роки. На базі інтернет-магазину такий запит загальмує сайт на кілька хвилин. У сховищі він виконується на копії даних, створеній саме для цього, і покупці нічого не помічають.
SELECT d.year_month,
s.region,
SUM(f.revenue) AS revenue
FROM fact_sales f
JOIN dim_date d ON d.date_key = f.date_key
JOIN dim_store s ON s.store_key = f.store_key
GROUP BY d.year_month, s.region
ORDER BY d.year_month;
Часті запитання
Чим сховище даних відрізняється від звичайної бази?
Призначенням. База застосунку розрахована на часті операції з окремими записами в реальному часі. Сховище розраховане на важкі запити по всій історії і оновлюється частинами за розкладом, не заважаючи роботі продукту.
Що таке data lake і чим він відрізняється від сховища?
Озеро даних зберігає все підряд у початковому вигляді — логи, файли, вивантаження, зображення — без заданої структури. Сховище містить очищені та узгоджені дані, готові для звітів. Часто їх поєднують: озеро як первинний склад, сховище як готова вітрина.
Чи потрібне сховище невеликій компанії?
Не завжди. Поки джерело даних одне, а обсяги невеликі, звіти можна будувати на копії бази. Час подумати про сховище настає, коли джерел стає кілька, а різні відділи приносять на зустрічі різні цифри для одного й того самого показника.
Як часто оновлюють дані у сховищі?
Найчастіше раз на добу вночі — для управлінських звітів цього достатньо. Якщо рішення треба ухвалювати швидше, налаштовують оновлення щогодини або потокову передачу. Що ближче до реального часу, то дорожчі інфраструктура і підтримка.
Навчання аналітиці даних в OWU
Опануйте професію аналітика даних на практичних курсах із менторами та реальними проєктами.
Обрати курс