Дані та аналітика
Що таке pandas у Python?
pandas — це бібліотека Python для роботи з табличними даними. Її основний об’єкт, DataFrame, — це таблиця з рядками і стовпцями, яку можна фільтрувати, групувати, об’єднувати і рахувати показники кількома рядками коду.
По суті pandas робить те саме, що Excel і SQL, але в коді і без обмежень на розмір таблиці. Завантаження CSV, очищення пропусків, зміна типів даних, зведені таблиці, об’єднання джерел — усе це стандартні операції бібліотеки.
Головна перевага — повторюваність. Обробка записана кодом, тож її можна запустити знову на нових даних, перевірити, передати колезі і поставити на розклад. З ручними діями в таблиці так не вийде.
Де застосовується
pandas використовують, коли даних більше, ніж зручно тримати в таблиці, або коли обробку треба регулярно повторювати. Типові задачі: зібрати дані з кількох файлів, прибрати пропуски і дублікати, об’єднати джерела за ключем, порахувати зведені показники і вивантажити результат в Excel чи базу.
pandas — стандартний перший крок і в машинному навчанні: дані готують у pandas, а потім передають у scikit-learn. Працюють із бібліотекою найчастіше в Jupyter Notebook, де код і результат ідуть поруч, — це зручно, коли досліджуєш незнайомі дані.
Приклад
Щомісяця приходять дванадцять файлів від філій з однаковою структурою. Скрипт на pandas збирає їх в одну таблицю, прибирає скасовані замовлення, приводить дати до одного формату і робить зведення за регіонами — за три хвилини замість дня ручної роботи.
import pandas as pd
orders = pd.read_csv('orders.csv', parse_dates=['created_at'])
paid = orders[orders['status'] == 'paid']
revenue_by_city = (paid
.groupby('city')['total']
.agg(['count', 'sum'])
.sort_values('sum', ascending=False))
print(revenue_by_city.head(10))
Часті запитання
Чим pandas кращий за Excel?
Повторюваністю і обсягом. Обробка записана кодом, тож її можна запустити знову на нових даних, перевірити і поставити на розклад. До того ж pandas легко працює з мільйонами рядків, на яких Excel уже зависає.
Що таке DataFrame?
Основний об’єкт бібліотеки — таблиця з рядками, названими стовпцями та індексом. Це як аркуш Excel або результат SQL-запиту, тільки всередині Python: її можна фільтрувати, групувати, об’єднувати з іншими таблицями і рахувати показники.
Чи треба знати Python, щоб працювати з pandas?
Досить базового рівня: змінні, списки, цикли, функції, робота з файлами. Глибше знання мови приходить у процесі. Багато аналітиків починають саме з pandas, бо результат видно одразу, і бажання вчитися не зникає.
Коли pandas перестає справлятися?
Коли дані не вміщаються в оперативну пам’ять — орієнтовно від кількох десятків мільйонів рядків, залежно від комп’ютера. Тоді переходять на Polars, Dask чи Spark або переносять важкі обчислення в базу даних.
Навчання аналітиці даних в OWU
Опануйте професію аналітика даних на практичних курсах із менторами та реальними проєктами.
Обрати курс