Данные и аналитика
Что такое pandas в Python?
pandas — это библиотека Python для работы с табличными данными. Её основной объект, DataFrame, — это таблица со строками и столбцами, которую можно фильтровать, группировать, объединять и считать показатели несколькими строками кода.
По сути pandas делает то же, что Excel и SQL, но в коде и без ограничений на размер таблицы. Загрузка CSV, очистка пропусков, изменение типов данных, сводные таблицы, объединение источников — всё это стандартные операции библиотеки.
Главное преимущество — повторяемость. Обработка записана кодом, поэтому её можно запустить снова на новых данных, проверить, передать коллеге и поставить по расписанию. С ручными действиями в таблице так не получится.
Где применяется
pandas используют, когда данных больше, чем удобно держать в таблице, или когда обработку нужно регулярно повторять. Типичные задачи: собрать данные из нескольких файлов, убрать пропуски и дубликаты, объединить источники по ключу, посчитать сводные показатели и выгрузить результат в Excel или базу.
pandas — стандартный первый шаг и в машинном обучении: данные готовят в pandas, а потом передают в scikit-learn. Работают с библиотекой чаще всего в Jupyter Notebook, где код и результат идут рядом, — это удобно, когда исследуешь незнакомые данные.
Пример
Каждый месяц приходят двенадцать файлов от филиалов с одинаковой структурой. Скрипт на pandas собирает их в одну таблицу, убирает отменённые заказы, приводит даты к одному формату и делает сводку по регионам — за три минуты вместо дня ручной работы.
import pandas as pd
orders = pd.read_csv('orders.csv', parse_dates=['created_at'])
paid = orders[orders['status'] == 'paid']
revenue_by_city = (paid
.groupby('city')['total']
.agg(['count', 'sum'])
.sort_values('sum', ascending=False))
print(revenue_by_city.head(10))
Частые вопросы
Чем pandas лучше Excel?
Повторяемостью и объёмом. Обработка записана кодом, поэтому её можно запустить снова на новых данных, проверить и поставить по расписанию. К тому же pandas легко работает с миллионами строк, на которых Excel уже зависает.
Что такое DataFrame?
Основной объект библиотеки — таблица со строками, названными столбцами и индексом. Это как лист Excel или результат SQL-запроса, только внутри Python: её можно фильтровать, группировать, объединять с другими таблицами и считать показатели.
Нужно ли знать Python, чтобы работать с pandas?
Достаточно базового уровня: переменные, списки, циклы, функции, работа с файлами. Более глубокое знание языка приходит в процессе. Многие аналитики начинают именно с pandas, потому что результат виден сразу, и желание учиться не пропадает.
Когда pandas перестаёт справляться?
Когда данные не помещаются в оперативную память — ориентировочно от нескольких десятков миллионов строк, в зависимости от компьютера. Тогда переходят на Polars, Dask или Spark либо переносят тяжёлые вычисления в базу данных.
Обучение аналитике данных в OWU
Освойте профессию аналитика данных на практических курсах с менторами и реальными проектами.
Выбрать курс