Data Science

Что такое Data Science

Data Science (DS, наука о данных) — область на стыке трёх вещей: статистики, программирования и знания предметной области. Задача — не построить отчёт о прошлом, а ответить на вопрос, ответа на который в данных нет напрямую: какие клиенты уйдут в следующем месяце, сколько товара заказать, является ли транзакция мошеннической.

Сокращение DS в IT-контексте почти всегда означает именно Data Science, а специалиста называют дата-сайентистом. Само слово data — это просто «данные» по-английски; в терминах вроде Data Lake, Data Engineer, DataLens оно означает то же самое.

Разница с BI проходит по вопросу, на который отвечают. BI отвечает «что произошло» — точно и по факту. Data Science отвечает «что произойдёт» и «почему» — с вероятностью и погрешностью. Это разные инструменты и разные ожидания от результата.

Кто есть кто

Роли постоянно путают, хотя стек и цели у них расходятся:

В маленькой компании это один человек, в большой — четыре команды. Обычная ошибка найма — взять дата-сайентиста туда, где нет данных: до появления инженера данных он будет полгода чинить выгрузки вместо моделей.

Как выглядит проект

Постановка: какое решение будет принято по результату?
    ↓
Сбор данных (ETL, парсинг, логи)
    ↓
EDA: разведочный анализ, графики, поиск мусора
    ↓
Feature engineering ← здесь выигрывается качество
    ↓
Обучение модели, кросс-валидация
    ↓
Оценка на отложенной выборке
    ↓
Внедрение и мониторинг деградации

Два наблюдения из практики, ломающие ожидания новичков. Первое: большая часть времени уходит на сбор, чистку и подготовку данных, а не на модели — это скучная, но решающая часть работы. Второе: качество чаще растёт от лучших признаков и более чистых данных, чем от смены алгоритма. Хитрая модель на плохих данных проигрывает линейной регрессии на хороших.

Отдельная ловушка — утечка целевой переменной (data leakage): в признаки случайно попадает информация, недоступная на момент предсказания. Модель показывает 0.99 на валидации и разваливается в проде. Если метрика подозрительно хороша — ищите утечку, а не радуйтесь.

Стек

• Python — язык по умолчанию; R остался в академической статистике.
• pandas, Polars — работа с табличными данными.
• NumPy, SciPy — численные методы и статистика.
• scikit-learn — классика ML: регрессии, деревья, кластеризация.
• XGBoost, LightGBM, CatBoost — градиентный бустинг; на табличных данных обычно обходит нейросети.
• PyTorch — нейросети: тексты, картинки, звук.
• JupyterLab — среда для исследования.
• SQL — не опция: данные лежат в базе, и достать их надо самому.

Нужен ли GPU

Не всегда, и это важный практический момент. На табличных задачах — прогноз спроса, скоринг, отток — бустинг на CPU обучается за минуты, и GPU там почти не даёт выигрыша. Карты становятся необходимы, когда речь про нейросети: компьютерное зрение, NLP, дообучение LLM. Там разница между CPU и GPU — не проценты, а недели против часов.

Ориентиры по железу: RTX 4090 с 24 ГБ VRAM закрывает исследования и обучение моделей среднего размера; A100 или H100 с 80 ГБ нужны под большие модели и fine-tuningLLM.

Инфраструктура

Профиль нагрузки в DS рваный: неделя размышлений и чтения графиков, потом двое суток непрерывного обучения. Держать под это купленный сервер круглый год невыгодно — типичное решение — арендованный GPU-инстанс на время экспериментов, а для перебора гиперпараметров, который переживает потерю узла, — spot-инстансы.

Рабочий контур обычно выглядит так: JupyterLab в Docker-контейнере на GPU-машине, датасеты в object storage, чекпоинты — туда же. Ноутбук с моделью на локальном диске сервера — потерянная работа при первой же переустановке.

Связанные термины

• Big Data — данные, на которых работает DS
• BI-системы — соседняя дисциплина: факты вместо прогнозов
• датасет — основной материал работы
• Python — язык по умолчанию в Data Science
• JupyterLab — среда для исследований
• GPU — когда нужен, а когда нет