Data Scientist: чем занимается, какие навыки нужны и как учиться

Дата-сайентист строит модели, которые предсказывают: уйдёт ли клиент, вернёт ли заёмщик кредит, сколько товара закажут в следующем месяце. Он формулирует задачу в терминах целевой переменной и признаков, готовит обучающую выборку, подбирает алгоритм и отвечает за точность предсказаний на новых данных. Работа держится на трёх опорах: Python, математика уровня производных, матриц и вероятностей, понимание предметной области.

Далее в статье — как устроена типичная задача, почему высокая метрика на тесте обманывает, сколько получают специалисты и что осваивать по шагам.

Профессию обычно связывают с нейросетями, но начинается всё прозаичнее — со спора о том, что считать правильным ответом. Пока не решено, какое событие модель предсказывает, за какой срок и какая ошибка дороже — пропустить мошенника или задержать честный платёж, — обучать нечего. Немалая часть работы уходит на этот перевод: расплывчатое «хотим понимать, кто скоро уйдёт» превращается в цель с датами, порогами и ценой ошибки в рублях.

Модель — функция, которая по набору чисел об объекте выдаёт предсказание. Числа, описывающие объект — клиента, заявку, товар, — называют признаками: давность последней покупки, средний чек за полгода, число обращений в поддержку. Величину, которую нужно предсказать, называют целевой переменной: факт ухода клиента в ближайшие тридцать дней, сумма следующего заказа, вероятность просрочки. Алгоритм ищет в истории связь между тем и другим и применяет найденное правило к объектам, у которых ответа ещё нет.

Для компании ценность не в предсказании, а в действии, которое оно запускает: скидка тем, кто собирается уйти, отказ по рискованной заявке, увеличенный заказ поставщику. Модель, которая точна, но не меняет ни одного решения, не стоит потраченного на неё времени.

Ситуация вымышлена, но собрана из обычных рабочих деталей. Онлайн-кинотеатр теряет подписчиков и хочет удерживать их скидкой заранее, а не после отмены.

Первое решение — определение оттока: ушедшим считают того, кто не продлил подписку в течение семи дней после окончания оплаченного периода. Второе — окно предсказания: вероятность ухода нужна за тридцать дней вперёд, иначе отдел удержания не успеет отреагировать. Третье — признаки: поведение за три месяца до точки отсчёта, от часов просмотра до смены тарифа и неудачных списаний с карты.

Дальше идёт разбиение данных. Наивный способ — перемешать подписчиков и отложить случайную пятую часть. Для задачи со временем это ошибка: модель, обученная на будущих месяцах, проверялась бы на прошлом и получила подсказки, которых в реальности нет. Выборку режут по датам: обучение на январе—августе, проверка на сентябре—октябре.

Метрику тоже выбирают не «по умолчанию». Уходит около трёх процентов подписчиков в месяц, и модель, которая всем говорит «останется», окажется права в 97 % случаев и при этом будет бесполезна. Нужны полнота (какую долю ушедших модель пометила) и точность (какая доля помеченных действительно ушла). Между ними выбирают, двигая порог вероятности: отдел удержания обрабатывает десять тысяч человек в месяц, под эту вместимость порог и подбирают. Результат работы — не число в отчёте, а регулярная выгрузка списка и понятная экономика удержания.

Это главная профессиональная опасность. Модель показывает отличные цифры на отложенной выборке, её выкатывают в сервис — и качество падает. Обычно причина одна: в обучение попала информация, которой в момент предсказания не существует, — утечка данных.

Разработчики scikit-learn, основной библиотеки машинного обучения на Python, вынесли её в отдельный раздел документации: «Data leakage occurs when information that would not be available at prediction time is used when building the model. This results in overly optimistic performance estimates, for example from cross-validation, and thus poorer performance when the model is used on actually novel data, for example during production» (scikit-learn, Common pitfalls and recommended practices). Там же два правила, которые новички нарушают чаще всего: «The general rule is to never call fit on the test data» и «Always split the data into train and test subsets first, particularly before any preprocessing steps» — сначала разделить данные, и только потом обрабатывать.

Последствия вполне конкретные. Допустим, перед обучением вы нормируете признак, деля его на среднее значение. Если среднее посчитано по всему массиву, в обучение просочились сведения о проверочной части: документация требует учить преобразование только на тренировочных данных, а к тестовым применять уже готовое. Проверка после этого перестаёт быть честной, и по метрикам это не видно.

Ещё опаснее утечка через сам признак. В примере с оттоком в выгрузку легко попадает поле «дата отмены подписки» или «был ли звонок в отдел удержания» — события, одновременные с целевым или следующие за ним. Модель находит эту связь мгновенно и показывает почти идеальное качество, а в продакшене таких полей на момент предсказания нет. Поэтому про каждый признак задают один вопрос: было ли это значение известно тогда, когда модель должна дать ответ.

Отсюда и требование к воспроизводимости: если результат нельзя повторить — зафиксировать случайное зерно, версии библиотек, порядок подготовки данных, — разобраться в причинах падения качества не выйдет.

Аналитик данных объясняет прошлое: считает метрики, собирает отчёты и отвечает, почему показатель изменился. Дата-сайентист отвечает за предсказание и его качество на данных, которых модель не видела. Пересечение большое — обоим нужны SQL и Python, — но продукт разный: отчёт против работающего алгоритма.

С инженерной стороны граница проходит по ML-инженеру, который отвечает за жизнь модели в сервисе, и по дата-инженеру, который строит потоки данных и хранилища. В крупной компании это три разных человека, в небольшой — один, и вакансия с названием Data Scientist может означать всю цепочку от выгрузки до внедрения. Ориентируйтесь на список задач, а не на заголовок.

Про математику в этой профессии принято говорить обтекаемо, и это вредит. Без неё можно вызвать готовую функцию и получить число, но не понять, что оно означает и почему модель ведёт себя странно.

Минимум такой. Линейная алгебра: векторы и матрицы — форма, в которой хранятся данные и веса модели. Математический анализ: производная и градиент объясняют, как модель обучается — алгоритм шагами уменьшает функцию потерь, и от её выбора зависит, какие ошибки считаются дорогими. Вероятность и статистика: распределения, доверительные интервалы, проверка гипотез — на этом стоит и оценка качества, и любой эксперимент, подтверждающий пользу модели.

Базу восполняют отдельными программами. В обзоре онлайн-курса «Математика для Data Science» от Skillbox указаны четыре месяца, 25 практических заданий с Python и библиотекой SymPy и разделы от функций и производных до векторов, матриц, распределений и статистических тестов; для старта нужны основы Python. Там же честно оговорено, что курс не заменяет полную подготовку специалиста: сбор и очистку данных, SQL и построение моделей он не покрывает.

Основной язык — Python: pandas для таблиц, NumPy для вычислений, scikit-learn для классических моделей и оценки качества, градиентный бустинг в реализациях XGBoost, LightGBM или CatBoost — на табличных данных он чаще всего и даёт лучший результат. PyTorch и TensorFlow нужны для текста, изображений и звука. Вокруг — SQL для выгрузок, Git для версий кода, контейнеры для повторяемости, Airflow для регулярного пересчёта.

Привычки важны не меньше стека: фиксировать эксперименты вместе с отвергнутыми гипотезами и держать базовое решение — самую простую модель для сравнения. Без неё легко неделю улучшать метрику на сотые доли и не заметить, что обычная логистическая регрессия работала почти так же, зато объяснима и быстра.

Прикладные программы ведут от кода к моделям в этом же порядке. Онлайн-курс «Data Science + ИИ» от Eduson Academy заявлен на восемь месяцев самостоятельного обучения с наставником и идёт от Python, Git и Linux через статистику, SQL и подготовку данных к машинному обучению, временным рядам и нейросетям; заявлено до 11 проектов, среди них прогноз спроса на такси и банковский скоринг.

Ожидание «сижу и обучаю модели» расходится с реальностью так же, как у разработчика — «сижу и пишу код». Большая часть недели уходит на данные: найти таблицы, понять, что означает поле, выяснить, почему в марте пропали события, собрать выборку без дублей. Дальше идут короткие циклы: признаки, обучение, метрика, разбор ошибок, снова признаки.

Договариваться приходится постоянно. С бизнесом — о том, какое действие последует за предсказанием и какая ошибка дороже. С аналитиками — об определениях, чтобы «активный клиент» в модели и в отчёте означал одно и то же. С инженерами — о том, откуда сервис возьмёт признаки в момент запроса: если признак считается по данным с задержкой в сутки, модель нельзя применять онлайн, как бы хороша она ни была на истории.

После запуска начинается сопровождение. Модель стареет: меняются поведение пользователей, ассортимент, рекламные каналы. За качеством следят на свежих данных и вовремя переобучают, иначе через полгода сервис станет принимать решения по устаревшим закономерностям.

Результат здесь не гарантирован. Бывает, что данных не хватает, сигнала в них нет и честный ответ звучит как «предсказать это на имеющемся материале нельзя»; объяснять такой вывод приходится людям, которые ждали работающий сервис. Обратная связь медленная: между гипотезой и подтверждением пользы проходят недели эксперимента на живом трафике. И математику придётся принять всерьёз — если чтение формул вызывает стойкое отторжение, профессия будет требовать постоянного усилия.

Публичных исследований по этой специализации немного. Один из самых подробных открытых источников — опрос сообщества «Нескучный Data Science» с марта по октябрь 2025 года; в анализ вошли 694 анкеты дата-сайентистов от стажёров до руководителей направления (разбор опроса на Хабре).

По его данным, медианный доход растёт от 54 тысяч рублей у стажёров до 655 тысяч у руководителей уровня Head и выше. Разброс внутри грейдов велик: у джуниоров десятый и девяностый процентили — 70 и 187 тысяч рублей, у мидлов — 150 и 380 тысяч, у сеньоров — 253 и 594 тысячи. Медианному участнику опроса 26 лет при трёх годах опыта в Data Science.

Читать эти числа как «среднюю зарплату по рынку» нельзя: выборка собрана через телеграм-каналы, люди отвечали добровольно, 57 % респондентов из Москвы, 15 % работают за границей. Авторы отмечают, что выборки хватает для сравнения крупных групп, но не для точной оценки рынка. Ещё одна деталь разбора: значимую связь с доходом сохранило только владение A/B-тестированием — оценка выше примерно на 14 % при доверительном интервале от 5 до 24 %. Ценится, выходит, не столько умение обучить модель, сколько способность доказать её пользу измерением.

Скажем прямо: войти в Data Science «с нуля и без всего» тяжелее, чем в соседние специальности. Нужен человек, который одновременно пишет код, читает формулы и понимает бизнес-задачу, а на позиции джуниора конкурируют выпускники технических вузов и специалисты, уже работавшие с данными. Реалистичнее приходить сюда вторым шагом — из аналитики данных, разработки, инженерной или научной специальности.

Готовые программы под такую подготовку длинные. В обзоре онлайн-курса «Специалист по Data Science» от Яндекс Практикума указаны 13 месяцев при нагрузке около 15 часов в неделю, 17 проектов и 404 часа практики, стек из Python, SQL, pandas, scikit-learn, LightGBM и XGBoost, Airflow и Git; завершают программу внедрение моделей и A/B-тестирование, а выпускник получает диплом о профессиональной переподготовке.

Порядок освоения устойчивый. Сначала Python и таблицы через pandas, параллельно SQL. Затем математика и статистика в описанном выше объёме. После этого — классическое машинное обучение: регрессия, деревья, ансамбли, правила разбиения выборки и выбор метрики под задачу. Нейросети имеет смысл трогать позже, когда понятно, зачем они нужны.

Выбирая программу, сравнивайте проверяемые признаки: есть ли отдельный блок математики, сколько проектов доводится до защиты, проверяет ли задания человек, разбирают ли метрики, утечку данных и способы валидации. Сопоставить школы по длительности, формату и цене помогает рейтинг онлайн-школ по направлению Data Science — это подборка по широкому направлению, а не оценка отдельных программ, поэтому детали всё равно придётся уточнять на страницах курсов и у самих школ.

Портфолио дата-сайентиста — не коллекция ноутбуков с моделями на учебных наборах. Убедительнее одна доведённая до конца задача, где видно рассуждение: какой вопрос решался, как формулировалась целевая переменная, почему выборка разделена именно так, какие признаки отброшены и почему, какая метрика выбрана и что она означает для решения.

Хорошо читается честный разбор того, что не сработало: какая гипотеза не подтвердилась, где нашлась утечка и как её обнаружили. И если можно взять данные из области, знакомой вам по прошлой работе, берите их: предметное понимание — то самое преимущество, с которым в Data Science приходят из смежной специальности.