Technical Product Manager — ML Platform (YTsaurus)
YTsaurus
Москва
Полная занятость
Описание
Яндекс — одна из немногих компаний в мире, оперирующих экcабайтами данных, которые нужно уметь эффективно хранить, обрабатывать и передавать между различными системами.
Для решения этих задач мы создали и развиваем распределённую платформу хранения и обработки данных YTsaurus.
Мы развиваем ML-платформу Яндекса на базе YTsaurus — инфраструктуру, на которой работают десятки команд машинного обучения и обучаются модели для ключевых продуктов компании. Пользователями платформы являются большинство ML-разработчиков Яндекса — сотни команд, которые обучают модели для Алисы, Нейро, Шедеврума.
Платформа покрывает полный жизненный цикл ML-разработки — от подготовки датасетов и обучения моделей на больших GPU-кластерах до продакшен-инференса и эксплуатации моделей.
Ключевые компоненты платформы
- Managed DevCluster для удалённой разработки и тестовых запусков задач на GPU
- Инструмент простого с точки зрения UX и эффективного запуска процессов обучения на гигантском кластере YTsaurus с тысячами GPU
- Оркестратор, который позволит описывать графы подготовки данных на Python и SQL
- Решение для трекинга ML-экспериментов (по смыслу похожее на Weights & Biases)
- MLOps-система для управления жизненным циклом моделей
Ищем Technical Product Manager, который будет помогать нам развивать платформу: формировать продуктовую стратегию, понимать потребности ML-инженеров и вместе с командами разработки создавать инструменты для эффективной работы ML-инженера.
Какие задачи вас ждут:
Развитие продукта
Формировать продуктовую стратегию и roadmap ML-платформы. Определять ключевые направления развития инфраструктуры для ML-разработки. Развивать платформу, покрывающую полный ML lifecycle, включая подготовку и хранение датасетов, обучение моделей, управление экспериментами, запуск inference, эксплуатацию моделей.
Работа с пользователями
Глубоко погружаться в задачи ML-команд Яндекса. Выявлять узкие места в инфраструктуре ML-разработки. Формировать требования к новым инструментам и сервисам платформы.
Формирование решений
Участвовать в проектировании ключевых компонентов ML-платформы. Переводить потребности пользователей в конкретные продуктовые решения. Приоритизировать развитие платформы на основе продуктовых метрик и обратной связи.
Работа с командами
Координировать несколько инженерных команд. Помогать командам поставлять сложные инфраструктурные фичи. Следить за тем, чтобы развитие платформы соответствовало продуктовой стратегии.
Больше о создании продуктов в Яндексе — в канале Yandex for Products
Мы ждем, что вы:
- Работали с машинным обучением (обязательное требование)
- Понимаете полный жизненный цикл ML-разработки
- Запускали и развивали продукты (product management)
- Умеете формировать roadmap и приоритизировать развитие продукта
- Имеете сильную техническую базу и разбираетесь в ML-инфраструктуре, распределённых системах, GPU-обучении моделей
- Умеете работать на стыке ML-инженерии, инфраструктурных команд и продукта
Будет плюсом:
- Работали с ML-платформами или MLOps-инфраструктурой
- Имели дело с большими распределёнными вычислительными системами
- Строили developer platform или internal tools
Для решения этих задач мы создали и развиваем распределённую платформу хранения и обработки данных YTsaurus.
Мы развиваем ML-платформу Яндекса на базе YTsaurus — инфраструктуру, на которой работают десятки команд машинного обучения и обучаются модели для ключевых продуктов компании. Пользователями платформы являются большинство ML-разработчиков Яндекса — сотни команд, которые обучают модели для Алисы, Нейро, Шедеврума.
Платформа покрывает полный жизненный цикл ML-разработки — от подготовки датасетов и обучения моделей на больших GPU-кластерах до продакшен-инференса и эксплуатации моделей.
Ключевые компоненты платформы
- Managed DevCluster для удалённой разработки и тестовых запусков задач на GPU
- Инструмент простого с точки зрения UX и эффективного запуска процессов обучения на гигантском кластере YTsaurus с тысячами GPU
- Оркестратор, который позволит описывать графы подготовки данных на Python и SQL
- Решение для трекинга ML-экспериментов (по смыслу похожее на Weights & Biases)
- MLOps-система для управления жизненным циклом моделей
Ищем Technical Product Manager, который будет помогать нам развивать платформу: формировать продуктовую стратегию, понимать потребности ML-инженеров и вместе с командами разработки создавать инструменты для эффективной работы ML-инженера.
Какие задачи вас ждут:
Развитие продукта
Формировать продуктовую стратегию и roadmap ML-платформы. Определять ключевые направления развития инфраструктуры для ML-разработки. Развивать платформу, покрывающую полный ML lifecycle, включая подготовку и хранение датасетов, обучение моделей, управление экспериментами, запуск inference, эксплуатацию моделей.
Работа с пользователями
Глубоко погружаться в задачи ML-команд Яндекса. Выявлять узкие места в инфраструктуре ML-разработки. Формировать требования к новым инструментам и сервисам платформы.
Формирование решений
Участвовать в проектировании ключевых компонентов ML-платформы. Переводить потребности пользователей в конкретные продуктовые решения. Приоритизировать развитие платформы на основе продуктовых метрик и обратной связи.
Работа с командами
Координировать несколько инженерных команд. Помогать командам поставлять сложные инфраструктурные фичи. Следить за тем, чтобы развитие платформы соответствовало продуктовой стратегии.
Больше о создании продуктов в Яндексе — в канале Yandex for Products
Мы ждем, что вы:
- Работали с машинным обучением (обязательное требование)
- Понимаете полный жизненный цикл ML-разработки
- Запускали и развивали продукты (product management)
- Умеете формировать roadmap и приоритизировать развитие продукта
- Имеете сильную техническую базу и разбираетесь в ML-инфраструктуре, распределённых системах, GPU-обучении моделей
- Умеете работать на стыке ML-инженерии, инфраструктурных команд и продукта
Будет плюсом:
- Работали с ML-платформами или MLOps-инфраструктурой
- Имели дело с большими распределёнными вычислительными системами
- Строили developer platform или internal tools