ML-разработчик в команду VLM Foundations
Автономный транспорт
Санкт-Петербург
Полная занятость
Описание
Автономные технологии делают нашу жизнь легче и лучше, но их нужно постоянно развивать, чтобы повысить комфорт, безопасность и доступность.
Яндекс стремится вывести автономные технологии на новый уровень и внедряет передовые ML-разработки. Мы создаём технологии, которые повышают безопасность и заботятся о комфорте пассажиров и других участников дорожного движения.
Мы экспериментируем с VLM — у них большой потенциал, и мы хотим использовать его в наших задачах.
Какие задачи вас ждут:
Дообучение VLM для вождения
Вы будете дообучать vision-language-модель предсказывать траектории, добавлять ризонинг, чтобы повысить интерпретируемость действий, и расширять знания в области вождения и понимания дорожной обстановки, разметки, знаков, сигналов светофоров, действий других автомобилей и пешеходов. Также вы будете вносить архитектурные изменения: добавлять энкодеры для новых модальностей (например, карты и лидары) и реализовывать методы для ускорения инференса модели — от action modality injection и спекулятивного декодинга до flow matching head.
Развитие RL-подходов для VLM
Вы будете разрабатывать и внедрять передовые методы RL, чтобы научить VLM принимать более безопасные, эффективные и понятные человеку решения. Вам предстоит решать нетривиальные задачи: создавать устойчивые reward-функции, бороться с reward hacking и выстраивать масштабируемую систему обучения в симуляции.
Имплементация SOTA-решений
Вы будете следить за современными подходами, изучать актуальные статьи и внедрять SOTA-решения, а также быстро проверять гипотезы.
Больше об ML в Яндексе — в канале Yandex for ML
Мы ждем, что вы:
- Понимаете принципы машинного обучения и принципы работы NLP-моделей
- Разбираетесь в классических алгоритмах и структурах данных
- Обучали и внедряли модели глубинного обучения в продакшен
- Работали с большими объёмами данных
- Знаете Python
- Следите за развитием и последними достижениями в области машинного обучения, читаете статьи с топовых конференций
Будет плюсом:
- Работали с VLM
- Занимались распределённым обучением
Яндекс стремится вывести автономные технологии на новый уровень и внедряет передовые ML-разработки. Мы создаём технологии, которые повышают безопасность и заботятся о комфорте пассажиров и других участников дорожного движения.
Мы экспериментируем с VLM — у них большой потенциал, и мы хотим использовать его в наших задачах.
Какие задачи вас ждут:
Дообучение VLM для вождения
Вы будете дообучать vision-language-модель предсказывать траектории, добавлять ризонинг, чтобы повысить интерпретируемость действий, и расширять знания в области вождения и понимания дорожной обстановки, разметки, знаков, сигналов светофоров, действий других автомобилей и пешеходов. Также вы будете вносить архитектурные изменения: добавлять энкодеры для новых модальностей (например, карты и лидары) и реализовывать методы для ускорения инференса модели — от action modality injection и спекулятивного декодинга до flow matching head.
Развитие RL-подходов для VLM
Вы будете разрабатывать и внедрять передовые методы RL, чтобы научить VLM принимать более безопасные, эффективные и понятные человеку решения. Вам предстоит решать нетривиальные задачи: создавать устойчивые reward-функции, бороться с reward hacking и выстраивать масштабируемую систему обучения в симуляции.
Имплементация SOTA-решений
Вы будете следить за современными подходами, изучать актуальные статьи и внедрять SOTA-решения, а также быстро проверять гипотезы.
Больше об ML в Яндексе — в канале Yandex for ML
Мы ждем, что вы:
- Понимаете принципы машинного обучения и принципы работы NLP-моделей
- Разбираетесь в классических алгоритмах и структурах данных
- Обучали и внедряли модели глубинного обучения в продакшен
- Работали с большими объёмами данных
- Знаете Python
- Следите за развитием и последними достижениями в области машинного обучения, читаете статьи с топовых конференций
Будет плюсом:
- Работали с VLM
- Занимались распределённым обучением