Product Analyst Senior AI Remote

🚀 Senior Product Analyst в MEDvidi (AI направление) MEDvidi — продуктовая medtech-компания, которая трансформирует сферу психиатрической помощи на территории США, делая её более доступной и недорогой. Команда масштабирует AI-powered системы на критически важные части продукта — ищут аналитика, чтобы оценивать, мониторить и улучшать AI-агентов и LLM-воркфлоу в проде. Задачи: • Анализировать поведение AI-агентов, систем автоматизации и LLM-воркфлоу в продакшене; • Работать с логами, диалогами, сырыми выходами системы и операционными датасетами для поиска паттернов и инсайтов; • Разрабатывать подходы к оценке и аналитические фреймворки для измерения качества и надёжности AI-систем; • Строить системы мониторинга и дашборды для отслеживания производительности AI; • Выявлять операционные и продуктовые риски, привносимые автоматизацией; • Тесно взаимодействовать с командами Product, Engineering, QA и Operations. Требования: • 3+ лет опыта в аналитических ролях, связанных с AI-системами, ML-продуктами или сложными production-системами; • Уверенное владение Python для глубоких аналитических расследований и работы с большими текстовыми данными; • Продвинутое знание SQL; • Понимание ограничений LLM: галлюцинации, evaluation challenges, prompt sensitivity, model trade-offs и режимы сбоев; • Опыт построения систем мониторинга, аналитических фреймворков или операционных дашбордов для production-систем; • Свободное владение русским языком; английский B2+. Будет плюсом: • Опыт работы с conversational AI или AI-агентами; • Опыт оценки выходов LLM или качества аннотаций; • Знакомство с AI quality metrics и evaluation-методологиями; • Опыт работы с Langchain-инфраструктурой; • Опыт работы с ML data pipelines или генерацией синтетических данных; • Понимание anomaly detection. Условия: • Полностью удалённая работа из любой точки мира (кроме РФ), долгосрочное B2B-сотрудничество; • Вилка по ЗП до 5000$; • Страховка после испытательного срока; • Компенсация занятий спортом / 19 рабочих дней отпуска + 3 дополнительных дня велнес в год; 📎 Как откликнуться? • Рекрутер: @SmartIt_recruiter #product_analyst #senior #международка #MedTech @Analysts_Jobs