Product Analyst Middle/Senior AI Remote

🚀 Middle+ / Senior Product Analyst (AI-направление) в medtech-компанию Продуктовая medtech-компания создаёт свою онлайн-клинику и внедряет AI-решения в важные части продукта. Ищут аналитика, который поможет оценивать, отслеживать и улучшать работу AI-агентов и LLM-воркфлоу. Задачи: - Изучать, как ведут себя AI-агенты, системы автоматизации и LLM-процессы в продакшене; - Разбирать логи, диалоги, сырые ответы системы и операционные данные, находить в них закономерности и инсайты; - Создавать методики оценки и аналитические фреймворки для замера качества и стабильности AI-систем; - Настраивать мониторинг и дашборды для контроля производительности AI; - Находить продуктовые и операционные риски, которые появляются из-за автоматизации; - Плотно работать с командами Product, Engineering, QA и Operations. Требования: - От 3 лет в продуктовой аналитике, желательно с продуктами, связанными с AI, ML или сложными production-системами; - Уверенный Python для глубокого анализа и работы с большими объёмами текстовых данных; - Сильный SQL; - Понимание слабых мест LLM: галлюцинации, сложности с evaluation, чувствительность к промптам, компромиссы между моделями и сценарии сбоев; - Опыт построения мониторинга, аналитических фреймворков или операционных дашбордов для production; - Свободный русский; английский от B2. Будет плюсом: - Опыт с conversational AI или AI-агентами; - Опыт оценки выходов LLM или качества разметки; - Знакомство с метриками качества AI и подходами к evaluation; - Опыт с инфраструктурой Langchain; - Опыт с ML data pipelines или генерацией синтетических данных; - Понимание anomaly detection. Условия: - Полностью удалённый формат и долгосрочное B2B-сотрудничество; - Локация: любая, кроме РФ; - ЗП до 5500$; - Страховка после испытательного срока; - Компенсация спорта; - 19 рабочих дней отпуска + 3 дополнительных велнес-дня в год; - Оплачиваемый больничный (первые 5 рабочих дней); 📎 Как откликнуться? • Рекрутер: @danya_dudarov #product_analyst #senior #международка #MedTech #AI @Analysts_Jobs