AI QA Engineer LLM AI Agents Remote

#удаленка #внеРФ #remote #vacancy AI QA Engineer (LLM / AI Agents) ☝️Remote · вне РФ и РБ · разговорный английский Уровень: Middle / Middle+ Тип: QA для LLM и AI-агентных систем Часовой пояс: PT (7:00–16:00, Вашингтон) Локация: вне РФ и РБ Задачи: - Тестирование поведения AI-агентов (диалоги, логика, контекст, состояние). - Выявление и анализ галлюцинаций, отклонений от инструкций и логических ошибок. - Разработка и поддержка тест-кейсов для LLM-агентов (manual + automation). - Построение и поддержка eval-наборов (Golden Datasets) для регрессионного тестирования. - Использование eval-фреймворков для оценки качества ответов LLM. - Тестирование интеграций агентов с внешними системами (API, CRM, инструменты). - Анализ качества ответов по метрикам: accuracy, coherence, relevance. - Участие в развитии тестовой архитектуры для AI-систем. Требования - Опыт в QA (manual и/или automation) от 2 лет. - Практический опыт тестирования AI-агентов или чат-ботов. - Понимание принципов работы LLM-систем, AI-агентов и prompt engineering. - Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналоги). - Уверенный Python (написание автотестов и вспомогательных скриптов). - Умение читать и анализировать код и конфигурации (JSON, логика агентов). - Опыт работы с Git и системами баг-трекинга. - Английский язык B2+ (рабочая коммуникация). Будет плюсом: - Опыт работы с LangChain, vapi, Synthflow или аналогичными платформами. - Понимание CI/CD и базовых инструментов мониторинга. - Опыт участия в проектировании тестовой архитектуры для AI/ML-систем. - Опыт оценки LLM не только вручную, но и через метрики и автопроверки. Мы предлагаем -Полностью удалённый формат работы. -Работу в сильной команде разработчиков, ML-инженеров и AI-специалистов. -Возможность профессионально расти в QA для LLM- и AI-агентных систем. -Оплату по квалификации — от 20 USD/час.