QA Engineer AI Agents Remote

QA Engineer (AI Agents) Локация: Удаленно вне РФ Компания: Aspirity Solution ЗП: от 20 $/час Занятость: Полная                                                                         Мы — Aspirity Solution, студия разработки, уже более 10 лет создающая веб- и мобильные приложения, no-code решения и интеллектуальных AI-агентов для клиентов по всему миру. Сейчас мы ищем внимательного и системного QA-инженера, который поможет обеспечить стабильность и качество работы AI-агентов. Задачи: - Тестировать и оценивать работу AI-агентов (диалоговых и когнитивных систем). - Разрабатывать и проводить eval-тесты (оценки корректности и устойчивости поведения агентов). - Писать тест-кейсы и сценарии для функционального и не-функционального тестирования. - Анализировать поведение агентов при нестандартных входных данных, выявлять ошибки в логике и промптах. - Взаимодействовать с командой разработчиков и prompt-инженеров для улучшения моделей и тестовых пайплайнов. - Поддерживать автоматизацию тестирования и документацию по процессам QA для AI-проектов. Требования: - Опыт работы в QA (manual или automation) от 2 лет. - Понимание принципов AI-агентов, LLM-систем, prompt-инженерии. - Опыт работы с eval-фреймворками (например, OpenAI Evals, DeepEval, LangChain Evals или аналогами). - Владение Python на уровне написания тестов и простых скриптов. - Навыки работы с Git и системами отслеживания ошибок. - Владение английским не ниже B2 — рабочая коммуникация внутри международной команды. Будет плюсом: Опыт автоматизированного тестирования AI-агентов или чат-ботов. Опыт работы с LangChain, vapi, synthflow или другими инструментами построения агентов. Опыт анализа LLM-ответов по метрикам качества (accuracy, coherence, relevance). Понимание CI/CD-процессов и инструментов мониторинга. Мы предлагаем: Удалённый формат работы и гибкий график. Команду инженеров и AI-специалистов, работающих на стыке технологий и продуктового качества. Возможность развиваться в области QA для LLM-агентов и AI-систем. Оплата по уровню квалификации (от $20/час). 💬 Резюме отправлять: @alintosharecruiter