QA Engineer AI Agents Remote

#удаленка #внеРФ #remote #vacancy QA Engineer (AI Agents) ☝️Remote · вне РФ и РБ · разговорный английский Мы — Aspirity Solution, студия разработки с более чем 10-летним опытом создания веб- и мобильных приложений, no-code решений и интеллектуальных AI-агентов для клиентов по всему миру. Сейчас мы ищем QA Engineer, который будет отвечать за качество, устойчивость и предсказуемость поведения AI-агентов и LLM-систем. Чем предстоит заниматься: -Тестировать и оценивать работу AI-агентов (диалоговые и когнитивные системы). -Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов. -Подготавливать тест-кейсы и сценарии функционального и нефункционального тестирования. -Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах. -Плотно взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов. -Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды. -Вести техническую документацию и описывать best practices. Требования -Опыт работы в QA (manual или automation) от 2 лет. -Практический опыт тестирования AI-агентов или чат-ботов. -Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии. -Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами). -Опыт автоматизированного тестирования (желательно — для AI-агентов). -Уверенное владение Python на уровне написания тестов и утилитарных скриптов. -Навыки работы с Git и системами отслеживания ошибок. -Английский язык от B2 для работы в международной команде. -Проживание вне РФ и РБ. -Готовность работать в PT-часовом поясе: с 7:00 до 16:00 PT. (Время Америки, Вашингтон) Будет плюсом -Опыт работы с LangChain, vapi, Synthflow или другими инструментами создания AI-агентов. -Опыт анализа выходов LLM по метрикам качества: accuracy, coherence, relevance. -Понимание CI/CD-процессов и базовых инструментов мониторинга. -Участие в построении тестовой архитектуры для AI-систем. Мы предлагаем -Полностью удалённый формат работы. -Работу в сильной команде разработчиков, ML-инженеров и AI-специалистов. -Возможность профессионально расти в QA для LLM- и AI-агентных систем. -Оплату по квалификации — от 20 USD/час. 📱 https://t.me/hr_aspirity