Senior/Lead QA Engineer (AI/LLM Products)

О вакансии

Чем предстоит заниматься: функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции) разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets) тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema) анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности автоматизация рутинных проверок на Python (pytest): smoke-тест…