Старший бэкенд-разработчик в команду LLM Gateway

О вакансии

О команде: Наша команда развивает LLM Gateway — единую точку доступа в Авито к языковым моделям. Мы помогаем продуктовым командам быстро и безопасно получать доступ к подходящим моделям, прозрачно управлять лимитами, видеть стоимость каждого запроса и мониторить поведение моделей в продакшене. Какие задачи вас ждут: развивать платформу LLM Gateway для всего Авито, чтобы создавать продукты с LLM было быстро и удобно;автоматизировать выдачу и настройку доступов к моделям;развивать управление потреблением LLM:рассчитывать стоимость LLM-вызова;настраивать бюджетные лимиты для клиентов и приоритеты;развивать динамическую балансировку трафика между LLM-моделями;определять SLA платформы и методику