Self-Hosted Code Llama для стартапа

Краткая техническая задача

Обеспечить безопасность IP и ускорить разработку без зависимости от облачных API.

Цель заказчика

Сократить время на рутинную разработку и ускорить релизы.

Решение задачи

Развёрнута модель Code Llama on-prem, проведён fine-tuning на внутренней кодовой базе, настроены пайплайны обновления.

Реализация задачи

Настроен CI/CD, мониторинг качества генераций, интеграция в рабочие процессы команды.

Что в результате?

Boilerplate-код генерируется на 80% быстрее
Скорость релизов ↑ на 30%

Технологии в проекте

Code Llama, HuggingFace, LoRA, PyTorch, Kubernetes, Prometheus

Смотреть следующий

Компьютерное зрение для поиска брака