Локальные LLM для разработки. Как упростить рутинные действия и не расстраивать ИБ / Виктор Ниденс (Mail)

VK JT Mobile, Санкт-Петербург, 29 августа 2024. Виктор Ниденс — ведущий Android-⁠разработчик в Mail (проекте VK): «Расскажу, как мы агрегируем полученный опыт запуска LLM в продуктах Mail и как использовать их открытые варианты в своей работе, а именно: • Оценивать их применимость к вашему сценарию и выбирать подходящую модель • Запускать языковые модели локально • Настраивать и применять несколько плагинов или утилит для удобного взаимодействия с LLM • Повышать релевантность ответов моделей при небольших вычислительных ресурсах Доклад будет интересен разработчикам и тестировщикам, которые хотят применять нейросети, но не имеют доступа к платным или корпоративным вариантам»