Llama 3.2 : релиз VLM, SLM моделей и дистрибутива Llama Stack . Только что были опубликованы набор моделей семейства Lllama 3.

️ Llama 3.2 : релиз VLM, SLM моделей и дистрибутива Llama Stack . Только что были опубликованы набор моделей семейства Lllama 3.2. Семейство Llama 3.2 разработано для решения мультимодальных задач: понимание документов с графиками и диаграммами, создание аннотаций к изображениям, локализация объектов на изображениях по текстовому описанию. Список моделей релиза: и версия Instruct ; и версии Instruct и Guard-3; и версия Instruct ; и версии - Instruct , INT4 и Guard-3. Малые модели (1B и 3B) созданы методом обрезки и дистилляции знаний на основе модели . Они оптимизированы для работы на мобильных устройствах и предназначены для обобщения текста, обработка инструкций и генерации текста. Модели были дополнительно настроены для обработки контекста длиной до 128 тыс. токенов. Эти модели протестированы на оборудовании Qualcomm и MediaTek и оптимизированы для процессоров Arm. Архитектура больших моделей (11B и 90B) основана на предобученных текстовых моделях Llama 3.1, дополненных адаптерами и энкодерами для обработки изображений. Результаты тестирования показали, что vision-модели Llama 3.2 сопоставимы с Claude 3 Haiku и GPT4o-mini, в задачах распознавания изображений и визуального понимания. Модель 3B превосходит модели Gemma 2 и Phi в обработке инструкций, обобщения, генерации текста и использования инструментов. Llama Stack - дистрибутив, который значительно упростит усилия разработчиков с моделями Llama в различных средах: одноузловые, локальные, облачные и на носимых устройствах, позволяя развертывать “под ключ“ RAG и приложения с поддержкой инструментов с интегрированной системой безопасности. Развертывание на устройствах осуществляется с помощью PyTorch ExecuTorch, а распространение на одном узле - с помощью Ollama. В родительском репозитории дополнительно опубликованы клиентские SDK на NodeJS,