Запуск Llama 405b на своем сервере. vLLM, docker.

Uploaded By: Myvideo

Published on

19 Sep 2024

2 views

0

0 votes

0

About Share Download Add to

Детально показываю, как запустить самую мощную открытую нейросеть Llama 405b на своем сервере. Описание модели Llama 405b на сайте Meta* Сервер покупал тут: Прикладная конференция по Data Science AI conf 2024: Описание модели Llama 3.5 405b instruct AWQ на huggingface: Доступ ко всем сайтам получаю тут: vllm - проект по инференсу нейросетей: Рейтинг нейросетей: Мой телеграм канал: В rutube дублирую видео. Подписывайтесь на случай замедления ютуба: Команда для запуска vLLM в докере: sudo docker run --ipc=host --log-opt max-size=10m --log-opt max-file=1 --rm -it --gpus '"

Share with your friends

Link:

Embed:

<iframe width="640" height="360" src="//myvideo.cc/embed/UkVBYkVEa25ndW1mSWpmdGVZbzRZREt6dTIwSkNTS0gxaUdPRlZUajRQST0" frameborder="0" webkitallowfullscreen mozallowfullscreen allowfullscreen></iframe>

Video Size:

Custom size:

x

Autoplay video

Hide player controls

Hide resume playing

Add to Playlist:

Favorites

My Playlist

Watch Later

DeepSeek V3 бесплатная модель с открытым исходным кодом.

4 hours ago

00:00:29

DeepSeek V3 бесплатная модель с открытым исходным кодом.

1 19%

Hunyuan Video - новый опенсорс 13B видео генератор от Tencent Качество офигенное, даже для 13B модели

3 weeks ago

00:01:23

Hunyuan Video - новый опенсорс 13B видео генератор от Tencent Качество офигенное, даже для 13B модели

542 73%

Как запустить RAG-файл на Llama 3.1 с помощью LM Studio локально на своем ПК (2024)

1 month ago

00:12:20

Как запустить RAG-файл на Llama 3.1 с помощью LM Studio локально на своем ПК (2024)

54 80%

Как локально запустить LLama 3.1 (Бесплатная Неиросеть на твоем ПК)

1 month ago

00:07:34

Как локально запустить LLama 3.1 (Бесплатная Неиросеть на твоем ПК)

95 9%

Локальное развертывание нейросетевых моделей на своем ноутбуке без видеокарты. Нейросреда

1 month ago

00:50:28

Локальное развертывание нейросетевых моделей на своем ноутбуке без видеокарты. Нейросреда

9.2K 13%

DuoAttention : эффективный метод для работы с длинными контекстами в LLM

2 months ago

00:01:00

DuoAttention : эффективный метод для работы с длинными контекстами в LLM

1 23%

Как запустить LLM локально | llama и mistral Junior

2 months ago

00:09:36

Как запустить LLM локально | llama и mistral Junior

19 71%

LLama 3.1 Бесплатная Нейросеть на Твоем ПК Локально. Запусти за 10 минут

2 months ago

00:12:58

LLama 3.1 Бесплатная Нейросеть на Твоем ПК Локально. Запусти за 10 минут

1 91%

Новая Llama 3.2 LLM локально на любом устройстве Гайд + Обзор

3 months ago

00:17:29

Новая Llama 3.2 LLM локально на любом устройстве Гайд + Обзор

4 18%

Is Apple Cooked

3 months ago

00:11:07

Is Apple Cooked

8 31%

Создавай ИИ-агентов при помощи n8n локально: Lamma 3.1, Gemma, Phi 3,5

3 months ago

00:18:17

Создавай ИИ-агентов при помощи n8n локально: Lamma 3.1, Gemma, Phi 3,5

1 10%

Запуск Llama 405b на своем сервере. vLLM, docker.

3 months ago

00:17:24

Запуск Llama 405b на своем сервере. vLLM, docker.

2 66%

LLaMA-Omni : Речевое управление LLM LLaMA-Omni - модель, построенная на основе Llama-3

4 months ago

00:00:36

LLaMA-Omni : Речевое управление LLM LLaMA-Omni - модель, построенная на основе Llama-3

25 46%

gpt4all - оболочка для больших языковых моделей с открытым исходным кодом на локальном компьютере

4 months ago

00:10:29

gpt4all - оболочка для больших языковых моделей с открытым исходным кодом на локальном компьютере

8 58%

Запускаем RAG через llama3 с помощью LM studio и Anything LLM на своем компьютере

4 months ago

00:14:32

Запускаем RAG через llama3 с помощью LM studio и Anything LLM на своем компьютере

72 17%

2024-09-07 Запуск RPC на RepkaPi 3

4 months ago

04:20:27

2024-09-07 Запуск RPC на RepkaPi 3

36 9%

Продуктивный Совет Создавай ИИ-агентов при помощи n8n локально: Lamma 3.1, Gemma, Phi 3,5

4 months ago

00:18:16

Продуктивный Совет Создавай ИИ-агентов при помощи n8n локально: Lamma 3.1, Gemma, Phi 3,5

40 72%

Как делать ИИ-агентов локально Lamma 3.1, Gemma, Phi БЕЗ КОДА

4 months ago

00:18:16

Как делать ИИ-агентов локально Lamma 3.1, Gemma, Phi БЕЗ КОДА

174 20%

ОТКРЫТИЕ ЖИВОТНЫХ / 60FPS 8K ВИДЕО ULTRA HD #8K #ANIMAL

4 months ago

01:00:44

ОТКРЫТИЕ ЖИВОТНЫХ / 60FPS 8K ВИДЕО ULTRA HD #8K #ANIMAL

550 76%

Развод Wildberries и другие новости недели

5 months ago

00:16:51

Развод Wildberries и другие новости недели

254 47%

Новый аналог chatGPT: Запуск Llama 3 с Ollama

5 months ago

00:00:46

Новый аналог chatGPT: Запуск Llama 3 с Ollama

1 64%

Спотовые биржевые фонды на эфир одобрены / Как это повлияло на курс ETH / Новости криптовалют

7 months ago

00:05:03

Спотовые биржевые фонды на эфир одобрены / Как это повлияло на курс ETH / Новости криптовалют

1 22%

На HuggingFace появилась фича Use this model для запуска LLM и Text-2-Image моделей у себя локально через желаемый софт....

7 months ago

00:01:10

На HuggingFace появилась фича Use this model для запуска LLM и Text-2-Image моделей у себя локально через желаемый софт....

30 86%

Llama 3 - лучшая открытая нейросеть. Узнай как использовать эту модель.

8 months ago

00:13:29

Llama 3 - лучшая открытая нейросеть. Узнай как использовать эту модель.

1 59%

0 Comments

Guest