Топ советов по выбору видеокарты для машинного обучения и инференса нейросетей(LLM)

Обсуждение основных параметров видеокарт в задачах тренировки и инференса нейросетей. Практические советы по выбору видеокарт и других параметров компьютера. Аренда GPU серверов. В этом выпуске мне поможет Руслан, который расскажет о тренировке нейросетей, а я объясню, какие параметры важны для инференса LLM. Упоминание нейросетей: llama 3 8b/70b, gemma 2... Сравнение видеокарт nvidia: a100, h100, 3090, rtx 3090 ti, 4090. Для тестов использовались сервера . Хочу уточнить, что в тестах видеокарты подключены по pcie x16 и использовались pcie nvme диски. GPU сервера immerse cloud: Ссылка на канал Руслана: @ruslandev LLama 3 70b api: Таймкоды: 0:00 flops, скорость видеочипа 2:15 тесты и аренда видеокарт 4:40 объем видеопамяти 7:44 пропускная способность памяти. bandwidth 9:20 PCIE, nvlink, nvswitch 11:20 процессор. CPU 14:10 поддержка fp8 fp4 16:48 диск Реклама. ООО «ДТЛ». ИНН 9717073792. erid: LjN8K3hH6