Видеокарты: что они могут Могут ли они хоть что-то | Николаи Полярныи

– Николай Полярный, – Сайт: – Telegram: – YouTube: @ComputerScienceSpace 00:00 План лекции 00:57 Глава 1. Вычисления 05:15 shared instruction pointer 07:00 code divergence 09:25 Глава 2. Работа с памятью 13:41 hyper-threading, simultaneous multithreading (SMT) 15:56 latency hiding 17:36 occupancy 20:28 registers pressure/registers spilling 22:42 coalesced memory access pattern, cache lines 27:02 Глава 3. Общая картина архитектуры ПК 30:24 local/shared memory (L1 cache) 32:26 Итого - особенности архитектуры видеокарты 34:32 AMD Threadripper 7980X core-to-core latency 36:01 Глава 4. Модель вычислений массового параллелизма 36:56 WorkRange = Grid = все рабочее пространство задачи 37:47 WorkGroup = Block = локальная рабочая группа 41:27 использование local memory, memory barrier для синхронизации 42:54 обращение к регистрам другого потока warp-а (shuffle instruction) 45:36 dFdx(...), dFdy(...) - взятие производной благодаря shuffle instruction 46:37 2D WorkRange = 2D Grid 47:59 Глава 5. Профилирование и оптимизация 52:36 профилировщик NVIDIA Nsight 54:49 Глава 6. Примеры 56:11 суммирование массивов A B 1:08:21 максимум по массиву используя редукцию (reduction) и локальную память 1:13:37 merge-sort на видеокарте быстрее в 582 раза 1:19:56 алгоритм построения карт глубины Gipuma - шахматная раскраска большой шаг 1:23:35 Глава 7. Матрицы 1:23:52 транспонирование матрицы на видеокарте (coalesced, local memory) 1:29:38 умножение матриц 1:32:46 умножение матриц с использованием Tensor Cores, Matrix Cores 1:35:04 DeepSeek - ускорение обучение в два раза - fp16 — fp8 - fine grained fp8 quantization 1:42:02 Глава 8. Ray Tracing 1:44:01 BVH - Bounding Volume Hierarchy 1:46:07 BVH обход - рекурсивный (code divergence) 1:47:29 BVH обход - на стеке (data divergence) 1:49:00 Real-time BVH construction (Z curve, Motron Code) 1:50:20 Ray Tracing cores 1:50:49 Глава 9. Выводы 1:50:54 какие алгоритмы ускоряются на GPU? 1:53:04 что выбрать - CUDA, Vulkan или OpenCL? 1:57:39 дополнительные материалы 1:58:27 Вопрос - как развиваются архитектуры видеокарт