Guest
На стриме протестировал возможность запуска в режиме RPC-сервера на микрокомпьютере RepkaPi 3, с удивлением для себя обнаружил, что эта малютка неплохо справлятся с пусть и не самыми большими (:-) языковыми моделям. - В первой четверти стрима занимался обновлением прошивки RepkaPi 3 и установкой всего необходимого для запуска Docker-контейнеров, далее приступил к сборке специлазированного контейнера содержащего RPC-сервер и запуску оного на Репке, а llama-server (в режиме RPC-клиент) запустил у себя на локальной машине, после пробовал выполнить инференс. Под конец стрима повторил процедуру ещё и на Raspberry Pi CM3 . - И собрал схему полноценного распределённого инференса. Сделать пожертвование: Ссылки:
