GitHub - jamesob/local-llm: Everything I know about running LLMs locally · GitHub
Автор ділиться досвідом створення локальної системи для запуску сучасних LLM. Розглянуто бюджети $2k (48GB VRAM) та $40k (384GB VRAM), збірку на вживаних серверних компонентах та нестандартному PCIe4 switch для прямого peer-to-peer зв’язку GPU. Детально описано налаштування BIOS, kernel parameters, ACS disable та обмеження потужності, а також надано готові Docker-конфігурації для моделей на кшталт GLM-5.2-594B і whisper-large-v3.
Практичний гайд для тих, хто готовий витратити час і гроші на незалежність від хмарних API.