Гайд пояснює platform-інженерам, як самостійно запускати inference відкритих моделей: inference engine як vLLM або SGLang працює як stateful сервер, що тримає weights як фіксований обсяг, а KV cache як змінний стан сесій, при цьому prefill упирається в compute і визначає TTFT, а decode в memory bandwidth і визначає швидкість генерації. Для production розбираються ключові рішення: підбір моделі під власні evals, розрахунок GPU-пам'яті з запасом на runtime overhead, quantization, prefix caching, speculative decoding, tensor і pipeline parallelism, cache-aware routing, збільшені timeouts і TLS з auth для багатогодинних агентських сесій, observability за engine-метриками, autoscaling за queue depth і KV cache з урахуванням довгих cold starts. Окремо описані інструменти стеку, open source Modelplane на Crossplane для декларативного керування флотом моделей, і досвід Upbound з Project Champagne, де головний біль дали не самі engine, а quotas без реальної capacity, тихі failures з кодом 200, обірвані стріми і агентський трафік з медіаною 59K токенів.
Фактично це SRE для GPU, тільки замість диска тут закінчується KV cache.