GitHub - KellerJordan/modded-nanogpt: NanoGPT (124M) in 90 seconds · GitHub
Репозиторій modded-nanogpt веде змагання зі speedrun: навчити мовну модель досягти cross-entropy loss 3.28 на FineWeb validation, використовуючи 8 H100 GPU, за мінімальний час. Початковий llm.c baseline потребував 45 хвилин, а поточний рекорд становить близько 1.23 хвилини (74 секунди) і менше 400M токенів. Серед ключових технік: Muon optimizer, Rotary embeddings, QK-Norm, Flash Attention 3, FP8 в MLP, та численні архітектурні трюки.