Cloudflare、Kimi・GLMなど大規模モデルの提供でGPUメモリ確保術を公開

Cloudflareが公式Blueskyアカウントで、KimiやGLMのようなフロンティアモデルを提供する際のGPUメモリ確保の取り組みを紹介しました。KVキャッシュの量子化、モデル重みの圧縮、整合性チェックの追加という3つの手法により、推論をより高速・低コスト・安全に提供しているとのことです。