Cloudflare、Kimi・GLMなどのフロンティアモデルをより速く安く安全に配信する取り組みを公開

CloudflareがKimiやGLMといった大規模言語モデルをGPUメモリの限られたリソースの中で配信するための工夫を紹介しました。KVキャッシュの量子化、モデル重みの圧縮、整合性チェックの追加という3つの手法を組み合わせることで、推論の高速化・コスト削減・安全性向上を同時に目指しているとのことです。