vLLM v0.26.0リリース、DeepSeek-V4の推論性能を大幅強化しセキュリティ修正も多数実施
ワンポイントDeepSeek-V4のTPOTが最大2.94%改善、pickle脆弱性も排除
この記事は vLLM の一次情報をもとにAIが再構成したものです。 原文を読む →
vLLMのv0.26.0がリリースされ、212人のコントリビューターによる411件のコミットが取り込まれました。新モデルファミリー「Inkling」の追加、DeepSeek-V4向けの推論カーネル最適化、KVキャッシュオフロード機能の成熟化に加え、pickleデシリアライズの脆弱性排除などセキュリティ修正も行われています。
全文を読むには有料プランへの登録が必要です。
プランを見る →