vLLM v0.25.0リリース、Model Runner V2が標準実行パスに昇格しPagedAttentionを削除
ワンポイントPagedAttention削除、MRv2が全密モデルの標準実行パスに
この記事は vLLM の一次情報をもとにAIが再構成したものです。 原文を読む →
vLLMのv0.25.0がリリースされ、Model Runner V2(MRv2)がすべての密モデルの標準実行パスとなり、旧来のPagedAttention実装が削除されました。あわせて統一ツールコール/推論パース基盤「Streaming Parser Engine」の追加、異種語彙対応の投機的デコード、複数の新モデル対応など、232名のコントリビューターによる558件のコミットが取り込まれています。
全文を読むには有料プランへの登録が必要です。
プランを見る →