原文

vLLMは、大規模言語モデル（LLM）向けの高スループットかつメモリ効率の良い推論およびサービングエンジンです。バージョン0.24.0以前では、フロントエンドで合法とされる複数リクエストによる推測的デコーディングのワークロードが原因で、リジェクションサンプラーがモデルの語彙サイズの境界値と等しい復元トークンを生成してしまうことがありました。この値は、エンジンがリクエストの次のライブトークンを選択する際に-1（負の値）に変換され、ドラフターの入力IDに書き戻されます。その語彙外の値は後にモデルの埋め込みおよびアテンション経路で使用され、GPUデバイス側のアサーションによりエンジンワーカーがクラッシュしてしまいます。同じトリガーとなるリクエストシーケンスは、公開されているgRPCのGenerateおよびAbortエンドポイントを通じても到達可能なため、生成リクエストを送信できるリモートクライアントが共有されているエンジンワーカーをクラッシュさせ、同時に実行されているリクエストを中断し、ワーカーが再起動されるまで他のクライアントに対するサービス全体のサービス拒否（DoS）状態を引き起こしてしまいます。この問題はバージョン0.24.0で修正されました。