AI Tech · Automation
Hugging Face 推出 Native-speed vLLM Transformers 模型後端,提升 LLM 推理速度
- Hugging Face
- vLLM
- transformers
- 大型語言模型
Hugging Face 宣布其 transformers vLLM 後端現已達到或超越自定義 vLLM 實現嘅速度,為大型語言模型(LLM)提供更快嘅推理能力。呢對模型作者來說,意味著可以輕鬆利用 transformers 嘅實現來獲得超快嘅推理性能。
5 分鐘
閱讀 ›