| 关于昇腾 | 官方文档 | #sig-ascend | 用户论坛 | 社区例会 |
English | 中文
最新消息 🔥
- [2025/03] 我们和vLLM团队举办了vLLM Beijing Meetup! 你可以在这里找到演讲材料.
- [2025/02] vLLM社区正式创建了vllm-project/vllm-ascend仓库，让vLLM可以无缝运行在Ascend NPU。
- [2024/12] 我们正在与 vLLM 社区合作，以支持 [RFC]: Hardware pluggable.
vLLM 昇腾插件 (vllm-ascend) 是一个由社区维护的让vLLM在Ascend NPU无缝运行的后端插件。
此插件是 vLLM 社区中支持昇腾后端的推荐方式。它遵循[RFC]: Hardware pluggable所述原则：通过解耦的方式提供了vLLM对Ascend NPU的支持。
使用 vLLM 昇腾插件，可以让类Transformer、混合专家(MOE)、嵌入、多模态等流行的大语言模型在 Ascend NPU 上无缝运行。
- 硬件：Atlas 800I A2 Inference系列、Atlas A2 Training系列
- 操作系统：Linux
- 软件：
- Python >= 3.9
- CANN >= 8.0.RC2
- PyTorch >= 2.5.1, torch-npu >= 2.5.1
- vLLM (与vllm-ascend版本一致)
请参考 CONTRIBUTING 文档了解更多关于开发环境搭建、功能测试以及 PR 提交规范的信息。
我们欢迎并重视任何形式的贡献与合作：
vllm-ascend有主干分支和开发分支。
- main: 主干分支，与vLLM的主干分支对应，并通过昇腾CI持续进行质量看护。
- vX.Y.Z-dev: 开发分支，随vLLM部分新版本发布而创建，比如
v0.7.3-dev是vllm-asend针对vLLMv0.7.3版本的开发分支。
下面是维护中的分支：
| 分支 | 状态 | 备注 |
|---|---|---|
| main | Maintained | 基于vLLM main分支CI看护 |
| v0.7.1-dev | Unmaintained | 只允许文档修复 |
| v0.7.3-dev | Maintained | 基于vLLM v0.7.3版本CI看护 |
请参阅版本策略了解更多详细信息。
- vLLM Ascend 每周社区例会: https://tinyurl.com/vllm-ascend-meeting
- 每周三下午，15:00 - 16:00 (UTC+8, 查看您的时区)
Apache 许可证 2.0，如 LICENSE 文件中所示。