vLLM原生支持昇腾，加速大模型推理创新，社区尝鲜版本首发！

　　2025年2月20日，经过vLLM社区与昇腾的持续合作和共同努力，vLLM开源社区已官方支持昇腾，并创建vLLM Ascend这一社区维护的官方项目。这意味着用户可直接在昇腾上无缝运行vLLM，开发者可通过vLLM调用昇腾进行模型适配。

图注：vLLM社区创建了vllm-project/vllm-ascend项目提供昇腾的官方支持

　　vLLM Ascend使能vLLM在昇腾平台进行大模型推理，包含以下多个特征：

　　支持多种模型类型，满足多样化需求

　　vLLM Ascend原生支持稠密LLM、稀疏Mixture-of-Expert(MoE)、多模态等在内的主流开源大模型类型，如Qwen系列、Llama系列、DeepSeek系列等。这意味着开发者可以在昇腾平台无缝运行各类大语言模型，并且可基于vLLM进行增量特性开发，满足不同的应用场景和性能需求。

　　与社区共同打造大模型极致推理性能，充分释放昇腾算力

　　vLLMAscend即将在昇腾平台支持vLLM多个高阶特性，如请求调度算法chunkedprefill，大模型分布式并行策略Tensor Parallelism (TP)、PipelineParallelism(PP)，投机解码speculative decoding等，开源社区最新加速能力平滑迁移，支持昇腾平台高性能推理。

　　全面的社区支持，让开发更简单

　　用户可以通过以下途径，快速学习和使用vLLM Ascend，包括：

　　● 快速开始：快速开始教程详细地说明了如何开始使用vLLM Ascend。

　　●用户指南：提供了模型支持、特性支持等关键内容。

　　●开发者指南：通过贡献指南、版本发布策略等文档为开发者提供了重要参考。

　　●社区讨论：开发者可以在社区充分交流分享，一起解决问题。

　　开始您的尝鲜之旅

　　无论是AI领域的资深开发者，还是刚入门的技术爱好者，vLLM Ascend都将为您提供一个高效、灵活的开发平台。立即开始您的尝鲜之旅，感受昇腾NPU与vLLM框架结合的魅力，共同探索大语言模型的无限可能!

　　现在就可以访问以下链接开始您的尝鲜之旅：

　　●代码仓库：https://github.com/vllm-project/vllm-ascend

　　●文档中心：https://vllm-ascend.readthedocs.io/en/latest/

　　●快速开始：https://vllm-ascend.readthedocs.io/en/latest/quick_start.html

　　●安装指南：https://vllm-ascend.readthedocs.io/en/latest/installation.html

　　●版本说明：https://vllm-ascend.readthedocs.io/en/latest/user_guide/release_notes.html

　　欢迎加入我们，携手共建vLLMAscend开源项目

　　大模型推理服务框架vLLM是LF Data & AI基金会孵化项目，因其在大型语言模型 (LLM) 推理和服务中的高吞吐量、内存高效等特点，在开源社区广受欢迎。华为是LF Data & AI基金会创始高级会员，同时也是vLLM社区的支持者和积极贡献者，华为坚持“硬件开放，软件开源，使能伙伴，发展人才”的理念，携手社区共同推进多样性算力支持改进，积极致力于vLLM优化，从而充分释放昇腾硬件的算力。

　　vLLM Ascend是一个使用Apache 2.0协议的开源项目，我们诚邀每一位开发者加入我们，贡献你的智慧，一起探索和贡献更多创新功能。