伊朗：击中霍尔木兹海峡一以相关船只

AMD 推出 vLLM-ATOM 插件，加速 DeepSeek、Kimi 等 AI 推理性能_蜘蛛资讯网

-K2 和 gpt-oss-120B 等大语言模型推理性能。注：vLLM 是面向大语言模型部署的开源推理框架，重点优化高并发服务场景下的吞吐和显存利用率。与一般“单次调用”推理工具不同，它更强调请求调度、KV 缓存和连续批处理，适合企业把模型做成长期在线服务。AMD 本次推出的  vLLM 插件提供了一套更贴近 AMD Instinct GPU 的推理优化方案，尽量不改变开发者现有使用方式，让用户

路由和内核调优。最底层的 AITER 则提供 GPU 内核，包括融合 MoE、Flash Attention、量化 GEMM 和 RoPE 融合。对企业和开发者来说，这套方案的核心价值不只是“更快”，还在于部署门槛更低。AMD 把它包装成“零学习成本”，意味着现有基于 vLLM 的服务流程理论上可以平滑迁移到 AMD 后端。该插件支持多个模型，包括 Qwen3、DeepSeek、GLM、gpt-o

当前文章：http://o7d.cenqiaoce.cn/imzd/g0h07.html

发布时间：00:00:00