红帽公司宣布推出红帽AI推理服务器

36 氪获悉，开源解决方案提供商红帽公司近日宣布推出红帽 AI 推理服务器（Red Hat AI Inference Server），这是在混合云中普及生成式 AI（gen AI）的重要一步。作为红帽 AI 中的新产品，该企业级推理服务器源自强大的 vLLM 社区项目，并通过红帽对 Neural Magic 技术的集成进一步增强，可以提供更高的速度、加速器效率和成本效益，助力实现红帽 " 在任意云环境中的任意 AI 加速器上运行任意生成式 AI 模型 " 的愿景。