Mind Inference Service

• 最新消息
• 简介
• 目录结构
• 版本说明
• 环境部署
• 编译流程
• 快速入门
• 特性介绍
• 安全声明
• 免责声明
• License
• 贡献声明
• 建议与交流

最新消息

• [2025.12.30]: 🚀 Mind Inference Service支持Qwen3-8B模型

简介

昇腾推理微服务MIS（Mind Inference Service）提供了模型推理服务，无需复杂的依赖安装，即可快速完成部署。针对昇腾硬件进行深度的性能优化，省去繁琐的调优过程。提供行业标准接口，便于集成到企业业务系统中，助力业务高效运行。

    

目录结构

├─ configs
|  └─ llm
|     └─ qwen3-8b
├─ mis
|  ├─ hub
|  ├─ llm
|  |  ├─ engines
|  |  ├─ entrypoints
|  |  └─ openai
|  ├─ tests
|  |  └─ llm
|  |     ├─ engines
|  |     └─ entrypoints
|  └─ utils
└─ script
   └─ run

版本说明

Mind Inference Service的版本说明包含MIS的软件版本配套关系和软件包下载以及每个版本的特性变更说明，具体请参见版本说明。

环境部署

介绍Mind Inference Service的安装方式。具体请参见安装部署。

编译流程

编译环境依赖：

• Python 3.11.4

编译流程：

1. 拉取mis整体源码，例如放在/home目录下。

2. 执行以下命令，进入/home/MIS目录，选择构建脚本执行： cd /home/MIS

   python compile.py
   

3. 执行完成后，在/home/MIS/dist目录下生成可直接执行的mis.pyz文件。

4. 将MIS/configs目录复制到mis.pyz文件所在目录，即可通过mis.pyz文件运行mis服务： cp -r /home/MIS/configs /home/MIS/dist

   cd /home/MIS/dist
   python3 mis.pyz
   

• 请注意，mis服务启动时会对configs目录进行校验，请保证configs目录的权限为750，配置文件的权限为640。

快速入门

Mind Inference Service的快速入门，包括快速安装、数据准备和工具使用等，具体请参见快速入门。

特性介绍

Mind Inference Service基于昇腾硬件提供即装即用的在线推理服务，支持模型如下：

模型名	计算服务器硬件型号	数据类型	后端	最低内存需求
qwen3-8b	Atlas 800I A2	BF16	vLLM	16GB

安全声明

• 用户应根据自身业务，重新审视整个系统的网络安全加固措施。
• 外部下载的软件代码或程序可能存在风险，功能的安全性需由用户保证。

描述Mind Inference Service的安全加固信息、公网地址信息及通信矩阵等内容，具体请参见安全加固与附录。

免责声明

• 本仓库代码中包含多个开发分支，这些分支可能包含未完成、实验性或未测试的功能。在正式发布前，这些分支不应被应用于任何生产环境或者依赖关键业务的项目中。请务必使用我们的正式发行版本，以确保代码的稳定性和安全性。使用开发分支所导致的任何问题、损失或数据损坏，本项目及其贡献者概不负责。
• 正式版本请参考release版本https://gitcode.com/ascend/MindInferenceService/releases。

License

Mind Inference Service以Mulan PSL v2许可证许可，对应许可证文本可查阅LICENSE。

Mind Inference Service docs目录下的文档适用CC-BY 4.0许可证，具体请参见LICENSE文件。

贡献声明

• 贡献前，请先签署开放项目贡献者许可协议（CLA）。
• 如果您遇到bug，请提交issue。
• 如果您计划贡献bug-fixes，请提交Pull Requests，参见具体要求。
• 如果您计划贡献新特性、功能，请先创建issue与我们讨论。写明需求背景/目的，如何设计，对现有API等的影响。未经讨论提交PR可能会导致请求被拒绝，因为项目演进方向可能与您的想法存在偏差。
• 更详细的贡献流程，请参考贡献指南

建议与交流

欢迎大家为社区做贡献。如果有任何疑问或建议，请提交issues，我们会尽快回复。感谢您的支持。