黔前.Ai管家 软件介绍

软件版本   —

黔前.Ai管家 是面向单机 GPU 推理环境的本地大模型控制台与 OpenAI 兼容网关。Python 控制面负责管理 API、Web 控制台、鉴权、审计、配额与前端响应塑形；Rust/Docker 执行面负责模型部署实例、运行时健康检查与执行操作。

平台以 Docker 部署模型运行时为主路径，同时保留旧 vLLM 兼容入口用于迁移期排障与已有环境衔接。不同运行时的精度、格式与吞吐能力以当前部署镜像和部署参数为准。

在本机或内网环境中，你可以完成下载、管理、部署、对话与 API 服务，并兼顾离线、内网与合规需求。

一句话：控制面管平台，执行面管部署，网关统一 OpenAI 兼容调用。