管理 Docker/Rust 部署、可调用模型与本机权重;下载进度在「模型下载」查看
优先处理正在占用运行时资源的实例;启动、停止、调参和日志都在这里完成。
模型目录只展示本机权重已就绪的条目;下载中或未完成的条目请进入「模型下载」。
加载中…
开关只控制本网关是否把 /v1 转发到当前运行时;关闭后客户端无法经本端口走 OpenAI 兼容调用,不会自动停止 Docker 部署或卸载显存里的权重。停止模型服务请用下方运行中部署的停止部署;旧 vLLM 兼容进程会单独标注。
最近启动事件、运行时日志尾部和失败定位入口。
选择变体与 GPU 后启动部署流程。
选择部署参数后显示预估资源占用。
创建部署时选择 catalog variant;调参/启动已有部署时在这里切换该模型的已有部署变体。
多个 GPU 用逗号分隔。创建后可在运行中部署卡片查看状态与日志。
保存后会写入部署记录;运行中的实例需要重启才会按新参数启动。
使用 catalog 默认值
时间线按当前已加载 model_id 筛选;日志尾部优先展示运行时/容器日志,旧 vLLM 兼容进程日志作为兼容来源。来源 GET /admin/v1/models/launch-log。