模型预热

对运行中的 Docker 部署发送轻量推理请求，降低首次调用延迟

选择运行中的部署实例后，控制面会调用 Rust 执行面向该运行时发送一次匹配模型类型的轻量请求；不会启动、停止或重建容器。
正在从服务端读取设置…
Docker 部署预热
预热状态
部署/模型状态运行时最近预热
加载中…
预期性能收益
~50%
首次推理延迟降低
~30%
KV Cache 命中率提升
2x
连续推理吞吐量

以上为典型场景示意，实际因模型与硬件而异。