QPS、每请求 Token、延迟分位数与输入/输出字节统计
指标为浏览器端到端。对照与调参文档(同源打开):BENCH_BASELINE.md · PERFORMANCE_TUNING.md · PRIMARY_MODELS_TUNING.md
| 并发 | 成功率 | Output TPS | Goodput | P95 TTFT | P95 TPOT | P95 E2E | P99 E2E | 解释 |
|---|---|---|---|---|---|---|---|---|
| 尚未运行服务器压力阶梯。 | ||||||||
口径:服务器压力阶梯由 Rust 执行面直接请求已部署模型 API,stream=true 采集 TTFT/TPOT;Goodput 表示满足体验门槛的成功请求吞吐。在线人数为按请求频率换算的粗估,真实容量还取决于业务平均输入长度、输出长度和用户请求频率。
性能分析(结构化摘要)
本页为浏览器内压测:指标含网络、管理端、网关与运行时全链路。与整机/GPU 标称「纯解码」吞吐(如 DGX Spark GB10 常见数百 tok/s 量级)不是同一口径。下方「完整日志」含 aggregate 行便于脚本解析。
完整日志
(逐条请求与汇总均在此;运行中会自动滚到底部。)
读取当前模型目录、GPU 与运行时配置,给出只读建议;实际部署仍在「模型」页由 Rust 执行面启动。