Course Project
吞吐量 54 倍提升:vLLM 部署与结构化输出实测
串行 0.80 → 批处理 3.81 → vLLM 43.57 QPS 的吞吐实测,附结构化输出(guided json/regex)与 function call 的部署演示——推理工程的价值用数字说话。
导览路线 · 下一站
全链路 RAG:15 份年报 → 分块检索 → Rerank → RAGAS 评估