← 返回卡片

原书出处

AI工程:大模型应用开发实战

核验版本的摘录快照 · 导入于 2026-11-14T07:37:22.384Z

服务器会在收到4个请求或者时间达到100 ms时(以先到者为准)处理批次。这就像一辆公交车,要么坐满即发车,要么按固定时间表发车。这种方法可以控制延迟,避免较早到达的请求被较晚到达的请求拖延。它的缺点是进行处理时批次可能并不总是满的,导致浪费计算资源

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section017.xhtml

EPUB SHA-256:88cc0279def68dead5c5d18f8e4cac1378f2a41584ffdd2bb425a4a28b5280af