离线批量推理

离线批量推理指的是在大型、静态数据集上批量运行模型来生成结果，而不是像 实时推理（online inference）那样逐条按需处理。之所以称为“离线”，是因为 它不是交互式发生的，而是作为批处理作业统一执行。

相对地，在线推理意味着模型按需生成结果，例如在客户端发来请求时立即处理。

离线批量推理的主要优势包括：

• 预先计算结果，可以减轻实时系统的负载
• 更适合使用那些对实时推理来说过慢的复杂模型
• 可以在结果进入生产使用前先做后处理与校验

在以下情况下，你通常会考虑使用离线批量推理：

• 你的数据变化不频繁，因此不需要实时结果
• 你有一大批数据要处理，而且结果可以存储下来供后续复用
• 你的模型太大或太慢，不适合实时推理，但提前跑完没有问题
• 你希望在把结果提供给用户前先做验证或人工审核，例如用于质量或合规检查