Cost、Latency 与 Cache | Java AI 应用开发

知识点：计算单请求成本；控制上下文长度和模型层级；设计响应缓存、Embedding 缓存和批处理