BentoML近日发布了llm-optimizer，这是一个用于基准测试和优化 LLM 推理的开源工具。它支持多个推理框架，并兼容任何开源 LLM。 llm-optimizer 旨在将 LLM 性能优化的繁琐手动工作自动化。您可以在一个地方运行结构化实验、应用约束并可视化结果，只需几个命令即可。 使用示例
llm-optimizer estimate \
--model me...

阅读更多