谷歌发布了LiteRT-LM早期版本，这是一个C++库，用于在边缘平台上高效运行语言模型。 LiteRT-LM支持跨平台高效运行Gemma-3N系列模型，支持2B和4B参数模型，适用于桌面环境（Mac/Windows/Linux）及物联网设备。 LiteRT-LM的README写道： 语言模型不再是一个单一模型，而是一个由多个模型和组件协同工作的流水线。LiteRT-LM...

阅读更多