标签: GPU优化

Ollama 0.2已发布更新

1. 并行请求，可同时请求多个服务，每个请求仅占用少量内存。可支持同时处理多个聊天会话、为团队托管代码完成LLMs、同时处理文档的不同部分和同时运行多个代理。
2. 运行多个模型，并增强了RAG功能（嵌入模型和文本完成模型可以同时加载到内存中）。
3. 根据请求和可用 GPU 内存量自动加载和停止运行模型。

Ollama

关注频道 @ZaiHuaPd 频道爆料 @ZaiHuabot