Ollama服务相关

安装Ollama:curl -fsSL https://ollama.com/install.sh | sh

如果需要ollama服务监听0.0.0.0

Windows中在环境变量中添加 OLLAMA_HOST 值为0.0.0.0,OLLAMA_MODELS 值为模型镜像的存储路径
 OLLAMA_KEEP_ALIVE:这个变量控制模型在内存中的存活时间。设置参数值为24h可以让模型在内存中保持24小时,提高访问速度.

另外还有:OLLAMA_KEEP_ALIVE:这个变量控制模型在内存中的存活时间。设置参数值为24h可以让模型在内存中保持24小时,提高访问速度。
OLLAMA_PORT:这个变量允许我们更改Ollama的默认端口。例如,设置参数值为8080可以将服务端口从默认的11434更改为8080。
OLLAMA_NUM_PARALLEL:这个变量决定了Ollama可以同时处理的用户请求数量。设置参数值为4可以让Ollama同时处理两个并发请求。
OLLAMA_MAX_LOADED_MODELS:这个变量限制了Ollama可以同时加载的模型数量。设置参数值为4可以确保系统资源得到合理分配。
OLLAMA_ORIGINS: 允许的源列表,星号*或使用逗号分隔。

Linunx中编辑 /etc/systemd/system/ollama.service 文件添加以下
[Service]
Environment=”OLLAMA_HOST=0.0.0.0:11434″
然后systemctl daemon-reload & systemctl restart ollama
升级Ollama: curl -fsSL https://ollama.com/install.sh | sh

发表评论