ollama 多模型/多实例

Run Multi Models/Instances

配置参数

  1. OLLAMA_HOST=0.0.0.0 允许外网访问
  2. OLLAMA_MODELS=D:\ollamaimagers 将模型不放到~/.ollama/models下
  3. OLLAMA_KEEP_ALIVE=24h 模型加载到内存中保持24个小时(而不是5分钟)
  4. OLLAMA_HOST=0.0.0.0:8080 修改默认端口(而不是11434)
  5. OLLAMA_NUM_PARALLEL=2 设置2个用户并发请求
  6. OLLAMA_MAX_LOADED_MODELS=2 设置同时加载多个模型
  7. LLAMA_CONTEXT_LENGTH=8192 since ollama 0.5.13

Reference

https://github.com/ollama/ollama/blob/main/envconfig/config.go