★ FEATURED ARTICLE 1. 为什么需要离线安装ollama在当今这个万物互联的时代大多数软件安装都依赖于网络下载。但作为一名从业多年的技术专家我经常遇到需要离线部署的场景。比如在内网开发环境、安全隔离区域或是网络条件受限的现场实施中离线安装能力就显得尤为重要。ollama作为一款新兴的AI模型管理工具其标准安装方式通常需要从官方仓库拉取模型和依赖。但在实际企业环境中很多服务器出于安全考虑会限制外网访问。上周我就遇到一个客户他们的GPU集群完全隔离在内部网络中却急需部署ollama来管理本地的大语言模型。2. 离线安装前的准备工作2.1 硬件环境确认首先需要确认目标机器的硬件配置是否满足ollama运行要求。根据我的经验ollama对GPU的支持尤其重要最低配置4核CPU/8GB内存仅运行小模型推荐配置NVIDIA显卡RTX 3060及以上16GB显存存储空间至少50GB可用空间考虑到模型文件体积提示可以使用nvidia-smi命令检查GPU状态用df -h查看磁盘空间。2.2 基础依赖检查ollama需要以下基础运行环境Linux系统推荐Ubuntu 20.04或CentOS 8Docker引擎版本20.10.17NVIDIA驱动与CUDA 11.7兼容的版本在我的运维笔记中记录着一个快速检查脚本#!/bin/bash echo 系统信息 lsb_release -a uname -a echo Docker检查 docker --version docker info | grep -i cgroup echo GPU检查 nvidia-smi nvcc --version3. 离线安装包的制作3.1 在有网络的环境中准备资源我们需要在一台能联网的机器上完成资源下载。建议使用与目标环境相同配置的机器避免兼容性问题。# 创建资源目录 mkdir -p ~/ollama-offline/{binaries,models,docker} # 下载ollama二进制包 wget https://ollama.ai/download/ollama-linux-amd64 -O ~/ollama-offline/binaries/ollama chmod x ~/ollama-offline/binaries/ollama # 下载常用模型 ollama pull llama2 ollama pull mistral3.2 打包Docker镜像ollama依赖的运行时环境可以通过Docker保存# 拉取官方镜像 docker pull ollama/ollama # 保存为离线包 docker save ollama/ollama -o ~/ollama-offline/docker/ollama.tar3.3 制作完整安装包将所有资源打包成一个便于传输的文件tar czvf ollama-offline-installer-$(date %Y%m%d).tar.gz -C ~/ollama-offline .这个压缩包现在包含了运行ollama所需的一切二进制文件、模型权重和Docker环境。4. 离线环境下的安装步骤4.1 传输安装包到目标机器根据实际情况选择传输方式物理介质U盘/移动硬盘内部网络SCP/SFTP传输隔离网络需通过安全审计的介质# 示例传输命令 scp ollama-offline-installer-20230815.tar.gz usertarget-server:/tmp/4.2 解压和部署在目标机器上执行# 创建安装目录 sudo mkdir -p /opt/ollama sudo chown $(whoami):$(whoami) /opt/ollama # 解压安装包 tar xzvf ollama-offline-installer-20230815.tar.gz -C /opt/ollama # 加载Docker镜像 docker load -i /opt/ollama/docker/ollama.tar4.3 配置系统服务为了让ollama作为后台服务运行我推荐使用systemd管理sudo tee /etc/systemd/system/ollama.service EOF [Unit] DescriptionOllama Service Afternetwork.target docker.service [Service] ExecStart/opt/ollama/binaries/ollama serve WorkingDirectory/opt/ollama User$(whoami) Group$(whoami) Restartalways [Install] WantedBymulti-user.target EOF # 启用服务 sudo systemctl daemon-reload sudo systemctl enable ollama sudo systemctl start ollama5. 模型导入与验证5.1 导入离线模型将预先下载的模型导入到ollama# 复制模型文件到ollama存储目录 mkdir -p ~/.ollama/models cp -r /opt/ollama/models/* ~/.ollama/models/ # 注册模型 ollama create my-llama2 -f EOF FROM ~/.ollama/models/llama2 EOF5.2 运行测试验证安装是否成功# 查看已安装模型 ollama list # 运行简单推理 ollama run my-llama2 介绍一下你自己如果看到模型正常输出响应说明离线安装成功。6. 常见问题排查6.1 GPU不可用问题现象模型推理速度异常缓慢日志显示CUDA not available解决方案确认NVIDIA驱动已正确安装检查Docker的GPU支持docker run --rm --gpus all nvidia/cuda:11.7.1-base-ubuntu20.04 nvidia-smi可能需要添加docker运行时参数sudo tee /etc/docker/daemon.json EOF { runtimes: { nvidia: { path: /usr/bin/nvidia-container-runtime, runtimeArgs: [] } } } EOF sudo systemctl restart docker6.2 模型加载失败现象ollama run时报model not found可能原因模型文件权限问题模型配置文件路径错误检查步骤# 查看模型存储目录 ls -lh ~/.ollama/models/ # 检查模型清单 cat ~/.ollama/models/manifest.json7. 进阶配置建议7.1 性能优化根据我的实测经验这些参数能显著提升ollama性能# 修改systemd服务配置 sudo sed -i s/ExecStart/ExecStartenv OLLAMA_NUM_PARALLEL4 OLLAMA_KEEP_ALIVE300 / /etc/systemd/system/ollama.service sudo systemctl daemon-reload sudo systemctl restart ollama7.2 安全加固对于生产环境建议增加这些安全措施限制服务监听地址sed -i s/ollama serve/ollama serve --host 127.0.0.1/ /etc/systemd/system/ollama.service启用API认证echo OLLAMA_API_KEY$(openssl rand -hex 32) | sudo tee -a /etc/ollama.env配置防火墙规则sudo ufw allow from 192.168.1.0/24 to any port 11434 proto tcp8. 维护与更新策略8.1 定期更新模型即使离线环境也需要定期更新模型在联网机器下载新模型ollama pull llama2:13b导出模型文件ollama export llama2:13b llama2-13b.tar导入到离线环境ollama import llama2-13b.tar8.2 日志监控方案建议配置日志轮转和监控sudo tee /etc/logrotate.d/ollama EOF /var/log/ollama.log { daily rotate 7 compress delaycompress missingok notifempty create 0640 $(whoami) $(whoami) } EOF我在实际部署中发现ollama的日志量会随着使用频率快速增长这个配置可以避免日志文件占用过多磁盘空间。
阅读完成 · 觉得有帮助？
