如何搭建本地AI大模型？Ollama安装教程

想在个人电脑上摆脱云端依赖，自由运行和管理大语言模型？Ollama 提供了一站式本地部署方案——无论你是 macOS、Linux 还是启用 WSL2 的 Windows 用户，只需几步即可完成安装、一键拉取 Llama3 或 Phi3 等主流开源模型、通过 Modelfile 定制专属智能体、调用标准 RESTful API 集成到应用中，并轻松管理模型生命周期与系统资源；无需配置复杂环境，开箱即用，真正让前沿 AI 能力触手可及。

如果您希望在个人电脑上运行大语言模型而无需依赖云端服务，则可以通过 Ollama 在本地快速部署和管理多个开源大模型。以下是完成该目标的具体操作步骤：

一、下载并安装 Ollama

Ollama 是一个专为本地运行大语言模型设计的轻量级工具，支持 macOS、Windows（需 WSL2）和 Linux 系统，提供命令行接口与模型自动拉取功能。安装后即可直接调用模型，无需手动配置 CUDA 或 Python 环境。

1、访问 https://ollama.com/download，根据您的操作系统选择对应安装包。

2、macOS 用户双击 .pkg 文件，按向导完成安装；Windows 用户需先启用 WSL2，再运行 .exe 安装程序；Linux 用户执行官方提供的 curl 命令一键安装。

3、安装完成后，在终端或命令提示符中输入 ollama --version，确认返回版本号即表示安装成功。

二、拉取并运行基础大模型

Ollama 内置模型仓库，所有模型均通过简洁命令下载并加载到本地，模型文件默认缓存在用户目录下，后续调用无需重复下载。

1、在终端中执行 ollama run llama3，系统将自动拉取 Meta 的 Llama 3 模型（约 4.7GB），完成后进入交互式聊天界面。

2、若网络较慢，可改用更小体积的模型：执行 ollama run phi3，该模型仅需约 2.3GB 存储空间且对硬件要求更低。

3、如需后台运行模型供其他程序调用，使用 ollama serve 启动服务，此时 API 默认监听 http://127.0.0.1:11434。

三、使用自定义 Modelfile 构建专属模型

Modelfile 是 Ollama 的模型定义脚本，允许用户基于已有模型添加系统提示、调整参数或注入领域知识，从而生成定制化行为的本地模型。

1、新建文本文件，命名为 Modelfile，内容以 FROM llama3 开头，指定基础模型。

2、在下方添加 SYSTEM "你是一位专注解答编程问题的助手，回答需简洁、准确、不虚构信息。"，设定角色指令。

3、保存文件后，在同一目录执行 ollama create mycoder -f Modelfile，构建新模型并命名为 mycoder。

4、构建完成后，运行 ollama run mycoder 即可启动该定制模型。

四、通过 API 调用本地模型

Ollama 提供标准 RESTful 接口，兼容各类编程语言客户端，适用于集成至 Web 应用、脚本或自动化流程中，无需额外部署 FastAPI 或 Flask 服务。

1、确保已执行 ollama serve 并保持终端运行状态。

2、使用 curl 发送请求：curl http://localhost:11434/api/chat -d '{"model":"llama3","messages":[{"role":"user","content":"你好"}]}'。

3、响应体为流式 JSON 数据，包含完整对话历史与模型输出，字段 message.content 即为生成文本。

五、管理已安装模型与资源

Ollama 自动维护模型列表、大小及最后使用时间，支持清理冗余模型释放磁盘空间，并可查看实时 GPU/CPU 利用率，便于监控本地推理负载。

1、列出所有已安装模型：执行 ollama list，显示模型名、大小、修改时间等信息。

2、删除不再需要的模型：运行 ollama rm llama3，注意此操作不可逆，且不会影响其他模型。

3、查看当前运行状态：执行 ollama ps，输出正在运行的会话 ID、模型名与运行时长。

今天带大家了解了的相关知识，希望对你有所帮助；关于科技周边的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~