
Ollama
在本地运行和管理语言模型。
Ollama 提供在电脑上运行模型,以及连接云模型和开发工具的入口。选择本地运行还是云端调用,会改变硬件、联网和账户要求。
可以用来完成:本地对话、应用原型与编程代理接入
Ollama 能做什么
如果希望在自己的电脑处理任务,先按可用内存选择模型,再验证输出;如果使用云模型,则应确认账号和服务条件。装了 Ollama 并不意味着所有连接的应用都在本地执行。
下面按本地起步、应用接入和编程辅助组织方法。选择本地模型时,同时查看该模型支持的输入类型与许可,不能把运行工具的能力视为每个模型都有。
在电脑上运行模型
通过客户端或终端选择模型,首次使用需要准备模型文件;适合先用小样本确认本机是否能承受任务。
为应用提供模型接口
可从程序调用本地服务,也可用密钥连接云端。应用接入时应明确地址与模型,不把“调用成功”当成全部兼容功能都已支持。
连接编程工具
官方快速开始提供与编程代理连接的路线。先确认代理本身已正确安装,再选择模型;模型连接和仓库权限仍是两件事。
设置上下文并查看资源分配
可以调整上下文长度,并用 ollama ps 查看模型的处理器分配和上下文。更长的上下文需要更多内存,设置过大可能影响实际体验。
- 核心用途
- 运行模型并提供应用调用接口
- 可完成的工作
- 本地对话、应用原型与编程代理接入
- 如何开始
- 安装客户端,先选适合硬件的本地模型
- 使用条件
- 本地硬件与云端账号条件分开确认
可以完成哪些工作
按你的目标查看准备资料、操作方法和交付结果。
用本地模型整理一段资料一份带原文位置的整理稿。
适合:希望先尝试本地推理的个人用户
- 准备什么
- 一段可使用的短文本、清楚的问题,以及适合本机的模型。
- 怎么完成
- 先确认选择的是本地模型,用同一段文本提问;要求答案区分原文信息和推断,再逐项比对。
- 完成后得到什么
- 一份带原文位置的整理稿。
- 交付前检查
- 检查是否漏掉条件、改写数字或凭空补充事实;这是一套编辑建议,不是特定模型效果测试。
给应用原型接入模型可重复运行的最小调用样例与失败处理。
适合:需要可替换模型接口的开发者
- 准备什么
- 最小调用程序、明确的输入输出格式与无敏感信息的示例。
- 怎么完成
- 先对本地服务发送一个简单请求,处理错误与超时,再增加对话历史;切换云服务时单独处理密钥和限额。
- 完成后得到什么
- 可重复运行的最小调用样例与失败处理。
- 交付前检查
- 分别验证服务不可达、模型未准备好和返回格式不符合预期,不把密钥写进网页代码。
为代码阅读任务选择模型可回到具体文件的模块说明。
适合:希望连接编程代理的开发者
- 准备什么
- 一个可用于练习的仓库、只读任务和验收问题。
- 怎么完成
- 连接已支持的代理后,先让它解释一个小模块;核对文件引用,再决定是否允许修改代码。
- 完成后得到什么
- 可回到具体文件的模块说明。
- 交付前检查
- 确认模型、上下文及实际执行位置;长仓库不要一次全部塞进上下文,先明确需要阅读的范围。
如何使用 Ollama
- 先选执行位置
明确要本地运行还是使用云模型;本地路线从官网下载对应系统版本,云调用按官方账户流程准备。
- 准备一个模型与短样本
选择与硬件相匹配的模型,完成首次下载;用短输入跑通,再考虑更大的模型和任务。
- 检查上下文与资源
查看运行状态和可用内存,按实际任务设置上下文;需要更多上下文时同时评估内存占用。
- 再接入应用或代理
本地 API 和云 API 分别配置。先验证最小请求,再连接应用;仅允许本机使用时保留默认本机监听。
界面与操作参考
开始前需要了解
运行速度取决于模型和硬件
模型体积、量化、上下文和CPU/GPU分配会影响资源需求。能够装上客户端,不代表能流畅运行任何模型。
本地与云端的数据路径不同
本地运行与云模型调用采用不同的数据处理路径。需要本地模式时可按官方说明禁用云功能,并检查所接应用是否另有远端调用。
接口兼容不等于功能完全一致
选择原生API或兼容接口时,应对照当前支持的功能;本地模型管理与某些能力不一定能在云端入口完成。
服务暴露范围需明确
默认服务绑定本机地址。若要让其他设备连接,应单独设计访问控制和网络范围,不要把开发时的本地接口直接公开。
本地模型与云模型分开使用:本地运行依赖本机硬件且无需 API Key;云模型需要账号或 API Key,并有独立用量条件。
账号权限、费用与可用功能请以官方入口的当前说明为准。重要结果应先检查,再用于实际工作。
常见问题
使用 Ollama 一定需要账号吗?
本地模型调用不要求云端API密钥;云模型则需要相应登录或密钥。先区分实际使用的模式。
为什么上下文调大后更慢?
更长上下文增加内存需求。先检查模型运行分配和实际输入量,再根据硬件调整,不要把最大设置当成固定最优值。
装好后能完全离线使用吗?
本地模型需要事先准备好文件;云模型与联网能力仍依赖网络。需要仅本地运行时,按官方说明关闭云功能并确认外接应用的行为。
可以给自己写的应用调用吗?
可以通过API接入。先从小请求验证模型和返回格式,再补错误处理;本地接口与云接口的认证方式要分别配置。
工具动态
Ollama 0.40.3:暂停后台模型升级,调整启动警告
Ollama · 原文更新
Ollama v0.40.3 暂停后台模型升级,以照顾嵌入及其他请求的性能。版本记录同时移除了通过 launch 命令启动 Claude 时的连接器警告,以及启动 Codex 时的服务层级警告。本次说明涉及升级调度和启动提示的调整,未给出统一的性能提升幅度。
Ollama 0.40.2:说明模型升级与原始副本保留机制
Ollama · 原文更新
Ollama v0.40.2 的说明介绍了旧模型首次运行时的后台升级安排,目标是改善在 llama.cpp 上运行时的性能与兼容性。该版本的设计会保留原始副本以便回退,因此临时增加磁盘占用;清理备份后若降到 0.40 以前的版本,需要重新下载相应模型。版本记录还修复了模型列表重复显示的问题。
Ollama 0.40.1:调整云端用量接口与 Windows 兼容处理
Ollama · 原文更新
Ollama v0.40.1 为服务端增加云端用量和余额 API 的代理支持,并移除命令行首次设置中的账号步骤。Windows 相关修复包括大文件读取和模型清单的符号链接处理,发布记录还修正了部分文档下载链接。
Ollama 0.40.0:苹果芯片上的适配模型默认使用 MLX
Ollama · 原文更新
Ollama v0.40.0 在 Apple Silicon 设备上,让 MLX 已支持的模型架构默认通过 MLX 运行。发布说明还列出可在 MLX 上运行的决策模型,并加入 embeddinggemma-2 嵌入模型支持;这一变化不覆盖所有模型架构。
Ollama 0.35.1:接入 Clef 决策模型,支持图像与文本联合输入
Ollama · 原文更新
Ollama v0.35.1 接入 Cloudflare 的 Clef 与 Clef Flash 决策模型,可通过 /v1/systemone 一并提交图片和文本。Modelfile 也可显式声明模型能力,决策模型在列表中不再被标为通用聊天、工具或推理模型。
从电商经营角度评估Ollama
把电商经营需要的条件列清楚,再比较工具。阅读本页的产品用途、步骤与限制,再逐项确认下面的问题;这些是选型方法,不表示每款工具都具备同样能力。
是否保留商品事实
材质、尺寸、配件和库存要来自现有资料,不能由模型补齐。
能否分清承诺边界
售后、发货和优惠以实际规则为准,草稿需人确认后使用。
数据口径能否比较
先统一时间、币种与订单状态,再讨论表现与下一步。
选择一个小样任务,先检查结果与交付格式,再决定是否用于更多资料。
