零基础培训教程

用 Ollama 运行本地模型
实现宁创教学智能体(QuickClass Agent)平台的 Token 自由

一份写给"完全不懂技术"的老师们的操作手册
跟着做,就能让 AI 课堂不再为 Token 花钱

适用系统:Windows 10 及以上 | 电脑配置建议:优先独立显卡(8G 以上显存) | 预计学习时间:30 分钟 | 实际动手时间:约 1 小时

课程开发:常州市实验初级中学 周波 老师 | 平台:常州市天宁区人工智能教育研究中心设计、开发

📖 写在前面:这份教程能帮你解决什么?

李老师的烦恼 李老师这学期用 QuickClass 平台上 AI 融合课,学生们在课堂上和 AI 对话学得热火朝天。可月底一对账,购买大模型 Token 的费用花了不少——课堂上学生每一次提问、课后每一份学情分析报告,都在消耗 Token。而且学生的对话数据都发到了外部大模型厂商的服务器上,学校也提出了数据安全的顾虑。

其实,这个问题有一个彻底的解法:把 AI 大模型直接安装在自己的电脑上(这就叫"本地部署")。模型装在自己电脑里,用多少次都不花钱,学生数据一步都不出学校——这就是标题里说的"Token 自由"。

本教程会手把手带你完成整个过程。你不需要懂任何编程,只需要会开机、会上网、会打字,遇到英文界面也不用怕——每一步该点哪里、该输入什么,教程里全部用中文讲清楚了。

🧭 学习路线(共 6 步,环环相扣)

安装 Ollama(装好"发动机")→ 验证安装成功 → 下载一个 AI 大模型 → 确认模型能被调用 → 在 QuickClass 里填 3 个空 → 测试成功,开始自由使用!

名词卡:先认识 4 个"新朋友"

① Ollama——一个免费的"AI 模型管家"软件。它负责帮你下载、保管、运行 AI 大模型。你可以把它理解成"AI 界的应用商店 + 播放器"。

② 大语言模型——就是 DeepSeek、千问、Kimi 这类 AI 的大脑本身。模型装在自己电脑上,就不再需要花钱买别家的服务。

③ Token——AI 服务商的"计费单位"。AI 每读一句话、写一句话,都在消耗 Token。用本教程的方法,Token 消耗永远免费。

④ 命令提示符(CMD)——Windows 自带的"黑窗口",输入特定文字命令让电脑干活。别怕,本教程只用到 3 条命令,照着复制粘贴就行。

1
下载 Ollama
目标:把 Ollama 安装包保存到电脑里

Ollama 的官网网址是 ollama.com。如果记不住网址,也可以打开百度或必应等搜索引擎,搜索"ollama"关键词找到官网(认准 ollama.com 开头的链接)。

第 1 步:进入下载页

打开 Ollama 官网后,在首页点击 Download(下载)按钮,进入下载页面:

Ollama官网首页,左下角有黑色Download按钮

▲ Ollama 官网首页。点击左下角黑色"Download"按钮

第 2 步:选择 Windows 版本下载

下载页会显示三个系统选项(macOS / Linux / Windows)。本文以 Windows 系统为例:点选 Windows 图标,然后点击 Download for Windows 按钮下载安装包。

Ollama下载页,三个系统选项和Download for Windows按钮

▲ 点选 Windows 图标后,点击"Download for Windows"按钮

⚠️ 注意

Ollama 仅支持 Windows 10 及更高版本的 Windows 系统。如果电脑还是 Windows 7 / 8,需要先升级系统。

💡 小提示:我怎么知道自己是 Windows 几?

在桌面左下角"开始"按钮上点右键 → 选"系统" → 页面里就能看到 Windows 版本号(如 Windows 10 / Windows 11)。

✅ 第 1 章检查点
  • 浏览器下载栏(或"下载"文件夹)里出现了一个名为 OllamaSetup.exe 的文件
  • 文件大小约 1.5GB,如果网速慢需要多等一会儿
2
安装 Ollama
目标:把 Ollama 装进电脑,让它常驻后台

第 1 步:双击运行安装文件

找到刚下载好的安装文件 OllamaSetup.exe(一般在"下载"文件夹里),双击运行。

安装文件比较大(约 1.5GB),如果电脑性能较弱,解压和运行可能花费较长时间,请耐心等待,不要中途关机。

看到安装窗口后,点击 Install(安装)按钮开始安装:

Ollama安装窗口,右下角有Install和Cancel按钮

▲ Ollama 安装窗口。点击右下角"Install"按钮

⚠️ 重要提醒:C 盘空间

Ollama 会默认安装在 C 盘,且安装时不能修改安装位置。如果你的系统盘(C 盘)空间比较紧张,请留意后面的"模型默认下载位置修改方法"(见第 6 章常见问题),学会把动辄好几个 GB 的模型文件放到其他盘。

第 2 步:点击 Continue 继续

安装完成后会弹出欢迎窗口,点击 Continue(继续)按钮:

Ollama欢迎界面,底部有Continue按钮

▲ 安装完成的欢迎界面。点击底部"Continue"按钮

第 3 步:选择本地使用(关键一步!)

接下来 Ollama 会请你注册账号。不需要注册、不需要登录——直接点击按钮下面那行小字:"No thanks, I'll use Ollama locally"("不用了,我将在本地使用 Ollama"),选择本地使用。

账号创建页面,下方有No thanks I'll use Ollama locally链接

▲ 点击下方灰色链接"No thanks, I'll use Ollama locally",跳过注册

第 4 步:确认安装完成

Ollama 安装完成后没有传统的软件界面(不会弹出一个大窗口),它只在后台默默运行,任务栏右下角会出现一个羊驼图标。看到下面这样的提示页,就说明安装成功了:

Ollama运行提示页,提示在终端运行ollama命令

▲ 出现此页面 = Ollama 已安装并在后台运行

因为 Ollama 没有可视界面,后续下载模型、运行模型、删除模型等操作,都需要借助"命令提示符"(就是那个黑窗口),用命令行来完成。别慌,第 3 章就教你打开它。

✅ 第 2 章检查点
  • 电脑任务栏右下角能看到 Ollama 的羊驼小图标
  • 没有弹出任何报错窗口
  • 出现了"Run Ollama"提示页
3
测试 Ollama 是否可运行
目标:打开"黑窗口",确认 Ollama 听得懂指挥

第 1 步:打开命令提示符(黑窗口)

按键盘上的 Win 键(键盘左下角,Windows 徽标键,也就是开始菜单键),或者直接点击屏幕左下角的开始菜单图标,然后输入 cmd 三个字母,点击搜索结果中的"命令提示符":

Windows开始菜单搜索cmd,右侧显示命令提示符

▲ 按 Win 键 → 输入 cmd → 点击"命令提示符"→"打开"

名词卡:命令提示符是什么?

它就是大家常说的"黑窗口",是 Windows 自带的命令工具。我们以后对 Ollama 说话(下载模型、运行模型)都要通过它。打开后它会显示一行类似 C:\Users\你的用户名> 的文字,末尾有一个闪烁的光标,等你输入命令。

第 2 步:输入 ollama 并回车

ollama

在黑窗口里输入 ollama(就这 6 个字母),然后按 Enter 回车键。

第 3 步:认识返回的画面,然后按 Esc 退出

如果出现下面这样的信息(显示了 Ollama 的版本号 0.33.2 和一个功能菜单),就表示 Ollama 已经安装好了,可以使用了!

命令提示符中运行ollama命令,显示版本号和功能菜单

▲ 看到"Ollama 0.33.2"版本号 = 安装成功

细心的老师会注意到,这个画面里还列出了一些智能体工具(如 Claude Code、OpenCode 等)的快捷安装入口,可以用 ↑↓ 方向键选择、Enter 回车键快速安装。本教程不涉及智能体工具的安装,所以请按 Esc 键退出这个菜单,回到普通的命令行状态。

🎉 里程碑 1

"AI 模型管家"Ollama 已经安装成功,并且确认它能听懂你的指挥了!接下来,我们请它搬一个"AI 大脑"进你的电脑。

✅ 第 3 章检查点
  • 黑窗口里输入 ollama 并回车后,显示了版本号信息
  • 已按 Esc 键退出功能菜单
4
下载 AI 大模型并运行
目标:给电脑装上一个"AI 大脑",并确认它能被访问

第 1 步:到官网模型库挑选模型

打开 Ollama 官网(ollama.com),在首页左上角点击 Models(模型),查看可供选择的模型:

Ollama官网导航栏,Models模型入口

▲ 点击首页左上角"Models"进入模型库

模型页面中可以看到每个模型的相关信息。请根据自己电脑的性能选择合适的模型——参数量太大的模型,电脑性能达不到是运行不起来的(就像小马拉大车,跑不动)。

💻 电脑配置建议:先看显卡,不只是内存

运行本地大模型,速度最快的方式是使用独立显卡。显卡的显存大小和核心性能,直接决定大模型的运行速度。

显存参考标准(教学常用模型):

模型参数量至少需要显存说明
7B8G无独显/小显存电脑的起步选择
9B12G模型全部装进显存,还要留出装对话上下文的空间

显存不够会怎样?Ollama 会"智能地"把装不下的部分转移到电脑内存里运行。虽然也能跑,但内存速度远低于显存,模型速度会极大降低,严重时甚至无法运行。所以请一定按显卡能力选择模型大小,性能不足时 Ollama 仍可运行,但速度会受到很大限制。

怎么查自己电脑的显存?按 Ctrl+Shift+Esc 打开任务管理器 → 点"性能" → 点"GPU",看"专用 GPU 内存"。如果列表里没有 GPU,或只有很小的共享内存,说明电脑没有独立显卡——只能靠内存跑模型,建议选 7B 及以下的小模型(内存不低于 16GB),速度会有一定限制。

名词卡:什么是"参数量(B)"?怎么选?

模型名字里的 9B、35B、397B,指的是模型的参数量(B = 十亿),数字越大模型越"聪明",但对电脑要求也越高。参数量越大,模型文件越大,需要的显存/内存越多。选型口诀:8G 显存选 7B,12G 显存可跑 9B;没有独立显卡的电脑靠内存运行,建议选 7B 及以下小模型;显存/内存都充裕(如 24G 显存、32GB 以上内存),再考虑更大参数的模型。如果运行卡顿,优先换更小参数的模型。

第 2 步:查看模型详情和运行命令

本文以参数量为 9B 的 ornith-1.5 模型为例。点击"ornith-1.5"进入详情页,能看到它各个版本的大小、参数、上下文长度,以及多模态能力:

ornith-1.5模型详情页,显示模型介绍和各版本参数

▲ ornith-1.5 详情页:9B 版 6.6GB、35B 版 23GB、397B 版 242GB——参数量与体积成正比

如图所示,运行 ornith-1.5 9B 模型的命令是 ollama run ornith-1.5:9b。

第 3 步:回到黑窗口,执行下载命令

打开命令提示符,直接输入(或复制粘贴)下面这条命令,然后回车:

ollama run ornith-1.5:9b

Ollama 会自动下载模型并运行。下载模型的时间会比较漫长(取决于网速和模型大小),请耐心等待:

模型正在下载,显示进度3%和剩余时间

▲ 下载中:进度条慢慢走,会显示已下载大小和预计剩余时间

第 4 步:看到 success 就大功告成

看到进度条走完、出现 success 字样,模型就下载完成了。稍等片刻、等模型加载完,就可以直接在命令行和模型对话了(窗口出现 >>> Send a message 提示时,输入任何一句话试试,比如"你好"):

模型下载完成显示success,进入对话模式

▲ 出现"success"字样 = 模型下载完成,进入对话状态

💡 想退出和模型的对话?

在对话状态下输入 /bye 回车即可退出,回到普通命令行。退出对话不会关闭 Ollama,它仍在后台待命。

第 5 步:确认 Ollama 的"服务端口"正常

Ollama 的默认端口是 11434。端口可以理解为 Ollama 对外服务的"窗口编号",QuickClass 之后就是通过这个端口来找到它的。

打开浏览器,在地址栏输入 127.0.0.1:11434 并访问(127.0.0.1 代表"本台电脑自己")。如果页面显示 "Ollama is running",就表示 Ollama 可以通过 11434 端口被调用了:

浏览器访问127.0.0.1:11434显示Ollama is running

▲ 看到"Ollama is running"= 端口服务正常

🎉 里程碑 2

你的电脑现在拥有一个免费、私有、随时可用的 AI 大脑了!最后一步,就是在 QuickClass 平台和它"牵上线"。

✅ 第 4 章检查点
  • 黑窗口中看到 success 字样,模型下载完成
  • 浏览器访问 127.0.0.1:11434 显示"Ollama is running"
  • 记住了自己下载的模型名称(本例为 ornith-1.5:9b,下一步要用)
5
设置 QuickClass 访问本地模型
目标:在 QuickClass 平台填 3 个空,接通本地 AI

第 1 步:打开 QuickClass 并登录

运行 QuickClass,在浏览器地址栏访问 127.0.0.1:3000,使用教师账号登录:

QuickClass教师端工作台页面

▲ QuickClass 教师端工作台(登录后界面)

第 2 步:进入"AI 服务设置"

点击左侧菜单最下方的系统设置,展开AI 服务设置。我们需要设置 3 个选项:

设置项填什么为什么这么填
API Base URL 127.0.0.1:11434/v1 本地 Ollama 的访问地址和端口,末尾加 /v1 是平台约定的接口格式
API Key ollama 本地模型没有设密码,但这一项不能空着,随手填"ollama"即可
AI 模型 ornith-1.5:9b 填你实际下载的模型名称(必须一字不差,和第 4 章下载时输入的一致)

← 表格较宽,手机上可左右滑动查看 →

⚠️ 最容易出错的地方
  • API Base URL 必须带 /v1 结尾,漏了会连接失败
  • AI 模型名称中的冒号是英文冒号 :(不是中文的 :),模型名、参数版本都要和下载时完全一致
  • 填的内容前后不要多出空格

第 3 步:测试连接

填好 3 个选项后,点击 测试连接 按钮。页面上部出现"连接成功"字样,表示本地部署的 Ollama 模型已经可以被 QuickClass 调用了:

QuickClass AI服务设置界面,已填好三项配置并显示连接成功

▲ 三项配置填好,点击"测试连接"出现"连接成功"

第 4 步:保存配置(别漏了这一步!)

⚠️ 注意

测试连接成功后,务必点击"保存配置"按钮,配置才会正式生效。只测试不保存 = 白忙一场。

🎉🎉 全部完成!

至此,你电脑上运行的 QuickClass 平台就可以调用本地部署的大语言模型了——Token 自由,正式达成!

老师们可以根据自己电脑的性能,选择下载和运行合适的模型。还有一个好消息:模型下载好之后,日常使用时不需要再用 ollama 命令去手动运行它——只要在 QuickClass 里设置好模型名称,平台调用时,Ollama 会自动加载模型并运行。也就是说,你平时只需开机 → 打开 QuickClass → 直接上课即可。

✅ 第 5 章检查点(最终验收)
  • 三个配置项填写正确(地址带 /v1、Key 填 ollama、模型名与下载一致)
  • 点击"测试连接"后出现"连接成功"
  • 已点击"保存配置",页面显示"AI 服务已配置"
  • 发一个对话活动试运行,学生端 AI 能正常回复
6
验收与常见问题解答
目标:全流程回顾 + 排解 90% 的常见故障

一分钟回顾:我们做了什么

步骤做了什么打个比方
1从官网下载 OllamaSetup.exe把"发动机"的包裹买回家
2安装 Ollama,选择本地使用把发动机装进自己的车
3黑窗口输入 ollama 验证点火试机
4ollama run 下载模型,浏览器验证 11434 端口加满免费燃料,确认油路通畅
5QuickClass 填 3 个空 → 测试 → 保存把车和导航系统连起来

常见问题(点击问题展开答案)

Q1:安装 Ollama 后在哪里找它?为什么没有软件窗口?▼

Ollama 安装后没有传统界面,它在后台默默运行。你看任务栏右下角的通知区(可能收进小箭头里),能看到一个羊驼图标,那就是它。它平时不需要你管,只有下载/删除模型时才需要打开"黑窗口"操作。

Q2:C 盘空间不够,模型能不能下载到 D 盘或其他盘?▼

可以。Ollama 默认把模型放在 C 盘的用户目录下,但允许用"系统环境变量"修改默认下载位置。操作方法(Windows):

① 在桌面"此电脑"图标上点右键 → 属性 → 高级系统设置 → 环境变量;
② 在"用户变量"里新建一个变量,变量名为 OLLAMA_MODELS,变量值填你想存放模型的路径,例如 D:\OllamaModels;
③ 点确定保存,然后退出并重启 Ollama(右键任务栏羊驼图标 → Quit Ollama,再从开始菜单重新打开),之后下载的模型就会存到新位置。

注意:修改前已下载的模型不会自动搬家,需要重新下载或手动复制过去。

Q3:下载模型太慢或卡住不动了怎么办?▼

模型文件动辄几个 GB,下载慢通常是网络原因。可以:

① 避开用网高峰期(如上班时段),换到清晨或深夜下载;
② 确认电脑没有同时进行其他大流量下载;
③ 卡住不动超过 10 分钟,可以按 Ctrl+C 取消,重新执行同一条 ollama run 命令——Ollama 会断点续传,已下载的部分不用重来。

Q4:测试连接显示"连接失败"?▼

按顺序排查:

① 检查三项内容是否抄写正确:地址是 127.0.0.1:11434/v1(带 /v1);模型名和下载时一字不差(英文冒号);
② 打开浏览器访问 127.0.0.1:11434,看不到"Ollama is running"说明 Ollama 没在运行——从开始菜单重新启动 Ollama;
③ 检查电脑防火墙/杀毒软件是否拦截了 11434 端口,临时关闭测试;
④ 全部无误仍失败,重启电脑后再试一次。

Q5:学生上课时 AI 回复很慢,甚至没反应?▼

本地模型的速度主要取决于电脑硬件,尤其是显卡和显存。可以尝试:

① 换更小参数的模型(如 9B → 7B),速度会明显提升;
② 检查电脑是否配有独立显卡、显存是否够用(7B 至少 8G 显存、9B 至少 12G)。没有独立显卡或显存不足时,模型会有一部分转移到内存里运行,速度会极大降低——这是硬件限制,属于正常现象,缓解办法就是换更小的模型;
③ 上课前先手动运行一次模型让它"热身"(黑窗口执行一次对话再退出);
④ 确认上课时没有其他占内存/显存的大程序(如视频剪辑软件、大型游戏)在运行;
⑤ 班级人数多时,在 AI 服务设置中适当调高"AI 并发限制"(小班课 10-20、中班课 20-40、大班课 40-100)。

Q6:怎么删除不用的模型?怎么查看已下载了哪些模型?▼

打开命令提示符(黑窗口):

查看已下载的模型列表:

ollama list

删除指定模型(腾出硬盘空间):

ollama rm 模型名称

例如删除本教程的示例模型:ollama rm ornith-1.5:9b。

Q7:换了一台电脑,要在新电脑上重新下载模型吗?▼

是的,模型文件在新电脑上需要重新下载(除非你把模型文件夹整个拷贝过去,并按 Q2 的方法指向该文件夹)。新电脑上完整流程是:装 Ollama → 黑窗口执行 ollama run 模型名 → QuickClass 填 3 个空。整个过程熟练后约 20 分钟(不含模型下载时间)。

Q8:本地模型和付费的 DeepSeek / 千问 / Kimi 比,效果差很多吗?▼

要客观看待:大参数本地模型(35B 级别以上)已能胜任课堂对话、题目解析、学情分析等教学场景;小模型在复杂推理上会弱一些。建议的搭配策略是:日常课堂活动、学生伴学用本地模型(量大、免费、数据不出校);偶尔需要高质量复杂分析时,再临时切回付费 API。QuickClass 的 AI 服务设置里随时可以切换,两边不冲突。

日常使用备忘(贴在电脑旁)

场景要做什么
每天上课开机 → 打开 QuickClass → 直接用(Ollama 会自动加载模型,无需手动运行)
Ollama 没在运行(Q4 排查时发现)开始菜单搜 Ollama → 打开即可
想新增一个模型黑窗口执行 ollama run 新模型名,下载完去 QuickClass 改"AI 模型"配置
硬盘不够了ollama list 查看列表 → ollama rm 模型名 删除不用的
📮 培训反馈

按本教程操作时如果遇到文档没覆盖的问题,请记下:① 卡在第几章第几步;② 黑窗口/页面上的报错原文(拍照即可),向学校信息化管理员或培训讲师反馈,能大幅加快解决速度。