目录
- 一、部署工具包
- 二、Ollama安装
- 1. 修改Ollama模型路径(不需要修改安装路径可忽略此部分)
- 1.1 模型路径原配置
- 1.2 更改模型路径原配置,释放C盘压力
- 2. 安装Ollama
- 2.1 下载Ollama安装包
- 2.1 安装验证
- 三、安装大模型(博主安装DS-r1 7b)
- 1. deepseek模型选择
- 2.安装
- 3.问答测试
- 四、用chatbox AI可视化管理Ollama
- 1. 官网下载
- 2. 选择本地模型
- 3. 模型配置
一、部署工具包
打包下载地址 Ollama、 Deepseekr1、chatbox、DirectX_Repair,需要自取,也可自己下面对应官网免费下载。
二、Ollama安装
1. 修改Ollama模型路径(不需要修改安装路径可忽略此部分)
1.1 模型路径原配置
因为windows 的安装默认不支持选择修改程序安装目录,其中默认路径如下:
- 默认安装后的目录:C:\Users\username\AppData\Local\Programs\Ollama
- 默认安装的模型目录:C:\Users\username.ollama
- 默认的配置文件目录:C:\Users\username\AppData\Local\Ollama
1.2 更改模型路径原配置,释放C盘压力
- 由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中,避免C盘容量紧张,需要配置环境变量OLLAMA_MODELS,设置为指定的路径,如
G:\AI\ollama\DEEPSEEK_MODELS
- 建议修改后重启安装。
2. 安装Ollama
2.1 下载Ollama安装包
官网可下载,选择对应的电脑版本即可,双击下一步安装即可。
2.1 安装验证
打开win+r终端,输入cmd,命令行输入ollama,若出现下图所示则安装成功
三、安装大模型(博主安装DS-r1 7b)
1. deepseek模型选择
官网可下载,选择model中对应的开源大模型,如llama3、gemma、qwen、DeepSeek等。
选择对应的大模型版本,我让大模型给我推荐,最终训着8B
2.安装
- win + r打开终端,输入cmd,输入
ollama run deepseek-r1:8b
,安装过程比较漫长,约20分钟左右,成功会提示。 - ps:我安装后报错
由于找不到VCRUNTIME140_1_dll,无法继续执行代码。重新安装程序可能会解决此问题。
通过安装DirectX加强版进行了修复。
3.问答测试
输入我是不是宇宙最帅的人?
输入/bye退出即可
至此:deepseek R1:8B本地部署已完成
同理,安装千问大模型,输入ollama run qwen:7b
四、用chatbox AI可视化管理Ollama
chatbox AI、Open WebUI、LM Studio等都可以进行可视化管理,大家根据个人用途和喜好安装,参考:Chatbox AI 更适合个人和小团队的日常使用,AnythingLLM 适合企业级文档处理和团队协作,而 openwebui 则适合开发者进行快速开发和定制化的 Web 应用构建。
1. 官网下载
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。官网免费下载。
2. 选择本地模型
3. 模型配置
选择模型提供方为OLLAMA API,API域名自己更新一下直到出现localhost,然后选择你之前下载好的模型。
安装好后使用如下图,可以尽情使用了。