本地安装和使用ollama

源码资源网

本地安装和使用ollama

Ollama 是一个开源工具，专门用于在本地计算机上运行和操作大型语言模型（LLM）。它让用户能够轻松下载、管理和运行各种 AI 模型（如 LLaMA、Mistral 等），而无需复杂的配置或依赖云服务。

一、安装ollama

1.安装

- 访问 Ollama 的官方网站（https://ollama.ai/），下载适合你操作系统的安装包。

2.设置大语言模型下载目录

在 Windows 上

打开“系统属性”：

  - 右键点击“此电脑”或“我的电脑”，选择“属性”。

  - 点击“高级系统设置”，然后点击“环境变量”。

在“系统变量”部分，点击“新建”：

  - 变量名：OLLAMA_MODELS

  - 变量值：E:\path\to\your\custom\directory（替换为你希望保存模型的目录路径）。

点击“确定”保存更改。

重启 PowerShell 或命令提示符，使更改生效。

3.安装大语言模型

二、安装chatbox用户界面

Chatbox 是一个开源的桌面应用程序，专门用于与大型语言模型（如 OpenAI 的 GPT 系列、LLaMA、Mistral 等）进行交互。它提供了一个简洁、易用的图形界面，让用户能够轻松地与 AI 模型对话，而无需编写代码或使用复杂的命令行工具。访问 Chatbox网站https://chatboxai.app/zh，下载适合你操作系统的安装包。

三、手动在Ollama中手动导入大语言模型

步骤操作：

1. 准备模型文件

确保模型文件是Ollama支持的格式（如GGML、GGUF等），并已下载到本地。

2. 创建Modelfile

在模型文件所在目录下创建一个文件命名为：Modelfile，文件内容如下：

FROM E:\models\qwen2.5-7b-instruct-q4_0.gguf

将E:\models\qwen2.5-7b-instruct-q4_0.gguf替换为你模型文件的实际路径。

3. 导入模型

在终端中运行以下命令：

ollama create qwen2.5-7b -fE:\models\Modelfile

将qwen2.5-7b替换为实际的模型名称，E:\models\Modelfile替换为Modelfile的实际路径。

4. 验证导入

导入完成后，使用以下命令验证：

ollama list

确认模型已出现在列表中。

5. 运行模型

使用以下命令运行模型：

ollama run qwen2.5-7b

将qwen2.5-7b替换为你的模型名称。

注意事项

- 确保Ollama已安装并正常运行。