200 lines
5.8 KiB
Markdown
200 lines
5.8 KiB
Markdown
# MacOS 上 Qwen3.5-9B 模型安装指南
|
||
|
||
你想要在 macOS 系统上安装并运行 Qwen3.5-9B 模型,我会为你提供两种最常用、最易上手的安装方式:**Ollama 一键部署(推荐新手)** 和 **Hugging Face 手动部署(灵活可控)**,你可以根据自己的需求选择。
|
||
|
||
### 前置条件
|
||
|
||
首先确认你的 Mac 满足基础要求:
|
||
|
||
- macOS 12.0+(推荐 macOS 13/14)
|
||
|
||
- 内存:至少 16GB(建议 32GB+,M 系列芯片(M1/M2/M3)体验最佳)
|
||
|
||
- 硬盘:预留至少 10GB(4-bit 量化版)或 20GB(原版)空间
|
||
|
||
---
|
||
|
||
## 方式一:Ollama 一键部署(推荐)
|
||
|
||
这是最简单的方式,Ollama 会自动处理模型下载、量化和运行,无需手动配置环境,适合新手快速体验。
|
||
|
||
### 步骤 1:安装 Ollama
|
||
|
||
1. 打开终端(Terminal),执行以下命令下载安装 Ollama:
|
||
|
||
```Bash
|
||
|
||
curl -fsSL https://ollama.com/install.sh | sh
|
||
```
|
||
|
||
2. 等待安装完成,验证是否安装成功:
|
||
|
||
```Bash
|
||
|
||
ollama --version
|
||
```
|
||
|
||
若输出版本号(如 `ollama version 0.1.48`),说明安装成功。
|
||
|
||
### 步骤 2:拉取并运行 Qwen3.5-9B
|
||
|
||
1. 执行以下命令拉取 Qwen3.5-9B 模型(默认是 4-bit 量化版,占用约 10GB 空间):
|
||
|
||
```Bash
|
||
|
||
ollama pull qwen3.5:9b
|
||
```
|
||
|
||
- 若需要指令微调版(更适合对话),执行:`ollama pull qwen3.5:9b-instruct`
|
||
|
||
- 若需要更大的上下文窗口(32k),执行:`ollama pull qwen3.5:9b-32k`
|
||
|
||
2. 运行模型并进入对话界面:
|
||
|
||
```Bash
|
||
|
||
ollama run qwen3.5:9b
|
||
```
|
||
|
||
3. 此时可以直接输入问题与模型对话,例如:
|
||
|
||
```Plain Text
|
||
|
||
>>> 介绍一下大语言模型
|
||
# 模型会返回对应的回答
|
||
```
|
||
|
||
4. 退出对话:输入 `/bye` 并回车。
|
||
|
||
---
|
||
|
||
## 方式二:Hugging Face 手动部署(灵活可控)
|
||
|
||
适合需要自定义模型参数、集成到代码中使用的场景,步骤稍复杂,但可灵活调整量化策略。
|
||
|
||
### 步骤 1:安装依赖环境
|
||
|
||
1. 安装 Python(推荐 3.10/3.11,macOS 自带的 Python 可能版本过低,建议用 conda 或 brew 安装):
|
||
|
||
```Bash
|
||
|
||
# 若未安装 brew,先执行:/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
|
||
brew install python@3.11
|
||
```
|
||
|
||
2. 安装必要的 Python 库:
|
||
|
||
```Bash
|
||
|
||
pip install torch transformers accelerate sentencepiece protobuf modelscope
|
||
# 若需要量化运行(减少内存占用),额外安装:
|
||
pip install bitsandbytes
|
||
```
|
||
|
||
### 步骤 2:下载 Qwen3.5-9B 模型
|
||
|
||
#### 方法 A:通过 ModelScope 下载(国内网络友好)
|
||
|
||
```Python
|
||
|
||
# 创建并运行以下 Python 脚本(命名为 download_qwen.py)
|
||
from modelscope.hub.snapshot_download import snapshot_download
|
||
|
||
# 下载 Qwen3.5-9B-Instruct 模型到本地指定目录
|
||
model_dir = snapshot_download(
|
||
'qwen/Qwen3.5-9B-Instruct',
|
||
cache_dir='/Users/你的用户名/Documents/models' # 替换为你的本地路径
|
||
)
|
||
print(f"模型下载完成,路径:{model_dir}")
|
||
```
|
||
|
||
执行脚本:
|
||
|
||
```Bash
|
||
|
||
python download_qwen.py
|
||
```
|
||
|
||
- 原版 FP16 模型约占用 18GB 空间,下载完成后会保存在指定的 `cache_dir` 下。
|
||
|
||
#### 方法 B:通过 Hugging Face 下载(需科学上网)
|
||
|
||
```Bash
|
||
|
||
# 安装 huggingface-hub 工具
|
||
pip install huggingface-hub
|
||
|
||
# 下载模型(替换为你的保存路径)
|
||
huggingface-cli download Qwen/Qwen3.5-9B-Instruct --local-dir /Users/你的用户名/Documents/models/Qwen3.5-9B-Instruct
|
||
```
|
||
|
||
### 步骤 3:运行模型进行对话
|
||
|
||
创建运行脚本(命名为 [run_qwen.py](run_qwen.py)),支持 4-bit 量化(减少内存占用):
|
||
|
||
```Python
|
||
|
||
import torch
|
||
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
|
||
|
||
# 配置 4-bit 量化(关键:降低内存占用,M 系列芯片友好)
|
||
bnb_config = BitsAndBytesConfig(
|
||
load_in_4bit=True, # 启用 4-bit 量化
|
||
bnb_4bit_use_double_quant=True,
|
||
bnb_4bit_quant_type="nf4",
|
||
bnb_4bit_compute_dtype=torch.bfloat16
|
||
)
|
||
|
||
# 加载模型和分词器(替换为你的模型本地路径)
|
||
model_path = "/Users/你的用户名/Documents/models/Qwen3.5-9B-Instruct"
|
||
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
|
||
model = AutoModelForCausalLM.from_pretrained(
|
||
model_path,
|
||
trust_remote_code=True,
|
||
quantization_config=bnb_config, # 启用量化
|
||
device_map="auto", # 自动分配设备(M 芯片会用 Metal)
|
||
torch_dtype=torch.bfloat16
|
||
)
|
||
|
||
# 对话示例
|
||
prompt = "介绍一下大语言模型的核心原理"
|
||
messages = [{"role": "user", "content": prompt}]
|
||
text = tokenizer.apply_chat_template(
|
||
messages,
|
||
tokenize=False,
|
||
add_generation_prompt=True
|
||
)
|
||
model_inputs = tokenizer([text], return_tensors="pt").to('mps') # M 芯片用 mps,Intel 用 cpu
|
||
|
||
# 生成回答
|
||
generated_ids = model.generate(
|
||
model_inputs.input_ids,
|
||
max_new_tokens=512, # 最大生成长度
|
||
temperature=0.7 # 随机性
|
||
)
|
||
generated_ids = [
|
||
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
|
||
]
|
||
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
|
||
|
||
print("模型回答:")
|
||
print(response)
|
||
```
|
||
|
||
执行脚本:
|
||
|
||
```Bash
|
||
|
||
python run_qwen.py
|
||
```
|
||
|
||
---
|
||
|
||
### 总结
|
||
|
||
1. **新手首选 Ollama**:仅需 2 条命令即可完成安装和运行,自动处理量化,占用约 10GB 硬盘空间,对话体验流畅。
|
||
|
||
2. **手动部署适合开发**:需手动下载模型(18GB 原版/10GB 量化版)、配置环境,但可自定义量化策略、集成到代码中,灵活性更高。
|
||
|
||
3. 关键注意点:M 系列芯片(M1/M2/M3)运行 Qwen3.5-9B 效率远高于 Intel 芯片,建议至少 16GB 内存,4-bit 量化可大幅降低内存/显存占用。
|
||
> (注:文档部分内容可能由 AI 生成) |