Files
Obsidian/MyArticles/MacOS 上 Qwen3.5-9B 模型安装指南.md
T
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

200 lines
5.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# MacOS 上 Qwen3.5-9B 模型安装指南
你想要在 macOS 系统上安装并运行 Qwen3.5-9B 模型,我会为你提供两种最常用、最易上手的安装方式:**Ollama 一键部署(推荐新手)** 和 **Hugging Face 手动部署(灵活可控)**,你可以根据自己的需求选择。
### 前置条件
首先确认你的 Mac 满足基础要求:
- macOS 12.0+(推荐 macOS 13/14)
- 内存:至少 16GB(建议 32GB+,M 系列芯片(M1/M2/M3)体验最佳)
- 硬盘:预留至少 10GB(4-bit 量化版)或 20GB(原版)空间
---
## 方式一:Ollama 一键部署(推荐)
这是最简单的方式,Ollama 会自动处理模型下载、量化和运行,无需手动配置环境,适合新手快速体验。
### 步骤 1:安装 Ollama
1. 打开终端(Terminal),执行以下命令下载安装 Ollama:
```Bash
curl -fsSL https://ollama.com/install.sh | sh
```
2. 等待安装完成,验证是否安装成功:
```Bash
ollama --version
```
若输出版本号(如 `ollama version 0.1.48`),说明安装成功。
### 步骤 2:拉取并运行 Qwen3.5-9B
1. 执行以下命令拉取 Qwen3.5-9B 模型(默认是 4-bit 量化版,占用约 10GB 空间):
```Bash
ollama pull qwen3.5:9b
```
- 若需要指令微调版(更适合对话),执行:`ollama pull qwen3.5:9b-instruct`
- 若需要更大的上下文窗口(32k),执行:`ollama pull qwen3.5:9b-32k`
2. 运行模型并进入对话界面:
```Bash
ollama run qwen3.5:9b
```
3. 此时可以直接输入问题与模型对话,例如:
```Plain Text
>>> 介绍一下大语言模型
# 模型会返回对应的回答
```
4. 退出对话:输入 `/bye` 并回车。
---
## 方式二:Hugging Face 手动部署(灵活可控)
适合需要自定义模型参数、集成到代码中使用的场景,步骤稍复杂,但可灵活调整量化策略。
### 步骤 1:安装依赖环境
1. 安装 Python(推荐 3.10/3.11,macOS 自带的 Python 可能版本过低,建议用 conda 或 brew 安装):
```Bash
# 若未安装 brew,先执行:/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew install python@3.11
```
2. 安装必要的 Python 库:
```Bash
pip install torch transformers accelerate sentencepiece protobuf modelscope
# 若需要量化运行(减少内存占用),额外安装:
pip install bitsandbytes
```
### 步骤 2:下载 Qwen3.5-9B 模型
#### 方法 A:通过 ModelScope 下载(国内网络友好)
```Python
# 创建并运行以下 Python 脚本(命名为 download_qwen.py)
from modelscope.hub.snapshot_download import snapshot_download
# 下载 Qwen3.5-9B-Instruct 模型到本地指定目录
model_dir = snapshot_download(
'qwen/Qwen3.5-9B-Instruct',
cache_dir='/Users/你的用户名/Documents/models' # 替换为你的本地路径
)
print(f"模型下载完成,路径:{model_dir}")
```
执行脚本:
```Bash
python download_qwen.py
```
- 原版 FP16 模型约占用 18GB 空间,下载完成后会保存在指定的 `cache_dir` 下。
#### 方法 B:通过 Hugging Face 下载(需科学上网)
```Bash
# 安装 huggingface-hub 工具
pip install huggingface-hub
# 下载模型(替换为你的保存路径)
huggingface-cli download Qwen/Qwen3.5-9B-Instruct --local-dir /Users/你的用户名/Documents/models/Qwen3.5-9B-Instruct
```
### 步骤 3:运行模型进行对话
创建运行脚本(命名为 [run_qwen.py](run_qwen.py)),支持 4-bit 量化(减少内存占用):
```Python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
# 配置 4-bit 量化(关键:降低内存占用,M 系列芯片友好)
bnb_config = BitsAndBytesConfig(
load_in_4bit=True, # 启用 4-bit 量化
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16
)
# 加载模型和分词器(替换为你的模型本地路径)
model_path = "/Users/你的用户名/Documents/models/Qwen3.5-9B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_path,
trust_remote_code=True,
quantization_config=bnb_config, # 启用量化
device_map="auto", # 自动分配设备(M 芯片会用 Metal)
torch_dtype=torch.bfloat16
)
# 对话示例
prompt = "介绍一下大语言模型的核心原理"
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to('mps') # M 芯片用 mps,Intel 用 cpu
# 生成回答
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=512, # 最大生成长度
temperature=0.7 # 随机性
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print("模型回答:")
print(response)
```
执行脚本:
```Bash
python run_qwen.py
```
---
### 总结
1. **新手首选 Ollama**:仅需 2 条命令即可完成安装和运行,自动处理量化,占用约 10GB 硬盘空间,对话体验流畅。
2. **手动部署适合开发**:需手动下载模型(18GB 原版/10GB 量化版)、配置环境,但可自定义量化策略、集成到代码中,灵活性更高。
3. 关键注意点:M 系列芯片(M1/M2/M3)运行 Qwen3.5-9B 效率远高于 Intel 芯片,建议至少 16GB 内存,4-bit 量化可大幅降低内存/显存占用。
> (注:文档部分内容可能由 AI 生成)