核心内容摘要
skii女性向编码081
在Mac上训练ChatTTS模型从环境配置到实战避坑指南把耳朵叫醒之前先让电脑把嗓子练好。
下面这份笔记记录了我把 ChatTTS 塞进 16 GB 的 MacBook Pro 里“练声”的全过程踩过的坑都标了红线能抄作业就抄别客气。
环境准备先给 Mac 选对“引擎”Mac 没有 CUDA但苹果把 Metal Performance ShadersMPS直接做到了 PyTorch 里等于白送一块“准 GPU”。
实测同样 10 k 步CPU 要 6 h 20 minMPS 只要 1 h 45 min差距肉眼可见。
用 Miniforge 装 Python
9省得和系统 Python 打架新建环境conda create -n chattts python
9 conda activate chattts装 PyTorch
13 的 MPS 版pip install torch torchvision torchaudio --extra-index-url \ https://download.pytorch.org/whl/mps验证 MPS 可用import torch print(torch.backends.mps.is_available()) # True 才能继续小贴士别用官方 pkg 安装 PythonRosetta 转译后会出现“非法指令”崩溃血泪教训。
数据预处理把“干声”切成“口粮”ChatTTS 默认要吃 22050 Hz、单通道、无静音的干净音频。
下面这段脚本一次完成重采样、切分、梅尔频谱提取并直接存成.pt省内存。
安装依赖pip install librosa
0.
2 soundfile numpy torch预处理脚本preprocess.pyimport os, librosa, soundfile as sf, torch, math from pathlib import Path SR 22_500 N_FFT 1024 HOP 256 N_MEL 80 SEG_LEN 16_000 # 约
7 s适配 16 GB 显存 def trim_and_split(wav_path, out_dir): y, _ librosa.load(wav_path, srSR, monoTrue) y, _ librosa.effects.trim(y, top_db
# 去头尾静音 n len(y) for i in range(0, n-SEG_LEN, SEG_LEN//
: # 50 % 重叠 seg y[i:iSEG_LEN] if len(seg) SEG_LEN: # 尾部补 0 seg librosa.util.fix_length(seg, SEG_LEN) mel librosa.feature.melspectrogram( yseg, srSR, n_fftN_FFT, hop_lengthHOP, n_melsN_MEL) logmel torch.tensor(librosa.power_to_db(mel)) fname Path(wav_path).stem f_{i}.pt torch.save(logmel, out_dir / fname) if __name__ __main__: out Path(data/mel) out.mkdir(exist_okTrue, parentsTrue) for wav in Path(wavs).rglob(*.wav): trim_and_split(wav, out)跑完会在data/mel里得到一堆.pt单条约
3 MB后续Dataset直接torch.load省掉现场算梅尔的耗时。
模型训练小内存也能“大口吃”ChatTTS 官方默认 batch32在 16 GB Mac 上直接 OOM。
思路两个缩小 batch 梯度累积。
自定义collate_fn把变长 mel 补齐到相同帧数def collate(batch): xs [b.t() for b in batch] lens [x.size(
for x in xs] max_len max(lens) padded [torch.cat([x, torch.zeros(max_len-x.size(
, x.size(
)]) for x in xs] return torch.stack(padded), torch.tensor(lens)训练脚本关键片段ACCUM 4 # 梯度累积步数 MICRO_BATCH 6 # 实际喂给 MPS 的批量 model ChatTTS().to(device) opt torch.optim.AdamW(model.parameters(), lr2e-
for epoch in range(EPOCHS): for i, (x, lens) in enumerate(loader): x x.to(device) loss model(x, lens) (loss / ACCUM).backward() # 先缩放梯度 if (i
% ACCUM 0: opt.step(); opt.zero_grad()实测 10 k 步CPU 训练6 h 20 min峰值内存
1
8 GBMPS 训练1 h 45 min峰值内存
1
1 GB梯度累积4 时等效 batch24Loss 收敛曲线与官方 32 基本持平。
性能优化把 M 系列芯片榨干苹果给 M1/M2 埋了俩彩蛋ANE神经网络引擎 统一内存。
PyTorch
13 起支持mps后端但 ANE 目前只跑苹果自家 CoreMLPyTorch 还够不着所以重点放在内存压缩和混合精度。
混合精度scaler torch.cuda.amp.GradScaler() # MPS 也认这 API with torch.autocast(device_typemps, dtypetorch.float
: loss model(x, lens) scaler.scale(loss).backward() scaler.step(opt); scaler.update()显存占用再降 18 %速度提 8 %实测无肉眼掉质。
统一内存“零拷贝”把num_workers0给DataLoader避免多进程把 tensor 复制到子进程pin_memoryFalse在 MPS 上反而更快。
动态帧长采样每 epoch 把SEG_LEN随机 ±10 %能让模型更鲁棒还顺带省 7 % 的 padding 开销。
避坑指南报错信息翻译机报错根因速效救心丸librosa.util.exceptions.ParameterError
10 版 librosa 把power_to_db默认 top_db 改了锁版本pip install librosa
0.
2RuntimeError: Invalid buffer sizeMPS 目前最大 tensor 2 GB把 batch 再砍一半或切分输入Killed: 9虚拟内存不足系统 OOM 杀进程关闭 Chrome加 8 GB swapsudo dd if/dev/zero of/swapfile bs1m count8192训练 loss 突然 NaN梯度累积忘记清零检查opt.zero_grad()位置
小结与可继续玩的三个开放题在 16 GB MacBook Pro 上把 ChatTTS 跑通不算轻松但把 batch、精度、内存三板斧玩顺后一小时出 demo 完全可行。
下面留三道思考题欢迎一起折腾如果苹果未来把 ANE 开放给 PyTorch你觉得哪些算子最适合 offload 到 ANE混合精度 梯度累积已经省 18 % 显存还有没有办法把模型本身再“瘦身”一半统一内存架构下训练时把音频 raw wav 直接mmap进内存能否进一步降低数据加载延迟把答案试出来记得回来告诉我一声我也继续抄作业。