核心内容摘要
BilibiliUploader：解放创作者的B站视频批量上传工具
Hugging Face全面指南从安装到实战调用轻松上手NLP与CV模型【大模型进阶】视频课程2 LORA微调原理深度解析与LLaMA Factory实操指南视频课程介绍
Hugging Face是什么
Hugging Face环境安装
Hugging Face模型实战调用
Hugging Face进阶用法提示
五、
总结视频课程介绍我把课程核心内容做成视频视频内容更丰富哦链接如下视频链接: 一节课吃透Hugging FaceHugging Face全面指南从安装到实战调用轻松上手NLP与CV模型
Hugging Face是什么Hugging Face简称“抱抱脸”是当前AI领域最热门的开源社区与工具集之一核心定位是“让AI技术民主化”。
它不仅拥有全球最大的开源预训练模型仓库Model Hub涵盖NLP、计算机视觉CV、语音、多模态等领域的数万款模型如BERT、GPT、Stable Diffusion、ViT等还提供了简洁易用的Python库Transformers、Datasets、Accelerate等让开发者无需从零训练模型只需几行代码即可实现复杂的AI任务。
无论是科研人员快速验证想法还是工程师落地AI项目Hugging Face都能大幅降低开发成本。
其核心优势包括丰富的预训练模型覆盖中英文等多语言支持分类、生成、翻译、目标检测等各类任务可直接调用或微调。
极简的API设计Transformers库统一了不同模型的调用接口上手成本低切换模型无需大幅修改代码。
完善的生态工具配套Datasets数据集处理、Evaluate模型评估、Accelerate分布式训练等库形成全流程开发闭环。
活跃的社区支持全球开发者贡献模型、教程和解决方案问题可快速在社区获得响应。
Hugging Face环境安装Hugging Face核心库支持Python
8版本推荐使用Anaconda创建虚拟环境避免依赖冲突。
以下是完整安装步骤
1 创建并激活虚拟环境可选但推荐# 创建虚拟环境名称可自定义如huggingface-env conda create -n huggingface-env python
10 -y # 激活虚拟环境Windows conda activate huggingface-env # 激活虚拟环境Mac/Linux source activate huggingface-env
2 安装核心库Hugging Face的核心库是transformers同时根据任务需求可安装配套库# 安装基础版transformers仅支持CPU pip install transformers # 安装完整版含NLP/CV/语音依赖推荐 pip install transformers[all] # 安装配套工具库数据集、评估、加速训练 pip install datasets evaluate accelerate # 若需使用PyTorch后端默认推荐确保已安装PyTorch # 安装PyTorchCPU版GPU版需根据显卡型号调整参考PyTorch官网 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 若需使用TensorFlow后端安装对应依赖 pip install transformers[tf] tensorflow
3 验证安装是否成功安装完成后运行以下Python代码验证from transformers import pipeline # 加载情感分析管道默认使用bert-base-uncased-finetuned-sst-2-english模型 classifier pipeline(sentiment-analysis) # 测试文本 result classifier(I love Hugging Face! Its amazing.)[0] print(f情感标签{result[label]}置信度{result[score]:.4f}) 若输出类似“情感标签POSITIVE置信度
9998”则说明安装成功并可正常调用模型。
4 常见安装问题排查依赖冲突若提示某库版本不兼容可使用pip install --upgrade 库名更新对应库或降低冲突库版本。
GPU调用失败确保PyTorch/TensorFlow已安装GPU版本且CUDA版本与显卡适配可通过torch.cuda.is_available()验证GPU是否可用。
模型下载缓慢由于模型文件较大多为数百MB至数GB可配置国内镜像源如阿里云、清华镜像或手动下载模型文件后本地调用。
Hugging Face模型实战调用Hugging Face提供两种核心调用方式pipeline快速调用适合新手、快速验证和AutoClass手动调用适合自定义配置、微调模型。
以下以NLP和CV常见任务为例演示具体用法。
1 Pipeline快速调用极简方式pipeline封装了模型加载、预处理、推理全流程支持数十种任务一行代码即可实现功能。
3.
1 情感分析NLPfrom transformers import pipeline # 加载情感分析管道中文任务可指定中文模型 classifier pipeline(sentiment-analysis, modeluer/roberta-base-finetuned-chinanews-chinese) # 中文文本测试 texts [这个电影太精彩了推荐大家去看, 今天天气很差心情也不好。
] results classifier(texts) for text, result in zip(texts, results): print(f文本{text}) print(f情感标签{result[label]}置信度{result[score]:.4f}\n)
3.
2 文本生成NLP类似ChatGPT from transformers import pipeline # 加载文本生成管道中文模型示例uer/gpt2-chinese-cluecorpussmall generator pipeline(text-generation, modeluer/gpt2-chinese-cluecorpussmall) # 生成文本设置生成长度、温度等参数 result generator( 人工智能技术的发展前景, max_length50, # 生成文本最大长度 temperature
7, # 随机性
值越大越随机 top_p
9, # 采样阈值仅保留概率前90%的词汇 repetition_penalty
2 # 重复惩罚避免生成重复内容 )[0] print(生成文本, result[generated_text])
3.
3 图像分类CV from transformers import pipeline from PIL import Image # 加载图像分类管道默认使用vit-base-patch
模型 image_classifier pipeline(image-classification) # 加载本地图片替换为自己的图片路径 image Image.open(cat.jpg) # 分类预测 results image_classifier(image) for result in results[:3]: # 输出Top3预测结果 print(f类别{result[label]}置信度{result[score]:.4f})
2 AutoClass手动调用灵活方式 当需要自定义预处理逻辑、修改模型参数时可使用AutoTokenizer文本预处理和AutoModel模型加载手动调用步骤更清晰灵活性更高。
3.
1 中文文本分类手动调用示例 from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch #
加载预训练模型和Tokenizer需与任务匹配 model_name uer/roberta-base-finetuned-chinanews-chinese tokenizer AutoTokenizer.from_pretrained(model_name) # 文本预处理工具 model AutoModelForSequenceClassification.from_pretrained(model_name) # 分类模型 #
预处理文本分词、编码、生成输入张量 text 这个餐厅的菜品很美味服务也很周到。
inputs tokenizer( text, return_tensorspt, # 返回PyTorch张量 paddingTrue, # 填充至最大长度 truncationTrue, # 截断超过模型最大长度的文本 max_length128 # 模型最大输入长度 ) #
模型推理关闭梯度计算提高效率 model.eval() with torch.no_grad(): outputs model(**inputs) # 传入输入张量 logits outputs.logits # 模型输出的对数概率 preds torch.argmax(logits, dim
# 取概率最大的类别 #
解析结果 label_map {0: 负面, 1: 正面} # 需根据模型的标签映射调整 print(f文本{text}) print(f预测类别{label_map[preds.item()]})
3 模型下载与本地调用 若网络环境较差可手动从Hugging Face Model Hubhttps://huggingface.co/models下载模型文件含config.json、pytorch_model.bin等然后指定本地路径调用 from transformers import AutoTokenizer, AutoModelForSequenceClassification # 本地模型路径替换为实际下载的模型文件夹路径 local_model_path ./uer-roberta-base-chinanews tokenizer AutoTokenizer.from_pretrained(local_model_path) model AutoModelForSequenceClassification.from_pretrained(local_model_path) # 后续调用逻辑与手动调用一致...
Hugging Face进阶用法提示模型微调对于特定任务直接调用预训练模型效果可能有限可使用TrainerAPI或自定义训练循环微调模型提升任务适配性。
多模态模型调用支持Stable Diffusion文本生成图像、CLIP跨模态匹配等多模态模型调用方式与单模态模型类似需注意输入格式。
分布式训练使用Accelerate库可轻松实现多GPU、TPU分布式训练大幅缩短训练时间。
模型优化通过transformers内置的量化、剪枝工具如BitsAndBytesConfig可降低模型显存占用提高推理速度适配端侧部署。
五、
总结Hugging Face凭借其丰富的模型资源、极简的API设计和完善的生态已成为AI开发者的必备工具。
本文从安装配置到实战调用覆盖了Hugging Face的核心用法无论是新手入门还是项目落地都能快速上手。
后续可结合具体任务在Model Hub中选择合适的模型通过微调、优化等方式进一步提升模型效果。
快去Hugging Face探索海量模型解锁更多AI应用场景吧参考资料Hugging Face官方文档https://huggingface.co/docsHugging Face Model Hubhttps://huggingface.co/modelsTransformers库GitHubhttps://github.com/huggingface/transformers