核心内容摘要
舌尖上的奇遇：当“辶喿辶喿辶臿”邂逅“辶喿辶念”
注意本文是笔者在 Mac 上复现林泽毅的微调流程方便其他读者在本地实验整个执行在一个半小时Mac 配置Mac M1 Pro16G。
实验目标大模型指令微调Instruction Tuning是一种针对大型预训练语言模型的微调技术其核心目的是增强模型理解和执行特定指令的能力使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。
指令微调特别关注于提升模型在遵循指令方面的一致性和准确性从而拓宽模型在各种应用场景中的泛化能力和实用性。
在实际应用中指令微调更多把LLM看作一个更智能、更强大的传统NLP模型比如Bert来实现更高精度的文本预测任务。
所以这类任务的应用场景覆盖了以往NLP模型的场景甚至很多团队拿它来标注互联网数据。
实验数据本实验使用的是zh_cls_fudan-news(https://modelscope.cn/datasets/swift/zh_cls_fudan-news/files)数据集该数据集主要被用于训练文本分类模型。
zh_cls_fudan-news由几千条数据每条数据包含text、category、output三列text是训练语料内容是书籍或新闻的文本内容category是text的多个备选类型组成的列表output则是text唯一真实的类型。
示例数据{text: 【 文献号 】
\t【原文出处】学术研究\t【原刊地名】广州\t【原刊期号】199904\t【原刊页号】4749\t【分 类 号】F13\t【分 类 名】社会主义经济理论与实践\t【复印期号】199906\t【 标 题 】充分认识我国现阶段私营经济的特殊性\t【 作 者 】张振宇\t【作者简介】中共广东省委政策研究室广东 广州 510080\t【 正 文 】\t〔中图分类号〕F121・23 〔文献标识码〕A 〔文章编号〕1000―7326199904―0047―03一我们对社会主义条件下的私营经济的性质、特点、地位和作用的认识是逐步深化的。
因而对它的态度和政策经历了一个从彻底否定、到部分肯定、再到充分肯定的过程。
个体、私营经济作为一种政策性经济也经历了一个曲折发展的过程开始认为它是社会主义的异己力量从而需要被改造、被消灭到承认其是社会主义经济的有益补充允许存在但要加强监督管理做到兴利除弊直到党的“十五大”前后进一步承认其是社会主义市场经济的重要组成部分需要鼓励、引导并放手让其发展。
如果我们摒除“左”的思想影响着眼于社会主义初级阶段的实际不从书本概念或某些条条框框出发具体分析我国现阶段的政治、经济情况正确认识社会主义条件下私营经济的状况、性质、特点和作用就会对它获得真理性的认识和制订出正确的政策。
不可否认私营经济是私人占有生产资料通过私人资本、雇佣劳动而实现生产经营的经济。
但是这种私营经济是在我国改革开放年代涌现出来的。
它受到我国社会主义政治制度和经济制度的制约和影响受到国家对社会经济发展的宏观管理、调控和监督。
现阶段的私营经济是在建国后消灭了私人资本后又经过30多年的社会主义建设而重新发展起来的经济。
它既不同于我国50年代的民族资本更不同于当代世界的资本主义经济。
它是社会主义社会大环境里成长起来的一种新型的私营经济。
在企业主构成、资产性质、分配关系和主雇关系等方面与一般意义上的资本主义经济有着许多质的差别。
从他们的资本积累来看私营企业主原来都是社会主义的劳动者。
他们或是国家干部、职工或是教育、科技人员或是农村基层干部、企业管理人员或是农村专业大户。
他们乘改革开放的东风依靠国家政策利用自己的知识、技术和创业才能进行劳动积累从少到多、日积月累而使自己的资本和经营规模逐步扩大起来。
从雇工和主雇关系来看现阶段私营企业的雇工 同其它职工一样在政治上和经济上是独立的。
他们有自己的生产资料受雇的主要原因不是为了生存而是为了多挣收入学点技术、知识和经营本领为今后创业取得更多收入创造条件。
主雇之间在政治上是平等的、自由的。
被雇时被迫的成分少自愿的成分多。
从其利润分配情况看看了许多调查材料 发现目前私营企业主普遍地把企业盈利的绝大部分用之于扩大再生产使之成为社会财富的一部分那种进行大肆挥霍、高消费的现象很少。
其中许多人积极参加社会文化、公益、救灾等光彩事业。
因此我赞同这样一种看法现阶段作为与社会主义制度相联系的私营经济其资产具有私有和社会所有双重属性成为社会主义社会总资产的一个组成部分。
从企业主群体的构成来看如上所述 在改革开放中成长起来的私营企业主原来都是国家干部职工、教师、科技人员、农村基层组织和企业干部等。
这些人长期接受过社会主义教育有很高的爱国心、事业心。
其中许多人从事生产经营是希望以自己的知识、技术和才能干出一番事业为社会多作贡献。
这是我国社会生活中新生的一个社会群体。
其中不少人视自己的资本为社会共同财富。
有些人昨天是企业主今天就成了国家的职工或基层干部。
我在调查农村基层建设情况时在南海、番禺、高明等市就发现不少私营企业主被聘为农村党政基层组织的负责人。
他们用自己的才能、经验甚至资财迅速把当地的集体经济、两个文明建设搞起来成为受群众和领导欢迎和称赞的好干部。
二改革开放以来广东社会经济发展很快其中一个重要因素就是非公有制经济迅猛发展。
国民经济结构中非公有制经济比重迅速上升现在几乎与公有制经济平起平坐。
目前工商业仍是我国国民经济中最重要的领域也是非公有制经济发展的最主要的领域。
据省统计年鉴材料1997年全省工业总产值中公有制工业已下降到占
4
2其中国有工业只占
1
1而非公有制工业占到
5
8其它股份、联营经济占
1。
在全省社会商品零售额中公有制经济占
3
6 其中国有商业占
2
3非公有制经济占
4
4其它股份、联营经济占
1
8。
非公有制经济的发展改变了广东省经济的微观基础为社会经济的发展注入了巨大活力促进了国有经济的改革进程促进了市场竞争和市场机制的建立调动了各方发展社会经济的热情加强了全省的经济实力促成了广东社会经济发展进入黄金时期。
但是进一步剖析非公有制经济时就会了解到主要是外资和港澳台资占的比重大私营经济相对来说发展不快、不足。
仍以1997年的情况为例在非公有制工业产值中 外商和港澳台商投资的工业占了
4
4个体工业占
1
7私营工业只占
5简直微不足道。
在非公有制的社会商品零售额中主要是个体商业占
3
7私营商业只占
7。
这就说明通过20年的改革开放广东的私营经济虽有重大发展但增长速度不快与兄弟省市比尚有差距广东个体、私营户数已从前三年排全国第4位下降到现在的第8位私营经济年增长率为15也低于全国平均增长25的水平潜力仍未充分发挥出来。
因此今后应该重视做好这方面的工作把积极发展个体、私营经济作为广东社会经济增创新优势的重要内容之一来抓。
三当前需要进一步解放思想扫清思想障碍才能放手发展私营经济。
当前全党全国的工作中心是千方百计地迅速把经济搞上去邓小平同志指出社会主义的根本任务就是解放生产力发展生产力。
目前私营经济以其自身的潜力和条件其解放和发展生产力的作用是有目共睹的。
党的“十五大”提出非公有制经济是我国社会主义市场经济的重要组成部分以公有制经济为主体的多种所有制经济结构是我国社会主义初级阶段的一项基本经济制度。
发展个体、私营经济是增加生产投资充分利用资源吸纳就业人口增加物质产品增大出口创汇增强经济实力推动社会生产力发展的重要途径。
特别在当前进行国有企业改革大量干部职工下岗需要解决他们的就业出路和减轻国家负担之时强调和着力发展个体和私营经济更有其特殊重要的经济意义和政治意义。
实事求是地认识我国现阶段私营经济的历史进步性。
有人总是从消极方面、从社会主义的异己力量角度去看待私营经济。
他们害怕私人资本特别害怕私人资本的发展壮大。
他们没有认识到私营经济在我国社会主义初级阶段的历史进步性。
其实在社会主义社会这个大环境里只要私营企业的税后利润投资于再生产国家规定私营企业的税后利润用于发展生产的部分不得低于50而且对这部分免征个人所得税鼓励其发展生产。
只要私有资产在社会再生产过程中运行这种私有资本就成为社会资本。
这样法律意义上的所有权就会显得次要了私有的生产资料与公有的生产资料一样都在发展社会生产力都在为国家和社会创造财富共同构成了社会的经济基础。
从这个意义上说我国现阶段私营企业发展得多规模扩大吸纳社会劳动力越多创造社会的财富越多缴纳国家的财税越多对社会主义建设的贡献就越大。
应当承认 目前对我国发展私营经济的错误认识和政策上的歧视现象已在逐步减少但长期来形成的“一大二公”、“左”的观念和由此而来的对私营经济的社会偏见却不能低估并且在短时期内也难以消失。
由此引发的党政有关部门在制定和掌握政策、措施中对私营企业的“宁左勿右”、“宁紧勿松”现象仍在很大程度上制约着私营经济的发展。
表现在私营经济在经营范围、项目、信贷、融资、进出口等方面或是渠道不通或是通而不畅在法律保护、社会保障等方面与公有制经济“一视同仁”还相去甚远从而使许多个体工商户、私营企业至今在“挂靠”戴着“红帽子”而不肯取下。
因此要使私有经济能够放胆地、健康地发展人们的思想观念必须有一个新的升华。
要摒弃经济建设上的“唯成份论”。
要按社会主义市场经济的原则真正实现多种经济成份的共同发展做到公平竞争互相促进共同为发展社会主义社会的生产力而努力。
【责任编辑】谭湛明\t, category: [Electronics, Agriculture, Literature, Sports, Economy, Philosophy], output: Economy}开始实验注意笔者使用的是juypter notebookStep 1git clone https://github.com/Zeyi-Lin/LLM-Finetune.git# 安装相关依赖Step 2文本分类任务-数据集下载在huangjintao/zh_cls_fudan-news(https://modelscope.cn/datasets/swift/zh_cls_fudan-news/files)下载train.jsonl和test.jsonl到根目录下。
命名实体识别任务-数据集下载在qgyd2021/chinese_ner_sft(https://huggingface.co/datasets/qgyd2021/chinese_ner_sft/tree/main/data)下载ccfbdci.jsonl到根目录下。
Step 3cd notebook打开train_qwen
ipynb。
Step 4 - 数据集加载将train.jsonl和test.jsonl进行处理转换成new_train.jsonl和new_test.jsonl。
注意文件路径需要根据实际位置调整[代码]#
将train.jsonl和test.jsonl进行处理转换成new_train.jsonl和new_test.jsonlStep 5 - 下载/加载模型和tokenizerfrom modelscope import snapshot_download, AutoTokenizer输出Downloading Model from https://www.modelscope.cn to directory: ./qwen/Qwen2-
5B-InstructStep 6 - 预处理训练数据def process_func(example):输出ounter(lineStep 7 - 设置 LORA 参数from peft import LoraConfig, TaskType, get_peft_modelStep 8 - 训练args TrainingArguments(输出swanlab: Using SwanLab to track your experiments. Please refer to https://docs.swanlab.cn for more information.注意你需要预先在 swanlabhttps://swanlab.cn/ 上注册账号并获得 API Key。
并且在如下提示时输入swanlab: Paste an API key from your profile and hit enter, or press CTRL C to quit:Swanlab 上查看输出想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2026 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容
学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI
100本大模型方向电子书
26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC
实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
600套技术大会 PPT听行业大咖讲实战PPT 整理自
年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌
107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自
年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析
102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑
97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”
路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。
L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、
关键技术以及大模型应用场景。
L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。
L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。
L5阶段专题集丨特训篇 【录播课】