核心内容摘要
4438x:解码中国数字浪潮的宏大叙事
这本书由浙江大å¦DAILYå®�验室毛ç�‰ä»�ã€�高云å�›æ•™æ�ˆç‰é¢†è¡”撰写是一本è�šç„¦äº�大è¯è¨€æ¨¡å�‹çŸ¥è¯†ä¼ æ�ˆçš„专业书ç±�。在Githubä¸Šæ˜Ÿæ ‡å·²ç»�超过11Kä¸�ç®¡ä½ æ˜¯æƒ³è¦�入门å¦ä¹ 大模å�‹ä»¥å��ä»�事大模å�‹æ–¹é�¢çš„å·¥ä½œè¿™æœ¬ä¹¦éƒ½èƒ½å¤Ÿå¸®åˆ°ä½ è¿™æœ¬ä¹¦è§£æ��了大模å�‹æ�¶æ�„çš„å�‘展阶段详述Encoder - only如BERT专注输入文本特å¾�æ��å�– ã€�Encoder - Decoder如T5ã€�BART适é…�åº�列到åº�列任务 ã€�Decoder-only如GPT系列借 “自å›�å½’â€� 生æˆ�文本 三类主æµ�æ�¶æ�„剖æ��其网络结æ�„ã€�è®ç»ƒæ–¹æ³•创新点也æ��å�Šé��Transformeræ�¶æ�„模å�‹å±•ç�°é¢†åŸŸç ”究多元生æ€�。我把这本书的PDF版本打包好了大家需è¦�çš„è¯�ç›´æ�¥æ‰«ç �æ·»åŠ æˆ‘çš„åŠ©æ‰‹è®©å¥¹æ— å�¿å�Šæ—¶åˆ†äº«ç»™å¤§å®¶è¿™æœ¬ä¹¦ä»�è¯è¨€æ¨¡å�‹å�‘展脉络切入梳ç�†å…¶ä»�规则模å�‹ã€�统计模å�‹åˆ°ç¥�ç»�网络模å�‹çš„è¿ä»£ã€‚比如基äº�统计方法的n - grams模å�‹å€Ÿç”±ç»Ÿè®¡è¯�åº�列频ç�‡é¢„测概ç�‡å�´å�— “零概ç�‡â€� 问题æ�£è‚˜åŸºäº�RNNçš„è¯è¨€æ¨¡å�‹å�¯ä¾�托å�†å�²è§„律预测未æ�¥ç„¶æ¢¯åº¦æ¶ˆå¤±ç‰ç¼ºé™·æ˜�显基äº�Transformer的模å�‹å‡å€Ÿæ³¨æ„�力机制高效处ç�†åº�列数æ�®æˆ�为当下主æµ�。å�Œæ—¶è¿˜ä»‹ç»�éš�æœºé‡‡æ ·æ–¹æ³•Top - Kã€�Top - P é‡‡æ ·å�ŠTemperature机制 å¢�åŠ ç”Ÿæˆ�å¤šæ ·æ€§ä»¥å�Šå›°æƒ‘度ç‰è¯„æµ‹æŒ‡æ ‡åŠ©åŠ›è¯»è€…ç�†è§£æ¨¡å�‹æ€§èƒ½ä¼˜åŠ£ã€‚è¿˜æ¶µç›–Prompt工程教读者编写有效指令借上下文å¦ä¹ ã€�æ€�ç»´é“¾ç‰æŠ€æœ¯è®©æ¨¡å�‹é€‚é…�下游任务规é�¿ä¼ 统微调高æˆ�本å�‚数高效微调è�šç„¦å�‚直领域应用以ä½�计算代价优化模å�‹æ¨¡å�‹ç¼–è¾‘æŠ€æœ¯ç²¾å‡†ä¿®æ£æ¨¡å�‹ç‰¹å®šçŸ¥è¯†è§£å†³çŸ¥è¯†æ›´æ–°éš¾é¢˜æ£€ç´¢å¢�强生æˆ�RAGæ•´å�ˆå¤–部知识库æ��å�‡ç”Ÿæˆ�文本的准确性ä¸�丰富性æ�„建 “模å�‹ 外部知识â€� å��å�Œæ¨¡å¼�。下é�¢æ˜¯è¿™æœ¬ä¹¦çš„部分内容展示