gb14may13-XXXXXL：ä¸

模å�‹å¤�ç�°ç¿»è½¦çš„第一ç�°åœºä¸�是代ç �è€Œæ˜¯ä½ æ²¡ç®¡å¥½è®­ç»ƒæ•°æ�®è¯´å�¥æ��心çª�å­�的模å�‹ä¸�å�¯å¤�ç�°80% ä¸�是算法的问题90% ä¸�是框æ�¶çš„问题99% 都是数æ�®çš„é—®é¢˜ã€‚ä½ å�¯èƒ½æœ‰è¿‡è¿™ç§�ç»�å�†â€”—“我昨天刚训练的模å�‹æ•ˆæ�œè¿˜è¡Œä»Šå¤©å�Œæ ·ä»£ç �ã€�å�Œæ ·å�‚æ•°æ€�么就ä¸�对劲了â€�ä½ å¼€å§‹æ€€ç–‘äººç”Ÿæ€€ç–‘éš�机ç§�å­�怀疑 PyTorch甚至怀疑 GPU 昨晚是ä¸�是å�·å�·å�‘烧了。但很多时候真凶å�ªæœ‰ä¸€ä¸ªè®­ç»ƒæ•°æ�®æ‚„æ‚„å�˜äº†è€Œä½ 完全没æ„�识到。今天咱们就è�Šä¸€ä¸ªåœ¨å·¥ç¨‹é‡Œç‰¹åˆ«æœ´ç´ ã€�但å�ˆç»�常被忽视的东西训练数æ�®ç‰ˆæœ¬ç®¡ç�†åœ¨æ¨¡å�‹å�¯å¤�ç�°æ€§ä¸­çš„作用。一ã€�先把è¯�说æ˜�白什么å�«â€œæ¨¡å�‹å�¯å¤�ç�°â€�很多人一å�¬â€œå�¯å¤�ç�°â€�å°±æ�¡ä»¶å��射想到固定 random seed固定代ç �版本固定模å�‹å�‚数这些都对但都ä¸�å¤Ÿã€‚æˆ‘ç»™ä½ ä¸€ä¸ªå·¥ç¨‹å�‘的定义特别æ�¥åœ°æ°”模å�‹å�¯å¤�ç�° 在相å�Œçš„æ•°æ�®ç‰ˆæœ¬ 相å�Œä»£ç � 相å�Œç�¯å¢ƒä¸‹å¾—到统计一致的结æ�œæ³¨æ„�关键è¯�æ•°æ�®ç‰ˆæœ¬å¦‚æ�œæ•°æ�®ç‰ˆæœ¬ä¸�æ˜�ç¡®å��é�¢ä¸€åˆ‡â€œå¤�ç�°â€�讨论都是空中楼é˜�。二ã€�为什么“数æ�®ä¸�å�˜â€�是个幻觉很多团队嘴上都会说一å�¥è¯�“我们训练数æ�®æ˜¯ä¸€æ ·çš„。â€�但ç�°å®�是数æ�®æ¯�天在补数æ�®æ¸…æ´—è§„åˆ™åœ¨æ”¹æ ‡ç­¾åœ¨è¢«é‡�新修正特å¾�抽å�–逻辑悄悄å�‡çº§ç”šè‡³æœ€å¸¸è§�çš„SQL 没å�˜ä½†åº•å±‚表å�˜äº†ä¸¾ä¸ªçœŸå®�一点的例å­�。场景å¤�盘SELECT*FROMuser_behaviorWHEREdt

一个月å��ä½ å†�跑一é��SQL 一字ä¸�改但结æ�œä¸�ä¸€æ ·äº†å› ä¸ºuser_behavior是拉链表å�†å�²æ•°æ�®è¢«å›�刷延迟数æ�®è¡¥è¿›æ�¥äº†ä½ ä»¥ä¸ºä½ åœ¨å¤�ç�°æ¨¡å�‹å…¶å®�ä½ åœ¨è®­ç»ƒä¸€ä¸ªå…¨æ–°çš„ä¸–ç•Œè§‚ã€‚ä¸‰ã€�没有数æ�®ç‰ˆæœ¬æ¨¡å�‹å¤�ç�°å°±æ˜¯ç�„学我è§�过ä¸�少团队的数æ�®ç®¡ç�†ç�°çŠ¶æ˜¯è¿™æ ·çš„æ•°æ�®æ”¾åœ¨ HDFS / OSS / S3目录å��å�«train_data_latest代ç �里直æ�¥å†™æ­»è·¯å¾„这在å®�验åˆ�期问题ä¸�å¤§ä½†ä¸€æ—¦ä½ è¦�å›�溯一个月å‰�的模å�‹è¦�解释线上异常è¦�å�š A/B å›�滚è¦�给业务解释“为什么效æ�œå�˜äº†â€�ä½ ä¼šå�‘ç�°ä¸€å�¥è¯�都说ä¸�æ¸…æ¥šã€‚å› ä¸ºä½ è¿�“当时模å�‹å�ƒçš„是什么数æ�®â€�都ä¸�知é�“。四ã€�训练数æ�®ç‰ˆæœ¬ç®¡ç�†æœ¬è´¨åœ¨ç®¡ä»€ä¹ˆè¯´å¾—抽象点它管三件事数æ�®å†…容是什么数æ�®æ˜¯æ€�么æ�¥çš„这个数æ�®è¢«å“ªä¸ªæ¨¡å�‹ç”¨è¿‡è¯´å¾—直白点就是我能ä¸�能精确å›�答这个模å�‹ç”¨çš„是哪一版数æ�®äº”ã€�一个æ�¥åœ°æ°”çš„æ•°æ�®ç‰ˆæœ¬ç®¡ç�†æ–¹å¼�ä¸�用上æ�¥å°±æ��å¤�æ�‚别一上æ�¥å°±è¢«â€œæ•°æ�®æ²»ç�†â€�“血缘系统â€�“元数æ�®å¹³å�°â€�å�“ä½�。我一直跟团队说一å�¥è¯�先把 60 分的版本管ç�†å�šå¥½æ¯”空谈 100 分强。1ï¸�⃣ 用“ä¸�å�¯å�˜è·¯å¾„â€�管ç�†è®­ç»ƒæ•°æ�®æ ¸å¿ƒå�Ÿåˆ™å�ªæœ‰ä¸€å�¥è®­ç»ƒæ•°æ�®ä¸€æ—¦ç”Ÿæˆ�å°±ä¸�è¦�å†�改示例目录结æ�„/ml_data/ ├── user_ctr/ │ ├── v20250101/ │ │ ├── train.parquet │ │ └── schema.json │ ├── v20250108/ │ └── v20250115/æ¯�次数æ�®é‡�è·‘ 新版本ä¸�覆盖旧数æ�®ç‰ˆæœ¬å�·å�¯ä»¥æ˜¯æ—¥æœŸã€�hashã€�æµ�æ°´å�·2ï¸�⃣ 在代ç �里“显å¼�绑定â€�æ•°æ�®ç‰ˆæœ¬å�ƒä¸‡åˆ«å†�写这ç§�代ç �了DATA_PATH/ml_data/user_ctr/latest/ä½ è¿™æ˜¯åœ¨ç»™æœªæ�¥æŒ–å�‘。更好的方å¼�是DATA_VERSIONv20250108DATA_PATHf/ml_data/user_ctr/{DATA_VERSION}/train.parquet甚至å�¯ä»¥ä»�é…�ç½®æ–‡ä»¶æˆ–å‘½ä»¤è¡Œä¼ å…¥python train.py --data_version v20250108å…­ã€�用代ç �把“数æ�®ç‰ˆæœ¬â€�写进模å�‹çš„ DNA 里我个人特别æ�¨å´‡ä¸€ä»¶äº‹æ¨¡å�‹äº§ç‰©å¿…须能å��查训练数æ�®ç‰ˆæœ¬ä¸€ä¸ªç®€å�•ä½†å¾ˆæœ‰ç”¨çš„å�šæ³•importjsonfromdatetimeimportdatetime meta{model_name:ctr_xgb,data_version:v20250108,code_commit:a1b2c3d,train_time:datetime.now().isoformat()}withopen(model_meta.json,w)asf:json.dump(meta,f,indent

模å�‹ä¸Šçº¿ã€�å›�溯ã€�对比全é� 这个å°�æ–‡ä»¶æ•‘å‘½ã€‚ç­‰ä½ çº¿ä¸Šç‚¸é”…é‚£å¤©ä½ ä¼šæ„Ÿè°¢ç�°åœ¨è¿™ä¸ªçœ‹èµ·æ�¥â€œæœ‰ç‚¹å•°å—¦â€�的设计。七ã€�æ•°æ�®ç‰ˆæœ¬ç®¡ç�†å¯¹æ�’éšœçš„ä»·å€¼è¿œè¶…ä½ æƒ³è±¡æˆ‘äº²èº«è¸©è¿‡çš„ä¸€ä¸ªå�‘线上 CTR 模å�‹æ•ˆæ�œçª�然下é™�特å¾�ã€�代ç �ã€�å�‚数都没改最å��å�‘ç�°è®­ç»ƒé›†å�·å�·æ··å…¥äº†ä¸€æ‰¹å¼‚å¸¸æ ‡ç­¾å¦‚æ�œå½“时没有数æ�®ç‰ˆæœ¬ä½ å�ªèƒ½é� 猜é� 人肉比对é� “感觉å�¯èƒ½æ˜¯è¿™ä¸ªå�Ÿå› â€�但有了版本之å��快速对比 v20241201 vs v20250101精确定ä½�å¼‚å¸¸æ ·æœ¬æ�¥æº�å›�滚模å�‹ 修数æ�®ä¸€æ°”呵æˆ�工程效ç�‡å·®è·�真的ä¸�是一点点。八ã€�我的一点ç§�心观点说点ä¸�é‚£ä¹ˆâ€œæ ‡å‡†ç­”æ¡ˆâ€�的。在我看æ�¥æ•°æ�®ç‰ˆæœ¬ç®¡ç�†ä¸�是数æ�®å›¢é˜Ÿçš„专利而是算法工程师的自救工具。很多算法å�Œå­¦ä¸€å‡ºé—®é¢˜å°±è¯´â€œæ•°æ�®é‚£è¾¹ç»™çš„有问题â€�“上游表å�˜äº†â€�但如æ�œä½ è¿�自己训练用的数æ�®éƒ½æ²¡ç‰ˆæœ¬æ¦‚念说这è¯�å…¶å®�æŒºå¿ƒè™šçš„ã€‚ä½ ä¸�需è¦�一开始就æ�� DVCã€�LakeFSã€�Delta Lake å…¨å®¶æ¡¶ä½†ä½ è‡³å°‘è¦�å�šåˆ°æ•°æ�®å�¯å®šä½�版本å�¯å›�溯模å�‹å�¯è§£é‡Šè¿™æ˜¯å¯¹è‡ªå·±è´Ÿè´£ä¹Ÿæ˜¯å¯¹ä¸šåŠ¡è´Ÿè´£ã€‚ä¹�ã€�写在最å��如æ�œä½ å�ªè®°ä½�一å�¥è¯�我希望是这å�¥æ¨¡å�‹èƒ½ä¸�能å¤�ç�°ç¬¬ä¸€è´£ä»»äººä¸�是算法而是训练数æ�®ã€‚代ç �å�¯ä»¥ Git模å�‹å�¯ä»¥ Registry但没有数æ�®ç‰ˆæœ¬ä¸€åˆ‡å¤�ç�°éƒ½æ˜¯â€œè–›å®šè°”çš„å®�验â€�。

免费国产   拗女-免费国产   拗女应用