核心内容摘要
www.17c.com.gov.cn无法访问
Pandas 数据聚合分组统计与聚合函数应用咱们已经并肩走过了 14 天。
如果说前几天的筛选和清洗是在做“扫除”那么今天第 15 天的数据聚合Aggregation就是在做“炼金”。
在架构师眼中原始数据就像是散落在 电科金仓 KingbaseES (KES) 里的散碎银两虽然有价值但不够壮观。
只有通过聚合把它们按维度比如地区、时间、行为类型揉碎了再重组你才能看到隐藏在数字背后的业务趋势和群体特征。
这就是 AI 特征工程里最核心的一环。
壹聚合的真谛——“拆分-应用-组合”Pandas 的聚合逻辑遵循经典的Split-Apply-Combine模型。
Split拆分根据某个键Key把数据切成一堆小方块。
Apply应用对每个小方块算个平均值、最大值或者是你自己定义的算法。
Combine组合把结果重新拼成一张漂亮的报表。
这其实和咱们搞分布式架构里的MapReduce异曲同工。
你要是能理解分布式计算的原理玩转 Pandas 的groupby简直就是降维打击。
贰实战Conda 环境里的“数林聚义”咱们在KES_AI_Lab环境里正式开搞。
如果你在导入数据时卡住了先确认你的驱动ksycopg2是不是在官方下载页面拿到的最新版。
.mean(), showing a clean output of average scores by region]叁核心代码从 KES 业务表到特征画像假设我们在 电科金仓 KES 存了一张用户消费表我们需要统计每个地区用户的平均消费、最高频率以及活跃度的波动。
# -*- coding: utf-8 -*-importksycopg2importpandasaspdimportnumpyasnpdefaggregation_lab_kes():print(--- [电科金仓] 维度聚合与特征衍生实战 ---)conn_paramsdbnametest userusername password123456 host
127.
0.
1 port54321try:connksycopg
connect(conn_params)#
抽取业务数据 (用户ID, 业务标签, 数值指标)querySELECT num as user_id, vcb as region, bcb as category FROM test_newtypedfpd.read_sql(query,conn)# 模拟一些消费数据和活跃时长这在 AI 模型中是极佳的连续型特征df[spend]np.random.uniform(10,1000,sizelen(df))df[active_hours]np.random.randint(1,24,sizelen(df))# --- 技巧 1基础聚合 (单一维度的统计) ---# 统计每个地区的平均消费region_meandf.groupby(region)[spend].mean()print(\n[地区消费均值]:)print(region_mean)# --- 技巧 2多函数聚合 (一次性搞定多个指标) ---# 这是架构师最常用的因为效率最高agg_resultdf.groupby(region).agg({spend:[mean,max],active_hours:sum,user_id:count# 相当于 SQL 的 COUNT(*)})# 重命名列名让它更有“人味儿”agg_result.columns[平均消费,最高消费,总活跃时长,用户总数]print(\n[多维度聚合报表]:)print(agg_result)# --- 技巧 3自定义聚合 (处理复杂的业务逻辑) ---# 比如我们想看每个地区消费最高的差值 (Range)defrange_func(x):returnx.max()-x.min()custom_aggdf.groupby(category)[spend].apply(range_func)print(\n[自定义业务逻辑 - 消费极差]:)print(custom_agg)conn.close()returnagg_resultexceptExceptionase:print(f聚合计算过程中链路抖动:{e})if__name____main__:aggregation_lab_kes()肆架构师的碎碎念聚合中的“分寸感”在深耕 AI 的这些年我见过太多把groupby玩坏的案例。
有人喜欢把所有的维度都揉在一起做一个巨大的透视表结果导致内存直接原地爆炸。
从人文的角度看聚合其实是一种**“舍得”**。
为了看到整体的趋势你必须舍弃掉个体数据的琐碎。
一个优秀的架构师知道什么时候该保留细节微服务、单行记录什么时候该抽象
总结聚合报表、全局画像。
我们在使用 电科金仓 KES 时有些统计可以在数据库端通过GROUP BY完成利用索引加速而有些涉及到复杂非线性变换的则适合放在 Pandas 里。
这种**“算力分配”的艺术**才是资深架构师的真功夫。
结语今天咱们学会了怎么把散沙聚成塔。
但数据不仅仅有横向的类别还有纵向的时间。
既然聊到聚合需要我帮你写一个基于“时间窗口”的滚动聚合Rolling Window Aggregation脚本吗这在处理 KES 里的实时金融交易或设备监控数据时是标配。