核心内容摘要
91动漫：不止于二次元，更是探索无限可能的奇幻之门
malloc 在多线程下为什么慢——从原理到实测摘要在高并发或频繁分配的场景下程序性能经常被malloc/free吃掉。
本文带你从零开始理解malloc在多线程下的主要性能问题arena 锁竞争、缓存一致性、上下文切换、元数据与碎片等并通过多段可运行的 C 代码演示对比malloc与简易内存池的行为与性能差异。
为什么要关心malloc很多初学者以为malloc就是“随手分配一个内存块”但在真实工程服务器、并行计算、嵌入式高频分配中malloc会成为性能瓶颈的常见来源。
它慢的原因不是单一的既有算法数据结构上的开销也有多线程并发时的同步与缓存一致性问题严重时会导致延迟抖动和吞吐下降。
关键概念Arena分配区实现上例如 glibc 的 ptmalloc会把堆划分为若干个 arena。
每个 arena 管理若干空闲链表、元数据等。
多线程分配时线程有可能争用同一个 arena从而触发锁竞争。
Cache line bouncing缓存行抖动CPU 缓存是按 cache line通常 64 字节管理的。
多个核心频繁写同一条共享元数据会造成缓存行在核心间来回迁移极大增加延迟即便不显式加锁也会慢。
上下文切换当线程在等待锁时被挂起操作系统会调度其他线程运行。
保存/恢复寄存器、切换栈和虚拟内存上下文等开销都是真实的成本。
元数据metadata开销malloc为每个 chunk 保存 size / flags / prev_size 等信息导致小请求的额外空间与访问开销。
比如申请 64 字节可能实际占用 80 字节。
碎片fragmentation管理为减少内存浪费/重用性能分配器会合并/拆分 chunk这些操作也会消耗 CPU、并影响缓存局部性。
系统调用brk / mmap小块通常通过堆brk/sbrk管理偶尔扩堆大块通常直接通过mmap申请虚拟内存这些系统调用都有明显延迟mmap通常是微秒级。
实验一触发小块 / 大块分配观察系统调用代码保存为/tmp/frequent_malloc.c#includestdlib.hintmain(){// 小块触发 brkfor(inti0;i100;i)malloc(
;// 大块触发 mmapfor(inti0;i10;i)malloc(200*
;return0;}编译gcc /tmp/frequent_malloc.c -o /tmp/frequent_malloc观察建议在 Linux 下运行用strace分别统计brk和mmapstrace-e brk -c /tmp/frequent_mallocstrace-e mmap -c /tmp/frequent_malloc解读你将发现小块分配主要由brk管理堆增长而大块大量触发mmap。
mmap的系统调用延迟在微秒级频繁使用会显著影响延迟。
实验二多线程对比 ——mallocvs 每线程内存池下面代码展示一个多线程场景比较4 个线程每线程大量分配/释放 64 字节。
第一个版本用malloc/free会有内置 allocator 的锁竞争第二个用每线程私有的内存池无锁竞争。
代码整合保存为multi_thread_test.c#includestdio.h#includestdlib.h#includepthread.h#includetime.h#defineTHREADS4#definePER_THREAD250000// malloc方式 - 有锁竞争void*thread_malloc(void*arg){for(inti0;iPER_THREAD;i){void*ptrmalloc(
;free(ptr);}returnNULL;}// 内存池方式 - 每线程独立池无竞争typedefstruct{charpool[64*1000];}ThreadPool;void*thread_pool(void*arg){ThreadPool*pool(ThreadPool*)arg;for(inti0;iPER_THREAD;i){char*ptrpool-pool[(i%
*64];// 使用 ptr 做一些工作这里为了更接近真实场景实际可以写入*ptr1;}returnNULL;}intmain(){pthread_tthreads[THREADS];structtimespecstart,end;printf( 多线程场景下的malloc瓶颈 \n\n);printf(测试: %d个线程每个分配/释放 %d 次\n\n,THREADS,PER_THREAD);// 测试mallocclock_gettime(CLOCK_MONOTONIC,start);for(inti0;iTHREADS;i){pthread_create(threads[i],NULL,thread_malloc,NULL);}for(inti0;iTHREADS;i){pthread_join(threads[i],NULL);}clock_gettime(CLOCK_MONOTONIC,end);doublemalloc_time(end.tv_sec-start.tv_sec)(end.tv_nsec-start.tv_nsec)/1e9;// 测试内存池ThreadPool pools[THREADS];clock_gettime(CLOCK_MONOTONIC,start);for(inti0;iTHREADS;i){pthread_create(threads[i],NULL,thread_pool,pools[i]);}for(inti0;iTHREADS;i){pthread_join(threads[i],NULL);}clock_gettime(CLOCK_MONOTONIC,end);doublepool_time(end.tv_sec-start.tv_sec)(end.tv_nsec-start.tv_nsec)/1e9;printf(malloc方式: %.6f 秒\n,malloc_time);printf(内存池方式: %.6f 秒\n,pool_time);printf(\n性能提升: %.1f倍\n\n,malloc_time/pool_time);printf(malloc在多线程的问题:\n);printf(
Arena锁竞争 - 多线程抢同一个arena\n);printf(
Cache一致性开销 - 不同CPU核心间同步\n);printf(
上下文切换 - 等锁时CPU调度\n);return0;}编译与运行gcc multi_thread_test.c -o multi_thread_test -lpthread ./multi_thread_test说明与预期在多数平台glibc 默认 allocator下malloc版本会比简单的 per-thread pool 慢很多实际倍数因 CPU/内存/NUMA 拓扑而异。
pool版本避免系统 allocator 的锁与元数据访问展示了“去中心化”在并发场景的优势。
实验三元数据开销可视化 访问模式对比本节通过两个小程序演示不同大小的malloc实际占用通过地址差估计元数据开销离散分配malloc 的常见结果与连续内存pool访问模式对缓存局部性的影响代码保存为overhead_and_pattern.c#includestdio.h#includestdlib.h#includetime.hvoidvisualize_malloc_overhead(){printf( malloc元数据开销可视化 \n\n);// 分配不同大小看实际占用size_tsizes[]{16,32,64,128,256};for(inti0;i5;i){void*p1malloc(sizes[i]);void*p2malloc(sizes[i]);// 计算地址差来推测实际占用size_tactual(char*)p2-(char*)p1;size_toverheadactual-sizes[i];printf(malloc(%3zu) 字节:\n,sizes[i]);printf( 实际占用: %zu 字节\n,actual);printf( 元数据开销: %zu 字节 (%.1f%%)\n,overhead,overhead*
1
0/sizes[i]);printf(\n);free(p
;free(p
;}}voidcompare_access_pattern(){printf( 内存访问模式对比 \n\n);#defineN10000structtimespecstart,end;// malloc方式离散分配void*ptrs[N];clock_gettime(CLOCK_MONOTONIC,start);for(inti0;iN;i){ptrs[i]malloc(
;}// 访问所有内存for(inti0;iN;i){*(char*)ptrs[i]1;}clock_gettime(CLOCK_MONOTONIC,end);doublemalloc_access(end.tv_sec-start.tv_sec)(end.tv_nsec-start.tv_nsec)/1e9;for(inti0;iN;i){free(ptrs[i]);}// 内存池方式连续内存char*poolmalloc(64*N);clock_gettime(CLOCK_MONOTONIC,start);for(inti0;iN;i){pool[i*64]1;}clock_gettime(CLOCK_MONOTONIC,end);doublepool_access(end.tv_sec-start.tv_sec)(end.tv_nsec-start.tv_nsec)/1e9;free(pool);printf(访问 %d 个64字节块:\n,N);printf(malloc方式 (离散): %.6f 秒\n,malloc_access);printf(内存池方式 (连续): %.6f 秒\n,pool_access);printf(速度提升: %.1f倍\n\n,malloc_access/pool_access);}intmain(){visualize_malloc_overhead();printf(\n);compare_access_pattern();return0;}说明
分通过相邻malloc地址差估算“实际占用”展示元数据和对齐带来的额外成本。
分对比访问离散分配散列到各处与连续内存池内顺序对缓存命中率与访问速度的影响。
通常连续内存会更快很多。
实验四大量高频分配单线程对比这段测试演示在单线程下malloc/free与一个非常简单的内存池的速度对比用大量迭代放大差异。
代码保存为single_thread_benchmark.c#includestdio.h#includestdlib.h#includetime.h#includestring.h#defineITERATIONS1000000// 测试1: 频繁malloc/freedoubletest_malloc_free(){structtimespecstart,end;clock_gettime(CLOCK_MONOTONIC,start);for(inti0;iITERATIONS;i){void*ptrmalloc(
;free(ptr);}clock_gettime(CLOCK_MONOTONIC,end);return(end.tv_sec-start.tv_sec)(end.tv_nsec-start.tv_nsec)/1e9;}// 测试2: 简单内存池typedefstruct{charpool[64*1000];intnext;}SimplePool;doubletest_memory_pool(){SimplePool pool;pool.next0;structtimespecstart,end;clock_gettime(CLOCK_MONOTONIC,start);for(inti0;iITERATIONS;i){// 从池中分配char*ptrpool.pool[(i%
*64];// 池子不需要free(void)ptr;}clock_gettime(CLOCK_MONOTONIC,end);return(end.tv_sec-start.tv_sec)(end.tv_nsec-start.tv_nsec)/1e9;}intmain(){printf( malloc性能瓶颈演示 \n\n);printf(测试场景: %d次 64字节的分配/释放\n\n,ITERATIONS);// 预热for(inti0;i1000;i){void*pmalloc(
;free(p);}doublemalloc_timetest_malloc_free();doublepool_timetest_memory_pool();printf(malloc/free方式: %.6f 秒 (%.2f ns/次)\n,malloc_time,malloc_time*1e9/ITERATIONS);printf(内存池方式: %.6f 秒 (%.2f ns/次)\n,pool_time,pool_time*1e9/ITERATIONS);printf(\n性能提升: %.1f倍\n,malloc_time/pool_time);printf(\nmalloc慢的原因:\n);printf(
每次都要搜索合适的内存块\n);printf(
需要维护复杂的元数据\n);printf(
多线程需要加锁\n);printf(
内存碎片化管理开销\n);return0;}说明单线程下malloc仍然承担搜索、维护元数据和合并/拆分等成本内存池通过预分配和简单索引基本消除了这些开销所以通常快很多。
结论与工程建议
总结简短malloc慢并非偶发而是设计使然它要通用、安全并处理碎片所以成本天然不低。
在多线程场景最主要的开销来自锁竞争、缓存一致性和上下文切换。
对于高频小分配场景工程上常用**每线程缓存 / 内存池 / slab / arena 优化的 allocatorjemalloc、tcmalloc、mimalloc**来替代或辅助标准malloc。
工程实践建议先量化再优化用perf、heaptrack、valgrind massif、strace、gperftools等工具定位问题是 syscalls 还是锁竞争。
选择成熟替代器jemalloc/tcmalloc/mimalloc都有良好并发表现per-thread caching / multiple arenas。
先尝试替换再自己造轮子。
按需自建内存池对特定对象固定大小可实现更简单高效的对象池 / slab。
优先考虑 per-thread 或 per-core 池避免跨线程竞争。
避免频繁申请小对象批量分配、对象复用、内存池等策略能显著降低开销。
关注 NUMA在 NUMA 系统上本地内存分配策略local_node很重要否则跨节点访问会大幅降低性能。