★ FEATURED ARTICLE 简介这份资源面向具备一定C语言基础、希望深入理解Linux多线程编程与并发模型的学习者提供一套可直接编译运行的简单线程池实现。包内共17个文件以10个C源文件为核心配合2个头文件、1个Makefile及若干Markdown说明文档压缩包仅6KB结构紧凑、便于快速通读。内容围绕线程创建与管理、互斥锁与条件变量同步、任务队列设计、线程池初始化与销毁流程展开并涉及动态调整线程数量等性能优化思路帮助读者掌握pthread系列接口在真实场景中的协作方式。已有146人学习适合作为课程实验、面试准备或系统编程练手的参考实现通过阅读与调试代码可加深对多线程资源管理与任务调度的理解。1. 线程池不是“线程多”就行从一份 Linux C 语言实现说起很多人第一次在 Linux 下写并发服务直觉就是“来一个连接就 pthread_create 一个线程”。压测一跑连接数一上来CPU 全耗在创建销毁线程上内存被线程栈吃掉系统调用 clone 频繁触发延迟抖动得像心电图。线程池要解决的就是这件事预先创建一批工作线程让它们阻塞在一个任务队列上主线程只管往队列里塞任务。这份“Linux 环境下 C 语言实现简单线程池”的方案核心就是 pthread 互斥锁 条件变量 任务队列这四件套代码量不大但把生产者-消费者模型、线程同步、优雅退出这几个关键点全串起来了。它适合谁适合已经会写基本 socket 服务、想搞明白并发框架底层怎么搭的 C 语言开发者也适合面试前想把线程池手写一遍的人。下面我按“能跑起来、能看懂、能改对”的顺序拆开讲。2. 线程池的骨架任务队列、工作线程与同步原语怎么搭2.1 为什么是“队列 条件变量”而不是忙等线程池的本质是一个生产者-消费者模型。主线程生产者把任务放进队列工作线程消费者从队列取任务执行。问题在于工作线程怎么知道队列里有活了最笨的办法是 while 循环不停查队列这叫忙等busy-waitCPU 空转一个线程就能吃满一个核。正确做法是用条件变量condition variable队列空的时候工作线程调用 pthread_cond_wait 挂起不占 CPU主线程放任务后调用 pthread_cond_signal 唤醒一个等待的线程。这里有个经典坑条件变量必须和互斥锁配合使用而且判断“队列是否为空”必须用 while 而不是 if。原因是 pthread_cond_wait 返回后线程重新拿到锁但从被唤醒到重新持锁之间队列状态可能已经被别的线程改了惊群或虚假唤醒。用 while 重新检查条件才能保证逻辑正确。这个细节在后面避坑章节还会展开。任务队列本身用链表或环形缓冲区都行。简单实现用带头结点的单链表每个节点存一个函数指针和参数指针。函数指针类型定义为void (*)(void *)这样任务可以携带任意参数通用性够用。2.2 结构体定义与初始化把线程池拆成三个部分先把数据结构定清楚后面代码才不会乱。线程池分三块任务节点、任务队列、线程池本体。#include pthread.h #include stdlib.h #include stdio.h #include unistd.h /* 任务节点函数指针 参数 */ typedef struct task_node { void (*func)(void *arg); /* 任务函数 */ void *arg; /* 任务参数 */ struct task_node *next; } task_node_t; /* 任务队列头尾指针 互斥锁 条件变量 关闭标志 */ typedef struct task_queue { task_node_t *head; task_node_t *tail; pthread_mutex_t mutex; pthread_cond_t cond; int shutdown; /* 0 运行1 关闭 */ } task_queue_t; /* 线程池线程数组 队列 线程数 */ typedef struct thread_pool { pthread_t *threads; int thread_count; task_queue_t queue; } thread_pool_t;逻辑说明task_node_t用链表串任务func和arg分开存调用时执行func(arg)。task_queue_t里的shutdown是退出信号工作线程在等待前会检查它。thread_pool_t持有线程 ID 数组方便后续 join。参数说明thread_count一般设成 CPU 核心数或核心数的 1~2 倍。纯 CPU 计算任务设成sysconf(_SC_NPROCESSORS_ONLN)即可如果任务里有阻塞 IO可以适当放大但别超过核心数太多否则上下文切换开销反而拖慢。初始化函数要做三件事初始化锁和条件变量、初始化队列头尾、创建线程。static void queue_init(task_queue_t *q) { q-head q-tail NULL; q-shutdown 0; pthread_mutex_init(q-mutex, NULL); pthread_cond_init(q-cond, NULL); } int thread_pool_init(thread_pool_t *pool, int thread_count) { if (thread_count 0) return -1; pool-thread_count thread_count; pool-threads malloc(sizeof(pthread_t) * thread_count); if (!pool-threads) return -1; queue_init(pool-queue); for (int i 0; i thread_count; i) { if (pthread_create(pool-threads[i], NULL, worker, pool) ! 0) { /* 创建失败要回收已创建的线程这里简化处理 */ return -1; } } return 0; }逻辑说明worker是工作线程入口函数参数传pool指针这样线程能访问队列。创建失败时理论上要回滚简单实现可以先返回错误生产代码里要补上已创建线程的唤醒和 join。参数说明pthread_create第二个参数传 NULL 用默认属性栈大小默认 8MBLinux 常见值。如果线程数很多比如几百个8MB 栈会吃掉大量虚拟内存可以用pthread_attr_setstacksize把栈调到 256KB 或 512KB但要注意任务里别开大数组。2.3 工作线程主循环等待、取任务、执行、再等待工作线程的代码是整个池子的心脏写错一个判断就会挂死或丢任务。static void *worker(void *arg) { thread_pool_t *pool (thread_pool_t *)arg; task_queue_t *q pool-queue; while (1) { pthread_mutex_lock(q-mutex); /* 用 while 而非 if防止虚假唤醒和状态被改 */ while (q-head NULL !q-shutdown) { pthread_cond_wait(q-cond, q-mutex); } /* 关闭且队列为空线程退出 */ if (q-shutdown q-head NULL) { pthread_mutex_unlock(q-mutex); pthread_exit(NULL); } /* 从队头取任务 */ task_node_t *node q-head; q-head node-next; if (q-head NULL) { q-tail NULL; } pthread_mutex_unlock(q-mutex); /* 执行任务注意此时不持锁 */ node-func(node-arg); free(node); } return NULL; }逻辑说明加锁后先 while 检查队列空且未关闭满足就 wait。被唤醒后重新检查如果关闭且队列空就退出。取任务时从队头摘节点摘完解锁再执行任务——执行任务期间绝不能持锁否则整个池子退化成串行。执行完 free 节点。参数说明pthread_cond_wait会自动释放锁并在返回时重新加锁所以调用前必须已经 lock。pthread_exit(NULL)让线程正常退出资源由 join 回收。2.4 投递任务与关闭生产者一侧怎么写主线程投递任务就是加锁、挂节点、发信号。int thread_pool_add(thread_pool_t *pool, void (*func)(void *), void *arg) { task_node_t *node malloc(sizeof(task_node_t)); if (!node) return -1; node-func func; node-arg arg; node-next NULL; task_queue_t *q pool-queue; pthread_mutex_lock(q-mutex); if (q-shutdown) { pthread_mutex_unlock(q-mutex); free(node); return -1; } if (q-tail NULL) { q-head q-tail node; } else { q-tail-next node; q-tail node; } pthread_cond_signal(q-cond); /* 唤醒一个等待线程 */ pthread_mutex_unlock(q-mutex); return 0; }逻辑说明先分配节点填好数据再加锁挂到队尾。如果池子已关闭就拒绝并释放节点。挂好后 signal 唤醒一个线程。用 signal 而不是 broadcast是因为一次只放一个任务唤醒一个就够broadcast 会造成惊群多个线程醒来抢锁又睡回去浪费。参数说明pthread_cond_signal在持锁时调用没问题但有些实现建议解锁后再 signal 以减少唤醒线程立刻阻塞在锁上的概率。简单实现持锁调用即可性能敏感场景可以调整。关闭函数要唤醒所有线程并 join。void thread_pool_destroy(thread_pool_t *pool) { task_queue_t *q pool-queue; pthread_mutex_lock(q-mutex); q-shutdown 1; pthread_cond_broadcast(q-cond); /* 唤醒全部线程 */ pthread_mutex_unlock(q-mutex); for (int i 0; i pool-thread_count; i) { pthread_join(pool-threads[i], NULL); } /* 清理队列残留节点 */ task_node_t *p q-head; while (p) { task_node_t *next p-next; free(p); p next; } pthread_mutex_destroy(q-mutex); pthread_cond_destroy(q-cond); free(pool-threads); }逻辑说明置 shutdown 标志后 broadcast 唤醒所有 wait 的线程它们醒来发现关闭且队列空就退出。主线程逐个 join 等它们结束再清理队列里可能残留的节点关闭前没执行完的任务最后销毁锁和条件变量。参数说明pthread_join会阻塞直到目标线程退出所以顺序必须是先 broadcast 再 join否则线程还在 waitjoin 永远不返回。3. 编译、压测与验证让线程池真的跑起来3.1 编译命令与链接选项Linux 下用 gcc 编译必须链接 pthread 库。gcc -o pool_test pool.c -lpthread -O2 -Wall -g逻辑说明-lpthread链接线程库现代 glibc 里 pthread 已并入 libc但显式写更保险。-O2开优化-Wall打开警告能提前发现类型问题-g保留调试符号方便 gdb。参数说明如果用到pthread_condattr等高级特性可能需要-D_GNU_SOURCE。纯基础接口不需要。3.2 写一个能看出问题的测试任务测试任务要能暴露并发问题别只打印 hello。用一个带共享计数器和随机睡眠的任务。static int g_counter 0; static pthread_mutex_t g_counter_lock PTHREAD_MUTEX_INITIALIZER; void test_task(void *arg) { int id *(int *)arg; /* 模拟计算累加共享计数器 */ pthread_mutex_lock(g_counter_lock); g_counter; pthread_mutex_unlock(g_counter_lock); /* 模拟 IO 或计算耗时 */ usleep((id % 10) * 1000); printf(task %d done, counter%d\n, id, g_counter); free(arg); } int main(void) { thread_pool_t pool; if (thread_pool_init(pool, 4) ! 0) { fprintf(stderr, pool init failed\n); return 1; } for (int i 0; i 100; i) { int *id malloc(sizeof(int)); *id i; thread_pool_add(pool, test_task, id); } sleep(2); /* 等任务跑完实际项目用条件变量或计数等待 */ thread_pool_destroy(pool); printf(final counter%d\n, g_counter); return 0; }逻辑说明投 100 个任务每个任务对全局计数器加一。如果线程池同步正确最终 counter 应该等于 100。如果出现丢任务或重复执行counter 会不对。usleep模拟任务耗时让多个线程有机会交错执行。参数说明thread_pool_init的线程数设 4任务数 100比例 25:1能充分测试队列调度。sleep(2)是偷懒的等待方式生产代码应该用一个完成计数器加条件变量来精确等待所有任务结束。3.3 用 helgrind 和 gdb 验证同步正确性光看输出不够要用工具查数据竞争。valgrind 的 helgrind 工具能检测锁使用错误和竞争。valgrind --toolhelgrind ./pool_test逻辑说明helgrind 会报告潜在的数据竞争、锁顺序问题、条件变量误用。如果输出里出现 “Possible data race”就要回去检查是不是有共享变量没加锁。参数说明helgrind 会显著拖慢程序测试时把任务数调小比如 20 个否则跑很久。另外可以用--history-levelfull获得更详细的调用栈。如果程序挂死用 gdb attach 上去看所有线程的栈。gdb -p $(pgrep pool_test) (gdb) thread apply all bt逻辑说明thread apply all bt打印所有线程的调用栈。如果工作线程都停在pthread_cond_wait说明队列空了在正常等待如果停在pthread_mutex_lock可能是死锁要检查是否有嵌套加锁或忘记解锁。参数说明attach 需要权限普通用户只能 attach 自己的进程。容器里可能要先--cap-addSYS_PTRACE。4. 避坑与排查线程池写挂的五个血泪现场4.1 现象程序偶尔卡死gdb 显示线程全在等锁原因最常见的是在持锁状态下执行了任务函数而任务函数里又去投递新任务或访问队列造成自死锁。另一个可能是pthread_cond_wait用了if判断虚假唤醒后队列已空却继续取任务取到 NULL 解引用崩溃或逻辑错乱。解决严格执行“取任务时持锁执行任务时不持锁”。条件判断一律用 while。代码 review 时专门检查pthread_mutex_lock和unlock是否成对中间有没有 return 或 break 跳过 unlock。4.2 现象关闭线程池时 join 卡住不返回原因thread_pool_destroy里先 join 后 broadcast或者 broadcast 时没持锁导致信号丢失。工作线程还在 waitjoin 永远等不到。解决顺序必须是加锁、置 shutdown、broadcast、解锁、再 join。broadcast 必须在持锁时发否则可能在工作线程检查完条件但还没进入 wait 的窗口期发信号信号丢失线程永远睡下去。4.3 现象任务执行顺序混乱甚至同一个任务被执行两次原因队列节点摘除逻辑写错比如摘头节点后没更新 head或者 tail 指针没在队列空时置 NULL导致后续挂节点挂到已释放的内存上。解决摘节点时严格判断q-head node-next; if (q-head NULL) q-tail NULL;。每次 free 节点前确认没有其他指针还引用它。用 helgrind 跑一遍能发现大部分内存和竞争问题。4.4 现象线程数设成 100程序启动就报资源不足原因每个线程默认栈 8MB100 个线程就是 800MB 虚拟内存。虽然虚拟内存不等于物理内存但某些系统限制或容器配额会直接拒绝创建。解决用pthread_attr_setstacksize把栈调到 256KB 或 512KB。注意任务函数里别开大局部数组否则栈溢出。线程数不是越多越好CPU 密集任务设成核心数IO 密集任务可以到核心数的 2~4 倍再往上收益递减。4.5 现象压测时 CPU 占用不高但吞吐上不去原因锁竞争太激烈。所有线程抢同一把队列锁任务又很短大部分时间花在抢锁上。或者用了 broadcast 导致惊群每次放任务唤醒所有线程它们抢锁后只有一个能拿到任务其余回去睡上下文切换开销巨大。解决单队列单锁在任务极短、线程多的时候确实是瓶颈。可以改成多队列加哈希分片每个线程绑一个队列减少竞争。简单场景下把pthread_cond_signal用对一次任务唤醒一个线程避免 broadcast就能缓解不少。另外任务粒度别太细几个小操作合并成一个任务投递。5. 从能跑到好用给线程池加动态扩缩容和任务优先级基础版跑通后下一步通常是让它更实用。我一般会先加两个东西动态扩缩容和任务优先级。动态扩缩容的思路是维护一个“忙碌线程数”和“空闲线程数”的统计当队列积压超过阈值且空闲线程为 0 时创建新线程当空闲线程过多且持续一段时间让多余线程退出。实现上可以用一个管理线程定期检查或者每次投递任务时判断。注意扩缩容本身也要加锁别把管理逻辑写进工作线程的主循环里否则容易和退出逻辑打架。任务优先级用多个队列实现比如高、中、低三个链表工作线程按优先级从高到低取。这里有个坑低优先级任务可能饿死。常见做法是给每个优先级设权重或者用老化机制等太久就提升优先级。简单场景下两个队列加一个计数器轮转就够了。验证扩缩容是否生效可以写一个测试先投 10 个慢任务观察线程数是否增长再等一段时间观察线程数是否回落。用top -H -p pid看线程数变化或者在线程池里加日志打印当前线程数。注意日志本身要加锁否则输出会交错。最后说个我自己的习惯每次改完线程池先跑 helgrind再跑一个 10 万任务的压测最后用 gdb 在 destroy 处断点确认所有线程都正常退出。线程池这东西写对一次不难难的是改一处不崩别处。把同步原语的配对关系刻在脑子里比背任何框架都管用。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
