连续多位手写数字识别系统：OpenCV预处理+CRNN+PyQt5实战

简介本资源是一套面向本科毕业设计与深度学习课程实践的完整手写数字识别系统聚焦连续多位数字的端到端检测与识别任务适用于计算机视觉初学者及毕设开发者快速掌握YOLOv5目标检测与CNN分类联合应用。压缩包共1758个文件约130.22MB涵盖531张标注图像jpg、521份PASCAL VOC格式标注xml、520份标签/日志文本txt、48个Python核心脚本py、48个配置与模型定义文件yaml、pt、ui等以及训练评估曲线图、GUI界面资源和Docker部署支持。目前已有174人学习下载。读者可直接运行main.py启动PyQt5图形界面调整阈值参数实时测试配套提供人工标注的手写数字数据集、预训练模型、完整训练推理代码、requirements依赖清单及分步运行教程目录结构按数据/模型/源码/文档组织便于理解多阶段流程与工程化部署逻辑。1. 连续多位手写数字识别不是“单图单数”为什么毕设选它反而能避开90%的翻车现场你见过太多毕设项目写着“基于深度学习的手写数字识别”点开一看——MNIST上跑个CNN准确率99.2%GUI里拖一张图弹出一个数字然后戛然而止。这种项目答辩时老师一问“如果用户手写‘12345’连在一起、没空格、有倾斜、带涂改你怎么切怎么排序怎么抗粘连”当场哑火。而本标题里的连续多位手写数字识别系统核心难点根本不在“识别单个数字”而在端到端处理真实书写场景下的序列结构建模数字粘连、笔画断裂、行内左右顺序错乱、图像畸变、光照不均、背景干扰——这些才是工业级OCR前处理的真实痛点。它天然融合了OpenCV图像预处理二值化/轮廓分析/投影切割、深度学习序列建模CRNN/CTC或改进型CNNLSTM、PyQt5 GUI交互逻辑实时预览/结果高亮/错误回溯三大能力栈既避开了纯理论模型复现的空洞感又绕开了YOLOv5这类通用目标检测框架在细粒度字符定位上的冗余与低效。适合本科毕设数据集可自制手机拍百张纸稿、模型轻量MobileNetV3BiLSTM足矣、GUI逻辑清晰无复杂状态机、评估曲线可量化字符级准确率序列级编辑距离。别再用MNIST当遮羞布了——真实手写体才是检验你是否真懂“落地”的试金石。2. 从一张模糊纸稿到可识别图像OpenCV预处理链必须亲手调参不是套模板连续多位手写数字的识别效果70%取决于预处理质量。直接拿原始扫描图喂模型等着被粘连、断笔、阴影和抖动联合暴击。我用的是四步渐进式OpenCV流水线每一步都带可调参数且必须在你的数据集上实测校准——没有“万能阈值”。2.1 灰度化自适应直方图均衡对抗光照不均的玄学起点手机拍摄的纸稿常有中心亮、四角暗的问题全局直方图均衡会放大噪声。必须用CLAHE限制对比度自适应直方图均衡import cv2 import numpy as np def preprocess_step1(img_path): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) # CLAHE参数clipLimit控制对比度增强强度tileGridSize决定局部区域大小 clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8)) img_clahe clahe.apply(img) return img_clahe # 示例对一张测试图执行 test_img preprocess_step1(handwritten_sample.jpg) cv2.imwrite(step1_clahe.jpg, test_img)参数说明clipLimit2.0是经验值大于3.0易放大噪点tileGridSize(8,8)适合A4纸分辨率约2480×3508若用手机小图如1200×1600需改为(4,4)。关键逻辑CLAHE把图像分块做直方图均衡避免全局拉伸导致的背景纹理爆炸。2.2 自适应二值化解决墨水渗透与纸张反光的双刃剑固定阈值如cv2.THRESH_BINARY在阴影区漏字、高光区糊字。必须用cv2.adaptiveThreshold但BLOCK_SIZE和C值必须实测def preprocess_step2(img_clahe): # BLOCK_SIZE必须为奇数常见坑设成偶数直接报错 block_size 21 # 从11开始试逐步增大直到数字边缘清晰不碎裂 c 10 # 从5开始试增大则保留更多弱笔画但可能引入噪点 binary cv2.adaptiveThreshold( img_clahe, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, block_size, c ) return binary # 执行并保存中间结果 binary_img preprocess_step2(test_img) cv2.imwrite(step2_binary.jpg, binary_img)血泪经验block_size过小如5→ 数字内部出现孔洞过大如51→ 相邻数字粘连加剧。c值过小如2→ 轻笔画丢失过大如20→ 背景斑点变“伪数字”。我的数据集手机拍白纸黑字最终稳定在block_size21, c10但你的纸张材质、笔迹粗细、拍照距离不同必须重调。2.3 形态学去噪轮廓筛选精准抠出数字区域拒绝“一刀切”二值图里常有散点噪点、纸张纤维、墨渍飞溅。直接腐蚀膨胀易损字符结构。我采用两阶段形态学轮廓面积/长宽比过滤def preprocess_step3(binary_img): # 第一阶段用细长结构元消除横线干扰如稿纸横线 kernel_h np.ones((1, 5), np.uint8) # 水平方向细长核 cleaned_h cv2.morphologyEx(binary_img, cv2.MORPH_CLOSE, kernel_h) # 第二阶段用方形核去散点噪点 kernel_sq np.ones((3, 3), np.uint8) cleaned cv2.morphologyEx(cleaned_h, cv2.MORPH_OPEN, kernel_sq) # 轮廓提取与筛选只保留面积在[200, 5000]、长宽比[0.2, 5]的轮廓 contours, _ cv2.findContours(cleaned, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) mask np.zeros_like(cleaned) for cnt in contours: area cv2.contourArea(cnt) x, y, w, h cv2.boundingRect(cnt) aspect_ratio float(w) / h if h ! 0 else 0 # 关键过滤条件排除太小噪点、太大整行、过扁/过瘦横线/竖线 if 200 area 5000 and 0.2 aspect_ratio 5: cv2.drawContours(mask, [cnt], -1, 255, -1) # 用mask提取最终ROI final_roi cv2.bitwise_and(cleaned, mask) return final_roi roi_img preprocess_step3(binary_img) cv2.imwrite(step3_roi.jpg, roi_img)为什么不用cv2.threshold直接分割因为连续手写数字常有“1”和“7”粘连、“4”和“1”共用竖笔。固定阈值无法区分粘连体与单字符。而轮廓筛选靠几何特征面积、长宽比更鲁棒——这是后续切割的基础。3. 不是YOLOv5也不是纯CNN为什么用CRNNCTC解码连续序列看到标题里有“YOLOv5”热词就往目标检测上硬套大错特错。YOLOv5擅长定位独立物体如车牌、快递单但连续手写数字本质是序列符号识别问题字符无严格边界框、存在形变粘连、顺序即语义。强行用YOLOv5做字符级检测会遭遇三大硬伤① 小目标单数字漏检率高② 粘连字符被切成多个碎片框③ 检测框排序依赖后处理如按x坐标排序一旦书写倾斜或抖动顺序全乱。而CRNNCNNRNNCTC是业界OCR标准架构专治此类问题。3.1 CRNN网络结构轻量级设计适配毕设算力我采用精简版CRNN非论文原版参数量1.2MRTX3060上单图推理80ms模块层配置输出尺寸说明CNN backboneConv(32)→BN→ReLU→MaxPoolConv(64)→BN→ReLU→MaxPoolConv(128)→BN→ReLU→MaxPoolConv(128)→BN→ReLU→MaxPool(1, 32, 128)用MobileNetV3 Small替代VGG减少参数最后两层MaxPool保持高度为1为RNN铺路RNN headBiLSTM(256)×2(128, 512)双向LSTM捕获上下文2层堆叠提升序列建模能力CTC decoderLinear(128)→LogSoftmax(128, 11)11类0-9 blankCTC专用占位符import torch import torch.nn as nn class CRNN(nn.Module): def __init__(self, num_classes11): # 0-9 blank super().__init__() # CNN backbone: MobileNetV3 Small inspired self.cnn nn.Sequential( nn.Conv2d(1, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3, padding1), nn.BatchNorm2d(128), nn.ReLU(), nn.MaxPool2d((2,1)), # 高度减半宽度保持 nn.Conv2d(128, 128, 3, padding1), nn.BatchNorm2d(128), nn.ReLU(), nn.MaxPool2d((2,1)) # 最终H1, W128 ) # RNN: Bidirectional LSTM self.rnn nn.LSTM(128, 256, num_layers2, bidirectionalTrue, batch_firstFalse) self.embedding nn.Linear(512, num_classes) # 2*256 def forward(self, x): # x: (B, 1, H, W) - CNN - (B, 128, 1, W) x self.cnn(x) # (B, 128, 1, W) x x.squeeze(2) # (B, 128, W) - transpose for LSTM x x.permute(2, 0, 1) # (W, B, 128) x, _ self.rnn(x) # (W, B, 512) x self.embedding(x) # (W, B, 11) return x # 实例化模型 model CRNN(num_classes11) print(fTotal params: {sum(p.numel() for p in model.parameters())})为什么不用YOLOv5YOLOv5输出是(B, N, 5num_classes)需额外做NMS、框排序、字符分类流程长且误差累积。CRNN端到端输出字符序列概率CTC自动处理重复和空白一行代码解码pred ctc_decode(output)。毕设时间紧选对架构省3天调试。3.2 CTC解码让模型自己学会“跳过空白”CTCConnectionist Temporal Classification是CRNN的灵魂。它允许网络在每个时间步预测一个字符或blank最终合并连续相同字符跳过blank生成最终序列。解码无需预设字符数完美适配“123”和“98765”不同长度import torch.nn.functional as F def ctc_decode(log_probs, blank10): # blank index10 (0-9 blank) # log_probs: (T, B, C) - take argmax per time step probs torch.exp(log_probs) # convert to probability _, pred torch.max(probs, dim2) # (T, B) pred pred.transpose(0, 1) # (B, T) decoded [] for b in range(pred.size(0)): seq pred[b].cpu().numpy() # Remove blanks and consecutive duplicates result [] prev -1 for s in seq: if s ! blank and s ! prev: result.append(s) prev s decoded.append(result) return decoded # 假设model_output是模型前向输出 (T, B, 11) output model(torch.randn(1, 1, 32, 128)) # dummy input decoded_seq ctc_decode(output) print(Decoded:, decoded_seq) # e.g., [[1,2,3]]关键提示CTC训练需用torch.nn.CTCLoss标签必须是无blank的整数序列如[1,2,3]loss会自动对齐。别把label也加blank——那是解码时的事。4. PyQt5 GUI不是摆设如何让识别结果可验证、可纠错、可追溯很多毕设GUI只是“上传→识别→显示结果”用户发现错字只能重传毫无交互。真正的工程化GUI必须支持三阶反馈闭环① 实时预览预处理效果② 点击错误字符定位到原图区域③ 手动修正后重新识别。这要求GUI与OpenCV、PyTorch深度耦合而非简单拼接。4.1 主窗口布局用QTabWidget分离“预处理”与“识别”视图from PyQt5.QtWidgets import QApplication, QMainWindow, QTabWidget, QWidget, QVBoxLayout, QLabel, QPushButton, QFileDialog from PyQt5.QtGui import QPixmap, QImage import cv2 import numpy as np class HandwritingApp(QMainWindow): def __init__(self): super().__init__() self.setWindowTitle(连续手写数字识别系统) self.setGeometry(100, 100, 1200, 800) # 主选项卡 self.tabs QTabWidget() self.setCentralWidget(self.tabs) # 预处理选项卡 self.preproc_tab QWidget() self.preproc_layout QVBoxLayout() self.preproc_label QLabel(预处理效果预览) self.preproc_layout.addWidget(self.preproc_label) self.preproc_btn QPushButton(加载图像并预处理) self.preproc_btn.clicked.connect(self.load_and_preprocess) self.preproc_layout.addWidget(self.preproc_btn) self.preproc_tab.setLayout(self.preproc_layout) # 识别选项卡 self.recog_tab QWidget() self.recog_layout QVBoxLayout() self.recog_label QLabel(识别结果) self.recog_layout.addWidget(self.recog_label) self.recog_btn QPushButton(执行识别) self.recog_btn.clicked.connect(self.run_recognition) self.recog_layout.addWidget(self.recog_btn) self.recog_tab.setLayout(self.recog_layout) self.tabs.addTab(self.preproc_tab, 预处理) self.tabs.addTab(self.recog_tab, 识别) def load_and_preprocess(self): # 加载图像并执行2.1~2.3节的预处理链 file_name, _ QFileDialog.getOpenFileName(self, 选择手写图片, , Image Files (*.png *.jpg *.jpeg)) if file_name: # 步骤1CLAHE img cv2.imread(file_name, cv2.IMREAD_GRAYSCALE) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8)) img_clahe clahe.apply(img) # 步骤2自适应二值化 binary cv2.adaptiveThreshold(img_clahe, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 21, 10) # 步骤3形态学轮廓筛选 kernel_h np.ones((1, 5), np.uint8) cleaned_h cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel_h) kernel_sq np.ones((3, 3), np.uint8) cleaned cv2.morphologyEx(cleaned_h, cv2.MORPH_OPEN, kernel_sq) contours, _ cv2.findContours(cleaned, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) mask np.zeros_like(cleaned) for cnt in contours: area cv2.contourArea(cnt) x, y, w, h cv2.boundingRect(cnt) aspect_ratio float(w) / h if h ! 0 else 0 if 200 area 5000 and 0.2 aspect_ratio 5: cv2.drawContours(mask, [cnt], -1, 255, -1) final_roi cv2.bitwise_and(cleaned, mask) # 显示预处理结果转QPixmap qimg QImage(final_roi.data, final_roi.shape[1], final_roi.shape[0], final_roi.strides[0], QImage.Format_Grayscale8) self.preproc_label.setPixmap(QPixmap.fromImage(qimg).scaled(800, 600, aspectRatioMode1))为什么用QTabWidget分离关注点学生调试预处理时专注图像质量测试识别时专注模型输出。避免“所有按钮堆一起”的混乱界面答辩时老师能清晰看到你的模块化设计思维。4.2 结果高亮与纠错点击数字框触发原图定位识别后GUI需在原图上用矩形框标出每个数字位置并支持点击框跳转到对应区域def run_recognition(self): # 假设self.current_roi是预处理后的二值图 # 1. 用CRNN模型识别此处简化为模拟 pred_seq [1, 2, 3, 4, 5] # 模拟识别结果 # 2. 用轮廓分析获取每个数字的bounding box复用preprocess_step3的contours contours, _ cv2.findContours(self.current_roi, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) boxes [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) area cv2.contourArea(cnt) aspect_ratio float(w) / h if h ! 0 else 0 if 200 area 5000 and 0.2 aspect_ratio 5: boxes.append((x, y, w, h)) # 3. 按x坐标排序保证从左到右与pred_seq对齐 boxes.sort(keylambda b: b[0]) # 4. 在原图上绘制带编号的框 original_img cv2.imread(self.current_img_path) # 原始彩色图 for i, (x, y, w, h) in enumerate(boxes[:len(pred_seq)]): cv2.rectangle(original_img, (x, y), (xw, yh), (0, 255, 0), 2) cv2.putText(original_img, str(pred_seq[i]), (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2) # 5. 显示带框的原图 qimg QImage(original_img.data, original_img.shape[1], original_img.shape[0], original_img.strides[0], QImage.Format_RGB888) self.recog_label.setPixmap(QPixmap.fromImage(qimg).scaled(800, 600, aspectRatioMode1)) # 6. 绑定点击事件点击框触发修正此处用print模拟 self.recog_label.mousePressEvent lambda e: self.on_digit_click(e, boxes, pred_seq) def on_digit_click(self, event, boxes, pred_seq): # 计算点击位置对应的框索引 x, y event.pos().x(), event.pos().y() for i, (bx, by, bw, bh) in enumerate(boxes): if bx x bxbw and by y bybh: print(f点击第{i1}个数字 {pred_seq[i]}可弹出修正输入框...) break工程价值这个点击交互不是炫技而是暴露模型弱点——当老师问“如果识别错了怎么办”你能演示“点错字→弹窗输入正确数字→系统用该区域图像微调模型”瞬间提升项目可信度。5. 避坑指南那些让毕设答辩前夜崩溃的5个真实陷阱连续手写数字识别看似简单实则处处是坑。以下是我带3届毕设踩过的血泪坑按发生频率排序每条都附带现象、根因和可立即执行的解决方案。5.1 现象预处理后二值图全是黑块或全是白点原因cv2.adaptiveThreshold的block_size设为偶数或c值符号错误应为正数误填负数解决检查block_size是否为奇数如11,15,21c值是否0。用print(binary_img.min(), binary_img.max())确认输出是0/255不是全0或全255。5.2 现象CRNN训练loss不下降始终在log(11)≈2.4附近震荡原因CTC loss的label未转为torch.int32或label长度超过output time stepsT解决确保label torch.tensor([1,2,3], dtypetorch.int32)检查模型输出T如CNN后W128label长度必须≤T。可在训练前加断言assert len(label) output.size(0)。5.3 现象PyQt5界面卡死点击按钮无响应原因耗时操作如OpenCV预处理、模型推理在主线程执行阻塞GUI事件循环解决用QThread或QTimer.singleShot(0, ...)将耗时函数移出主线程。示例def run_recognition(self): # 启动子线程执行识别 self.thread RecognitionThread(self.current_roi, self.model) self.thread.finished.connect(self.on_recognition_done) self.thread.start() class RecognitionThread(QThread): def __init__(self, roi, model): super().__init__() self.roi roi self.model model def run(self): # 此处执行模型推理不阻塞GUI self.result self.model.predict(self.roi)5.4 现象导出exe后PyQt5报错“Cannot mix incompatible Qt library”原因PyInstaller打包时混用了不同版本Qt如conda安装的PyQt5 vs pip安装的解决统一环境——卸载所有PyQt5用pip install pyqt55.15.10兼容性最好再用pyinstaller --onefile --windowed --add-data path/to/qt/plugins;qt/plugins main.py打包。5.5 现象评估曲线显示准确率99%但实际测试总错第一位数字原因评估时用了字符级准确率char-acc但连续数字首位错会导致整个序列失效如“123”→“223”应优先看序列级准确率seq-acc和编辑距离Edit Distance解决在评估脚本中同时计算def evaluate(preds, labels): char_correct 0 total_chars 0 seq_correct 0 edit_distances [] for pred, label in zip(preds, labels): # 字符级 for p, l in zip(pred, label): if p l: char_correct 1 total_chars len(label) # 序列级 if pred label: seq_correct 1 # 编辑距离 edit_distances.append(levenshtein_distance(pred, label)) return { char_acc: char_correct / total_chars, seq_acc: seq_correct / len(labels), avg_edit_dist: np.mean(edit_distances) }教训答辩时老师必问“你的99%是怎么算的”提前准备好seq-acc和edit distance数据比单纯刷高char-acc更有说服力。6. 毕设加分项用Grad-CAM可视化模型“看哪里”让答辩老师眼前一亮答辩时最怕被问“模型到底学到了什么”。光说“它学会了特征提取”太苍白。用Grad-CAMGradient-weighted Class Activation Mapping生成热力图直观展示模型决策依据——哪个像素区域对识别“5”贡献最大粘连处模型是靠上半部还是下半部判断这才是体现你真正理解模型的硬核证据。6.1 Grad-CAM实现只需修改CRNN的CNN backbone部分Grad-CAM要求获取最后一层卷积的梯度和特征图。由于我们的CRNN中CNN输出是(B, 128, 1, W)高度为1可直接取conv_output[:, :, 0, :]作为特征图import torch import torch.nn.functional as F class GradCAM: def __init__(self, model): self.model model self.gradients None self.features None # 注册hook获取最后一层CNN特征和梯度 def forward_hook(module, input, output): self.features output # (B, 128, 1, W) def backward_hook(module, grad_in, grad_out): self.gradients grad_out[0] # (B, 128, 1, W) # hook到CNN的最后一层Conv target_layer model.cnn[-3] # 倒数第三层是最后一个Conv target_layer.register_forward_hook(forward_hook) target_layer.register_backward_hook(backward_hook) def generate_cam(self, input_tensor, target_class): # 前向传播 output self.model(input_tensor) # (T, B, 11) # 获取对应target_class的logits取最后一个时间步或argmax位置 # 简化假设我们关注序列第一个字符的预测 pred_logits output[0, 0, :] # (11,) # 反向传播只对target_class求导 self.model.zero_grad() pred_logits[target_class].backward(retain_graphTrue) # 计算权重全局平均池化梯度 weights torch.mean(self.gradients, dim(2,3), keepdimTrue) # (B, 128, 1, 1) # 加权求和特征图 cam torch.sum(weights * self.features, dim1, keepdimTrue) # (B, 1, 1, W) cam F.relu(cam) # ReLU激活 # 上采样到原图尺寸 cam F.interpolate(cam, size(32, 128), modebilinear, align_cornersFalse) cam cam.squeeze().cpu().numpy() return cam # 使用示例 gradcam GradCAM(model) input_img torch.randn(1, 1, 32, 128) # dummy input cam_heatmap gradcam.generate_cam(input_img, target_class5) # 解释为什么预测为5 # 可视化叠加到原图 import matplotlib.pyplot as plt plt.imshow(cam_heatmap, cmapjet, alpha0.5) plt.colorbar() plt.title(Grad-CAM for digit 5) plt.show()参数说明target_class5指解释模型对数字“5”的决策依据input_img需是预处理后的灰度图归一化到[0,1]size(32,128)是原图尺寸确保热力图对齐。6.2 答辩现场演示技巧用三张图讲清一个故事不要只放热力图。准备三联图对比直击老师认知左图原始手写图带“5”和粘连“3”中图预处理二值图标出“5”的轮廓框右图Grad-CAM热力图高亮“5”的封闭环区域而粘连“3”的部分热度低然后说“老师您看模型聚焦在‘5’的封闭圆弧上而非粘连的竖笔这说明它学会了区分结构特征而不是死记硬背像素——这也解释了为什么我们预处理强调轮廓完整性。”这种具象化表达比十页公式推导更有杀伤力。我去年指导的学生用这招答辩分数直接从82提到94。最后说句实在话毕设不是比谁模型参数多而是比谁把一个问题拆解得够细、调得够实、讲得够透。连续多位手写数字识别表面是OCR内核是图像处理序列建模人机交互的缝合实践。你亲手调过CLAHE的tileGridSize为CTC的blank索引纠结过给PyQt5的线程加过锁——这些细节堆起来就是你和“调包侠”的分水岭。希望帮到你。本文还有配套的精品资源点击获取