★ FEATURED ARTICLE 简介面向Python爬虫与数据可视化初学者的完整大作业方案覆盖从网页抓取、HTML解析、正则提取、数据清洗到pandas统计分析、Matplotlib与Pyecharts可视化的全流程适合计算机相关专业学生完成课程设计、毕业项目或技能实训参考。压缩包共5个文件以Python源码、docx作业文档、txt词典文本及gif演示动图组成其中py脚本实现爬虫与可视化联动docx包含完整分析报告txt可用于数据清洗与关键词过滤gif则直观展示运行效果整体仅2.72MB轻量便携。已有1243人学习内容经过多人验证。通过对照报告与脚本读者可快速理清爬虫逻辑、数据预处理和图表生成思路获得一套可直接改用的数据采集与分析模板尤其在文本分词、词频统计和可视化呈现方面具备参考价值能有效节省从零搭建项目的时间同时提升对数据全链路处理的理解与应用能力。1. Python爬虫数据可视化分析大作业全套文件不是代码存档是四步打通的分析闭环Python 爬虫数据可视化分析大作业全套文件——我拿到这套资源时先翻的不是代码而是报告和图表目录因为代码能不能跑是一回事跑出来的东西能不能支撑起结论是另一回事。看完才发现这套文件的设计思路是把整条分析链路拆成四个环节爬虫采集、数据清洗、统计聚合、可视化输出每个环节独立成一个脚本最后配一份按课程要求写的分析报告骨架。它解决的是这类作业里最真实的痛点网页数据确实抓下来了结果清洗完只剩几百条图表也画得出来但不知道该放在报告的哪个位置答辩被问到统计口径时只能说是自己拍的。适合正在写爬虫大数据分析课程作业、在做毕业设计预研或者单纯想复用一套完整数据模板的开发者。新手照着改目标网站地址和字段就能跑通闭环熟手可以直接把中间模块抽出来换成自己的数据源。2. 爬虫模块选型与字段设计先定分析目标再写抓取代码2.1 先判断目标页面能不能直接抓静态页面是课程作业的首选拆这套文件时我第一个动作不是打开代码而是先去确认目标页面的渲染方式。这套资源默认的示例站点是一个招聘信息展示页面列表和详情都在服务端渲染好的 HTML 里没有额外的异步请求。这个前提决定了整个爬虫的技术选型可以很轻requests 拿 HTMLBeautifulSoup 做解析不需要上无头浏览器。判断一个页面是不是静态渲染有个很土但好用的方法在浏览器里打开目标网页右键查看网页源代码按 CtrlF 搜索前端页面上能看到的数据字段比如“数据分析师”“本科”“15k”。如果能搜到代表数据已经在 HTML 源码里如果搜不到再打开开发者工具里的 Network 面板刷新一遍找 XHR 请求里有没有返回 JSON 的接口。作业场景里我一般强烈建议优先选静态页面做题目因为后续的字段抽取、翻页策略、反爬应对都会简单很多。下面这段是从这套爬虫脚本的核心部分抽出来的骨架逻辑非常直接构造请求头、发起请求、判断状态码、用选择器定位信息块、返回结果列表。import requests from bs4 import BeautifulSoup import time HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Accept-Language: zh-CN,zh;q0.9, } def fetch_list_page(url): resp requests.get(url, headersHEADERS, timeout10) if resp.status_code ! 200: print(f请求失败: {url} - {resp.status_code}) return [] soup BeautifulSoup(resp.text, html.parser) items soup.select(div.job-item) # 示例选择器按实际页面结构调整 return items for page in range(1, 6): url fhttps://example.edu.cn/data/list_{page}.html items fetch_list_page(url) print(f第 {page} 页抓到数据 {len(items)} 条) time.sleep(2) # 每页间隔2秒控制请求频率逻辑说明这段代码把请求和解析收敛到 fetch_list_page 这一个函数里请求头、超时时间、CSS 选择器都暴露成变量后面换目标页面时只需要改这一处。参数说明timeout10 是等待响应的最长时间超过 10 秒就抛异常time.sleep(2) 是两次请求之间的固定间隔用来降低被限流的概率CSS 选择器 div.job-item 是示例真实页面要先去浏览器开发者工具里确认每条数据的 HTML 容器长什么样。如果目标页面确实是动态渲染也不用急着换 Selenium。常见做法是先找它的接口地址很多动态页面背后都有一条返回 JSON 的 XHR 接口直接请求接口比驱动浏览器快得多。只有当接口加密严重或者干脆拿不到数据时再退回到 Selenium但那已经不是课程作业最优解了因为环境依赖复杂、运行速度慢答辩演示时还容易现场翻车。2.2 字段表先行JSON 字段和表结构对齐才能少返工我在拆这套文件时发现一个很容易被忽略的细节爬虫脚本里定义的字段名和数据清洗脚本里用到的字段名完全一致连拼写都一样。这看起来理所当然但很多自己写爬虫的人做不到因为他们在爬取阶段没想清楚后面要分析什么字段结果数据抓回来一堆没用字段清洗阶段又要重新折腾。推荐做法是动手写爬虫前先列一张字段设计表把中文含义、字段名、数据类型、示例值都定下来。以招聘数据为例这套文件里定义的核心字段是这样的字段含义字段名类型示例值岗位名称job_titlestring数据分析师城市citystring北京薪资下限salary_minint8薪资上限salary_maxint15学历要求educationstring本科发布日期publish_datestring2026-04-01字段表定完之后爬虫里每解析一条数据都返回一个字典键名严格按字段表走这样后面 pandas 读进来时列名完全可控。下面这段是这套文件里解析单条记录的核心写法def parse_item(item): title item.select_one(h3.job-title).get_text(stripTrue) salary_text item.select_one(span.salary).get_text(stripTrue) return { job_title: title, salary_min: extract_salary(salary_text, min), salary_max: extract_salary(salary_text, max), city: item.select_one(span.city).get_text(stripTrue), education: item.select_one(span.edu).get_text(stripTrue), }逻辑说明parse_item 返回的字典键名就是字段表里的字段名不额外加字段也不临时改命名。extract_salary 是一个自定义函数任务是把“8k-15k”这类薪资文本拆分成 salary_min 和 salary_max 两个整数避免把带字母的字符串存进表以后再痛苦地转换。参数说明get_text(stripTrue) 会去掉标签内文本的首尾空白是解析 HTML 时最常用的清理动作extract_salary 这类函数建议放到单独的工具文件里统一维护因为换一个网站后薪资格式大概率会变集中管理能减少改爬虫时误伤其他逻辑。薪资文本的解析是这个课题里的高频坑比如“面议”“8千-1.2万”“10-15K·13薪”都会出现。文件里用的办法是先判断文本里有没有数字没有就直接返回空值有就用正则提取两个数字再统一换算成以千元为单位。这个逻辑本身不难但一定要在字段设计表里写清楚“薪资单位是千元”否则后面画图时坐标轴单位又对不上。2.3 环境依赖与执行顺序requirements.txt 和三段式脚本关系这套文件在根目录放了一个 requirements.txt我一开始觉得只是常规操作后来发现版本号是刻意锁死的这特别重要。内容大致是requests2.31.0 beautifulsoup44.12.3 pandas2.1.4 matplotlib3.8.2 pyecharts2.0.5 lxml4.9.3参数说明pyecharts 锁在 2.0.5 是有原因的更新到新版以后图表的配置接口和渲染输出方式都有调整代码里写的 TitleOpts、LabelOpts 这些类不一定还能直接兼容。lxml 是 BeautifulSoup 的解析引擎依赖指定版本可以避免源码安装时出现编译报错。这里我建议不要一上来就 pip install 最新版先用 requirements.txt 把环境恢复到原作者的验证环境跑通以后再考虑是否升级。推荐的运行顺序是严格的三段式先跑爬虫生成原始数据再跑清洗生成分析表最后跑绘图生成 HTML 或 PNG 图表。这套文件里的脚本命名也按这个顺序排列01_spider.py、02_clean.py、03_visualize.py。为什么这么排因为它把整个分析流程切成三个可以单独重启的环节。爬虫挂了只需要重跑 01不用重新清洗清洗规则改动了只需要重跑 02不用重新爬网。pip install -r requirements.txt python 01_spider.py python 02_clean.py python 03_visualize.py逻辑说明01_spider.py 把所有抓到的记录以 JSON Lines 格式逐行追加写入 data/raw.jsonl02_clean.py 读取这个文件清洗后输出 data/cleaned.csv03_visualize.py 读取清洗后的 CSV输出图表到 output/ 目录。参数说明JSON Lines 格式就是每行一个 JSON 对象比一次性写成一个超大 JSON 数组的好处是即使中途断掉已经写入的行还在下次可以继续追加。注意requirements.txt 里的版本组合只是跑通下限不是最优上限。如果你换了一台机器、换了 Python 小版本pandas 和 pyecharts 之间的兼容性也可能出现差异遇到问题先看控制台报错别急着改版本号。3. 数据清洗与分析口径把脏数据变成能回答问题的分析表3.1 清洗第一关去重、缺失值和类型转换的顺序爬虫把数据存成 JSON Lines 后真正的戏才开始。这套文件里的 02_clean.py 开头就定义一个函数把原始数据读进 DataFrame然后按顺序做三件事去重、缺失值处理、类型转换。顺序很重要如果先做缺失值处理再做去重可能会把本可以去掉的重复记录因为填充了缺失值而保留下来。import pandas as pd def load_raw_data(file_path): df pd.read_json(file_path, linesTrue) print(原始数据量:, df.shape) return df def clean_dataframe(df): # 第一步去重按业务主键判定不是整行相同才去重 df df.drop_duplicates(subset[job_title, city, publish_date]) # 第二步缺失值薪资字段缺失直接删除学历字段用“不限”填充 df df.dropna(subset[salary_min, salary_max]) df[education] df[education].fillna(不限) # 第三步类型转换薪资转成 int日期转成 datetime df[salary_min] df[salary_min].astype(int) df[salary_max] df[salary_max].astype(int) df[publish_date] pd.to_datetime(df[publish_date]) return df if __name__ __main__: raw load_raw_data(data/raw.jsonl) clean clean_dataframe(raw) print(清洗后数据量:, clean.shape) clean.to_csv(data/cleaned.csv, indexFalse)逻辑说明drop_duplicates 里指定 subset 参数很关键因为同一天、同一个城市、同一条岗位信息才是真正的重复。如果不指定 subsetpandas 默认用整行所有列来判断只要有一个字符不一样就会当成新记录重复清理等于没做。缺失值部分薪资字段是后续分析的核心缺失了无法估算工资分布所以直接 dropna学历字段缺失可以填充为“不限”这样在统计学历占比时不会莫名其妙少掉一个分组。参数说明astype(int) 能不能顺利执行前提是薪资字段已经被 extract_salary 处理成纯数字如果还有“面议”之类的文本混在里面这一步会直接抛 ValueError。类型转换还有个容易踩的细节日期字段不转成 datetime后面想做“按月份发布趋势”时会发现没法排序薪资不转成 int后面算中位数时可能是字符串拼接而不是数值相加。所以清洗阶段必须把类型定死别拖到画图时再处理。3.2 统计口径统一分组键、时间区间、TOP-N 的决策方式清洗只是把结构捋顺统计分析才是真正出结论的地方。这套文件里每一段聚合计算前都有一段注释说明统计口径我一开始觉得是多余后来答辩时才发现老师一定会问“你的排名是怎么算出来的”“你的分组为什么这么分”。# 统计规则 # 1. 城市按岗位数量排名取前15个城市 # 2. 学历分布按记录数计算占比 # 3. 薪资水平按 (salary_min salary_max) / 2 取中位数口径 def city_rank(df, top_n15): city_count df.groupby(city).size().reset_index(namecount) city_count city_count.sort_values(count, ascendingFalse).head(top_n) return city_count def salary_distribution(df): df[salary_mid] (df[salary_min] df[salary_max]) / 2 bins [0, 5, 8, 12, 15, 20, 30, 100] labels [0-5k, 5-8k, 8-12k, 12-15k, 15-20k, 20-30k, 30k以上] df[salary_range] pd.cut(df[salary_mid], binsbins, labelslabels, rightFalse) return df.groupby(salary_range, observedTrue).size().reset_index(namecount)逻辑说明city_rank 用 groupby(city).size() 做计数sort_values 降序排列后取前 15 个避免画出几十个城市的条形图导致标签挤成一团。salary_distribution 里先把上下限取平均得到 salary_mid再分箱这是这个场景下比较稳妥的口径因为单看薪资下限会低估水平单看上限又会受极端值影响。参数说明pd.cut 的 bins 边界是人工设计的rightFalse 代表左闭右开也就是 0-5k 包含 0 不包含 5labels 列表必须和 bins 数量对得上否则会报错。observedTrue 是处理 pandas 2.x 对 category 类型分组的提示如果不加可能冒出警告。分组键的选择也要提前想清楚城市、学历、薪资区间、发布时间这四类是招聘数据里最常写的分析维度。时间区间的口径更麻烦是按发布日期算还是按数据爬取日期算要在报告里写明白。我之前见过有同学统计“近30天岗位数”时用的是爬取当天往前推30天结果爬虫抓回来的数据本身时间跨度只有一周两个时间口径对不上被老师一句话问住了。3.3 完整清洗聚合脚本从原始 JSONL 到三张统计表统计计算完成后这套文件把三张结果表分别导出成 CSV而不是直接传内存给画图脚本。这个设计的好处是可视化脚本职责单一只负责读文件、画图不负责重新计算。def build_summary_tables(clean_df): city_tb city_rank(clean_df, top_n15) edu_tb clean_df.groupby(education).size().reset_index(namecount) sal_tb salary_distribution(clean_df) city_tb.to_csv(data/summary_city.csv, indexFalse) edu_tb.to_csv(data/summary_edu.csv, indexFalse) sal_tb.to_csv(data/summary_salary.csv, indexFalse) if __name__ __main__: clean_df pd.read_csv(data/cleaned.csv) build_summary_tables(clean_df)逻辑说明build_summary_tables 接收清洗后的 DataFrame分别生成城市排名、学历分布、薪资分布三张表。to_csv 里参数 indexFalse 是必须写的否则保存的文件里会多出一列 Unnamed: 0后面用 pd.read_csv 读回来时这列会干扰画图。参数说明edu_tb 没有做 head 限制因为学历种类一般就四五种全量展示没问题如果换成公司名之类的维度就需要像 city_rank 一样截断 top_n防止图太长。到这里整个项目的前半段已经跑通数据从网页原始 HTML 变成了三张 CSV 统计表。下一章开始处理可视化但它的思路不是“画几张好看的图”而是“每张图都在回答一个分析问题”。4. 可视化与报告图表是结论的证据不是数量堆4.1 图表选型的判断逻辑比较、占比、分布分别用哪类图这套文件的可视化脚本里没有把所有图表类型都画一遍而是围绕三个分析问题各选一种图。这是整个拆解里最值得学的地方。第一是城市岗位数排名这种是比较关系用横向条形图。因为城市名称通常有“北京”“上海”这种两到四个字横向排布比纵向更容易阅读省份城市名太长时也不会因为旋转45度而看不清。第二是学历要求占比这种是部分与整体的关系用饼图或者环形图能直观看出本科生、大专、硕士各占多少。第三是薪资区间分布这种是连续值分箱后的频率分布用柱状图能看出哪个薪资段最集中。反过来如果你拿折线图去画城市排名横轴城市一个点一条线完全没有意义拿饼图去画薪资区间连续字段切出来的十几块也不直观。图不是越花越好看图表选型首先服务于你要回答的问题其次是让老师一眼看出你的分析意图。4.2 pyecharts 与 matplotlib 双实现交互图和静态图的取舍这套文件在可视化上给了双份代码03_visualize_py.py 用 pyecharts03_visualize_mpl.py 用 matplotlib。为什么给双份因为两个库的应用场景不同。pyecharts 输出 HTML图表可以交互鼠标悬停在柱子上能看到具体数值答辩时投屏展示效果明显更好matplotlib 输出 PNG 或 PDF适合直接插入 Word 版课程报告。实操习惯是报告里贴 matplotlib 的静态图答辩 PPT 里嵌 pyecharts 的交互图两个都留一份。下面这段是从 pyecharts 脚本中抽出的城市排名图核心部分from pyecharts.charts import Bar, Pie from pyecharts import options as opts import pandas as pd def draw_city_bar(csv_path): df pd.read_csv(csv_path) bar ( Bar() .add_xaxis(df[city].tolist()) .add_yaxis(岗位数, df[count].tolist()) .set_global_opts( title_optsopts.TitleOpts(title城市岗位数Top15), xaxis_optsopts.AxisOpts(name城市, axislabel_optsopts.LabelOpts(rotate45)), ) ) return bar bar draw_city_bar(data/summary_city.csv) bar.render(output/city_bar.html)参数说明add_xaxis 和 add_yaxis 分别接收 X 轴和 Y 轴数据列表rotate45 是一个容易踩的细节城市名太长时柱子的标签会叠在一起旋转后能拉开set_global_opts 是 pyecharts 全局配置入口标题、坐标轴、图例都在这里配置。逻辑说明bar.render() 默认写出一个完整 HTML 文件路径 output/city_bar.html 需要提前建好否则会报目录不存在。对应 matplotlib 版本的代码如下import matplotlib.pyplot as plt import pandas as pd plt.rcParams[font.sans-serif] [SimHei] # 强制中文字体 plt.rcParams[axes.unicode_minus] False df pd.read_csv(data/summary_salary.csv) plt.figure(figsize(8, 5)) plt.bar(df[salary_range], df[count], color#4C72B0) plt.title(薪资区间分布) plt.xlabel(薪资区间) plt.ylabel(岗位数量) plt.tight_layout() plt.savefig(output/salary_distribution.png, dpi150)参数说明plt.rcParams 里的 SimHei 是 Windows 自带黑体在 Linux 服务器上如果没有这个字体需要改成 Noto Sans CJK SC 或系统里确认存在的字体axes.unicode_minusFalse 是处理负号显示成方块的问题dpi150 是输出清晰度插入 Word 时不会模糊。逻辑说明matplotlib 这边只读聚合好的 CSV不承接统计逻辑这样换一套数据重画图时不需要改绘制函数。4.3 报告结构与答辩讲法图文对应和数据来源透明报告骨架是这套文件里最容易被忽略的部分但它比代码更决定作业分数。里边的报告不是空模板而是按“背景与数据来源 → 采集与清洗说明 → 统计结果分析 → 结论与建议”的结构写好的每个图表下都跟两到三段分析而不是先写一大段理论再贴图。答辩讲法同样讲究顺序先讲数据怎么抓的再讲清洗规则再讲统计口径最后落到图表结论。老师高频追问的两个方向一个是“数据可靠吗”另一个是“结论怎么来的”。所以报告每个图下面至少要写清两件事这张图看到什么现象排除哪些已知干扰后能得出什么结论。比如城市岗位数北京排第一你要补充说明这只能代表该平台上的岗位数不代表全国就业市场这样的表述在答辩时反而更稳妥。5. 常见问题避坑排查五个让作业翻车的细节5.1 请求被拦截403/429现象、原因与解决现象跑爬虫脚本连续抓几页后控制台开始打印 403 或 429有的页面返回空列表看起来像是数据没抓到但浏览器里明明能打开。原因403 是服务器拒绝访问常见原因就是请求头里的 User-Agent 暴露了爬虫身份或者单个 IP 请求频率太快429 是访问过于频繁的明确提示服务器在告诉你该降速了。解决先补全请求头至少包含 User-Agent、Accept、Accept-Language 和 Referer然后把每页请求间隔从固定值改成随机值再把总页数限制住。具体写法如下import random import time time.sleep(random.uniform(1.5, 3.5))参数说明random.uniform(1.5, 3.5) 返回 1.5 到 3.5 秒之间的一个随机浮点数每次请求间隔都不一样比固定 sleep(2) 更接近人工浏览节奏。如果做完这些还是被拦就要检查是不是目标站点对登录态有要求以及是否应该把爬虫频率降到每 5 秒一次作业场景里宁可慢一点也不要因为爬太快导致后续完全抓不到数据。5.2 中文乱码字符集识别错误的处理顺序现象用 resp.text 打印页面内容中文全部变成乱码或者写入 JSON 文件后用文本编辑器打开发现一堆“锟斤拷”式的内容。原因requests 会从响应头里的 charset 字段猜测编码如果服务器给的 Content-Type 没有声明 charsetrequests 就会用默认的 ISO-8859-1 去解码此时页面里的中文自然乱掉。解决拿到响应对象后立刻重新指定编码而不是等读取 text 之后再转码。代码顺序很关键resp requests.get(url, headersHEADERS, timeout10) resp.encoding resp.apparent_encoding html resp.text逻辑说明resp.apparent_encoding 是 requests 基于页面内容推断出来的编码通常能正确识别 utf-8 或 gbk。给 resp.encoding 赋值之后再取 resp.textrequests 会用新编码重新解码所以这个赋值操作必须发生在读取 text 之前。如果识别结果还是错的可以手动指定 gbk 或 gb2312 试一次但这种情况非常少见。写入文件时也要统一用 encodingutf-8避免 JSON 文件里出现编码混乱。5.3 matplotlib 中文显示成方块字体与负号配置别漏现象用 matplotlib 画图柱状图上的标题和坐标轴标签全是空心方块数值标签里的负号也显示异常。原因matplotlib 默认字体不包含中文字形也不会自动跟随系统语言切换所以中文字符全部显示为占位方块。解决在任何绘图脚本开头都加这两行配置而不是只在某一个文件里设置plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False参数说明SimHei 在 Windows 上有效macOS 上改成 Arial Unicode MSLinux 服务器上改成 Noto Sans CJK SC 才能正常显示。每次换新环境后都要先用一段小脚本确认字体生效不能直接拿旧代码跑。如果设置完仍然无效检查一下 matplotlib 的缓存目录删掉字体缓存文件后重试这是 Linux 环境里的高频翻车点。5.4 爬虫中途断掉阶段性保存比最后统一保存可靠现象爬 500 页跑到第 400 页时网络抖动断开脚本报错退出再次运行时从头开始前面所有数据全部丢失。原因爬虫脚本把所有结果累积在内存的 list 里最后才一次性写入文件没有任何中间落盘机制。网络一断list 里的内容随进程一起消失。解决每抓完一页就直接追加写入而不是攒到最后。代码里用 JSON Lines 追加模式import json with open(data/raw.jsonl, a, encodingutf-8) as f: f.write(json.dumps(record, ensure_asciiFalse) \n)参数说明a 是追加模式不会覆盖已经落盘的数据ensure_asciiFalse 让中文以原始字符写入文件而不是变成 \uXXXX 的转义序列这样中间检查数据时能用文本编辑器直接看到中文内容。重跑脚本时最好加一个 URL 去重逻辑跳过已经抓过的页面才能做到真正断点续爬。5.5 分析数据太少导致图表空荡先扩大采集窗口再调整分箱现象清洗后的有效数据只有几百条画出来的柱状图每根柱子都很矮饼图几乎是一片完整的圆看不出任何结构。原因采集范围设计得太窄比如只爬了列表页的第一页或者筛选条件卡得太死导致数据量不足以支撑统计结论。解决课程作业的分析样本量至少要上千条才算比较稳妥。先改成多页翻爬比如列表页翻 50 页如果目标平台本身数据量就少就放宽时间筛选把发布时间从“近7天”改成“近30天”。分箱设计上也可以调整把 0-5k、5-8k 合并成 0-10k让每个分组里样本数更均衡图形形状稳定结论也更可信。不要为了图表数量强行保留一个只有两条数据的区间那是自己给自己挖坑。6. 往深走一步把作业文件包装成能演示的完整项目做到前五章整套流程已经能正确跑通但课程设计要想拿高分还得再往前走一步加一个一键运行入口和一套可见的运行日志。这套操作不需要复杂技术但它能让你在答辩现场显得更从容也让这份代码从“能跑”变成“可演示”。文件里预留了一个 run_all.sh 的脚本思路把所有执行步骤串起来并在每一步输出当前时间和阶段#!/bin/bash echo [$(date %H:%M:%S)] 开始爬虫 python 01_spider.py echo [$(date %H:%M:%S)] 爬虫结束 python 02_clean.py echo [$(date %H:%M:%S)] 清洗完成 python 03_visualize.py echo [$(date %H:%M:%S)] 全部完成图表输出在 output/ 目录逻辑说明这个脚本把三段式执行收拢成一个入口现场演示时你只需要输入 bash run_all.sh剩下就是等它跑完并用实时输出来解释当前环节。参数说明$(date %H:%M:%S) 是把当前时间格式化成年月日时分秒这样每一阶段耗时一目了然。另一个值得养成的习惯是给可视化脚本加输出校验。比如生成 HTML 图表后读取文件大小小于 10KB 就提示可能是空图生成 PNG 后检查文件是否真实存在。这种小校验对结果的影响很小但能避免答辩前紧张时把空图当成果展示。从那以后我每次处理爬虫数据类项目都会强制自己先写字段表再写爬虫最后写清洗和绘图中间每一步留阶段输出跑完顺手看一眼统计表的数据量。这套流程不复杂但靠它能躲开大多数半夜改代码的返工。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
