★ FEATURED ARTICLE 网页爬虫网络【免费下载链接】cloudscraperA Python module to bypass Cloudflares anti-bot page.项目地址https://gitcode.com/gh_mirrors/cl/cloudscraper点击查看免费下载本文以 CHANGELOG.md 为骨架梳理 cloudscraper 从 v2.6.0 到 v3.0.0 的完整演进脉络并结合 cloudscraper/init.py、pyproject.toml、cloudscraper/user_agent/init.py 等源码与 tests/test_modern.py 测试用例逐项解读403 自动恢复、会话健康监控、可执行文件兼容性修复、v3 JavaScript VM 挑战与 Turnstile 支持等关键能力的底层实现。读完本文你将掌握 v3.0.0 新增配置参数的用法与默认值、PyInstaller 打包下的 User-Agent 兜底机制以及升级到最新版所需的破坏性变更清单。一、版本演进全景v2.6.0 → v2.7.0 → v3.0.0按 CHANGELOG 记录cloudscraper 在短时间内完成了三轮主题鲜明的迭代每一版都对应一个明确的工程目标版本发布日期核心主题代表能力[2.6.0]此前版本挑战类型全覆盖Cloudflare v3 JavaScript VM 挑战、Turnstile 支持、解释器兼容增强[2.7.0]2024-12-19可执行文件兼容PyInstaller/cx_Freeze/auto-py-to-exe 环境下browsers.json缺失的彻底修复[3.0.0]2025-01-09库现代化改造403 自动恢复、会话健康监控、智能会话刷新、pyproject.toml 现代化打包版本号与发布日期在源码中有据可查cloudscraper/__init__.py中__version__ 3.0.0pyproject.toml 的version 3.0.0tests/test_modern.py 也通过test_version_info断言了该版本号。值得注意的是CHANGELOG 对每个版本都声明核心功能 100% 测试通过率这是项目自身测试报告中的表述可作为项目自述事实引用但不应被推广为绝对性能承诺。二、v3.0.0完整库现代化改造2025-01-09v3.0.0 被 CHANGELOG 定性为 Major Release - Complete Library Modernization其新特性集中解决一个长期痛点长时运行后会话失效导致 403。2.1 新特性403 自动恢复与会话健康监控长期爬取场景下Cloudflare 会根据 IP 信誉、cookie 有效期等因素周期性重新要求验证表现为请求突然返回 403。v3.0.0 引入三层机制应对Automatic 403 Error Recovery收到 403 后自动刷新会话并重试原始请求Session Health Monitoring跟踪会话存活时间超过配置的刷新间隔即主动刷新Smart Session Refresh刷新时清理 Cloudflare 相关 cookie 并轮换浏览器指纹。这三项能力的实现集中在 cloudscraper/init.py 中请求入口 request() 在每次请求前调用_should_refresh_session()判断会话是否过期并在收到 403 后进入自动重试逻辑_should_refresh_session() 依据两个条件判定会话年龄超过session_refresh_interval或 60 秒内刚发生过 403_refresh_session() 依次执行清理 cookie、重置会话计时、重新加载 User-Agent、向站点根路径发起一次轻量探测请求以重建会话_clear_cloudflare_cookies() 专门清理cf_clearance、cf_chl_2、cf_chl_prog、cf_chl_rc_ni、cf_turnstile、__cf_bm等 Cloudflare 身份类 cookie强制重新认证。对应的单元测试见 tests/test_modern.py会话健康监控初始状态与刷新判定以及 test_403_handling通过 mockperform_request模拟 403 响应验证重试路径。2.2 新增配置参数默认值来自源码CHANGELOG 列出了三个新配置项其默认值在 CloudScraper.init中可直接确认并被 create_scraper 的 docstring 完整收录参数含义默认值源码位置session_refresh_interval会话自动刷新的时间间隔秒36001 小时cloudscraper/init.py#L168auto_refresh_on_403收到 403 时是否自动刷新会话并重试Truecloudscraper/init.py#L169max_403_retries403 自动重试的最大次数3cloudscraper/init.py#L170使用示例import cloudscraper scraper cloudscraper.create_scraper( session_refresh_interval1800, # 半小时刷新一次会话 auto_refresh_on_403True, # 403 时自动恢复 max_403_retries5, # 最多重试 5 次 debugTrue # 观察刷新过程 ) response scraper.get(https://example.com)这些参数同样会被 get_tokens 与 get_cookie_string 透传也就是说在不直接使用CloudScraper会话对象、只取 token 的集成场景下也能启用自动恢复能力。2.3 请求级防护的额外能力TLS 密码套件轮换与请求节流CHANGELOG 未单独成节、但源码中已随 v3.0.0 一并落地的能力还包括从源码结构看它们服务于降低被 TLS 指纹识别与并发封禁的概率TLS 密码套件轮换rotate_tls_ciphers默认True开启后_rotate_tls_cipher_suite() 会从 user_agent/browsers.json 中读取当前浏览器对应的密码套件列表每次请求轮换选择一组最多 8 个重新挂载CipherSuiteAdapter避免长期使用同一套 TLS 特征请求节流min_request_interval默认1.0秒与max_concurrent_requests默认1由 _apply_request_throttling() 强制执行防止高频并发请求触发 TLS 阻断403 重试计数保护仅在响应码为 200 且不在重试模式下才清零_403_retry_count避免计数误复位导致重试无限循环。这两项参数同样支持通过create_scraper()传入建议在真实抓取时配合调整。2.4 增强 Stealth 模式v3.0.0 对 cloudscraper/stealth.py 模块对应的 stealth 能力做了增强目标是人类行为模拟请求间加入随机延迟、随机化请求头、应用浏览器特有细节browser quirks。配置入口enable_stealth默认True与stealth_options在 CloudScraper.init中被解析可用的子选项及源码默认值如下子选项含义源码默认值min_delay/max_delay请求间随机延迟区间秒1.0/5.0human_like_delays是否启用类人随机延迟Truerandomize_headers是否随机化请求头避免指纹Truebrowser_quirks是否应用浏览器特有细节Truescraper cloudscraper.create_scraper( enable_stealthTrue, stealth_options{ min_delay: 2.0, max_delay: 6.0, human_like_delays: True, randomize_headers: True, browser_quirks: True } )对应的配置断言见 tests/test_modern.py其中确认了stealth_mode.min_delay与max_delay会被正确写入。2.5 现代化打包、类型提示与测试基建v3.0.0 的工程化改造在构建与质量层面同样彻底pyproject.toml 现代化打包构建配置从遗留的 setup.py 传统方式迁移至 pyproject.toml采用setuptools.build_meta后端并通过[tool.setuptools.package-data]将user_agent/browsers.json明确纳入包数据保证安装后 UA 数据库可用。同时保留 setup.py 以兼容旧安装路径类型提示CloudScraper构造与create_scraper的签名均已标注typing类型见 cloudscraper/init.py#L8配套[tool.mypy]配置开启严格检查测试与 CI/CD新增基于 pytest 的现代测试套件 tests/test_modern.pypyproject.toml 中配置了 pytest 8.0、testpaths [tests]以及 slow/integration/unit 三类 markerdev与test可选依赖组内包含 pytest-cov、pytest-xdist、black、flake8、mypy、responses 等工具。CHANGELOG 还记录了对遗留开发产物的清理移除.travis.yml、tox.ini、旧Makefile与setup.cfg并清空__pycache__目录——这也是当前仓库顶层不再包含这些文件的原因。三、v3.0.0 破坏性变更与依赖升级3.1 最低 Python 版本升至 3.8CHANGELOG 明确Python 3.8放弃 3.6、3.7。这一约束在 pyproject.toml 的requires-python 3.8与 setup.py 的python_requires3.8中双重确认同时移除 Python 2 兼容代码classifiers 覆盖 Python 3.83.13。3.2 依赖版本一览表CHANGELOG 记录的所有依赖升降级均已落入 pyproject.toml 的dependencies两处完全一致依赖v3.0.0 最低版本旧最低版本requests 2.31.0 2.9.2requests-toolbelt 1.0.0 0.9.1pyparsing 3.1.0 2.4.7pyOpenSSL 24.0.0 22.0.0pycryptodome 3.20.0 3.15.0websocket-client 1.7.0 1.3.3js2py 0.74未变增强版默认解释器brotli 1.1.0新增Brotli 解压默认启用certifi 2024.2.2新增其中brotli的引入对应allow_brotli选项在 cloudscraper/init.py#L149-L152 中只要环境里成功import brotli该选项默认即为True而 decodeBrotli() 则为旧版 urllib3 提供了手动解压兼容路径。certifi则用于保证 TLS 证书链校验的可靠性。3.3 移除的遗留内容冗余测试文件与开发产物过时的 CI/CD 配置.travis.yml、tox.ini等遗留的Makefile与setup.cfgPython 2 兼容代码。四、v2.7.0可执行文件兼容性专项修复2024-12-194.1 问题背景用 PyInstaller、cx_Freeze、auto-py-to-exe 将 cloudscraper 应用打包为可执行文件后用户会遭遇FileNotFoundError: browsers.json之类的 User-Agent 错误——因为browsers.json数据文件没有被正确包含进打包产物。这会让可执行版本在启动时直接崩溃。4.2 源码级的解决机制CHANGELOG 所述的自动 PyInstaller 检测 多重兜底路径 内置 UA 兜底 优雅错误处理四项方案均可在 cloudscraper/user_agent/init.py 中逐条找到对应实现PyInstaller 检测通过sys.frozen与sys._MEIPASS判断是否运行在 PyInstaller 打包环境中user_agent/init.py#L87-L89多重兜底路径正常路径os.path.dirname(__file__)/browsers.json读取失败后依次尝试打包产物内的sys._MEIPASS/cloudscraper/user_agent/browsers.json、当前工作目录os.getcwd()/browsers.json内置 UA 数据库上述路径全部失败时直接使用代码中硬编码的兜底字典——覆盖 Windows/Linux/macOSdarwin桌面端与 Android/iOS 移动端的 chrome、firefox 组合user_agent/init.py#L100-L186同时附带了对应的请求头与 TLS 密码套件。CHANGELOG 与 README 将这份内置数据描述为 70 内置 User-Agent优雅降级文件缺失不再抛异常中断而是无缝切换到内置数据。此外pyproject.toml 通过package-data把browsers.json声明为包内数据配合 PyInstaller 的--add-data参数即可把完整 UA 数据库带进产物。4.3 可执行文件构建指南按 CHANGELOG 与 README 提供的操作路径方式一直接打包自动兜底pyinstaller your_app.py方式二显式携带完整 UA 数据库推荐pyinstaller --add-data cloudscraper/user_agent/browsers.json;cloudscraper/user_agent/ your_app.py注意;分隔符适用于 WindowsLinux/macOS 下应使用:即--add-data cloudscraper/user_agent/browsers.json:cloudscraper/user_agent/。CHANGELOG 记录该项修复的验证范围包括携带browsers.json的正常运行、缺失时的兜底运行、PyInstaller 环境模拟、全浏览器/平台组合、兜底 UA 的 HTTP 请求并报告 100% 通过率项目自测数据。4.4 从 v2.6.0 到 v2.7.0 的迁移说明CHANGELOG 的 Migration Notes 明确无破坏性变更既有代码无需改动即可继续运行可执行文件兼容性自动生效唯一可选增强是显式把browsers.json打入产物以使用完整 UA 数据库。推荐的升级动作见本文第六节。五、v2.6.0v3 JavaScript VM 挑战与 Turnstile 支持5.1 挑战类型全覆盖v2.6.0 把 cloudscraper 推进到全挑战类型覆盖v1经典 IUAM、v2JS/CAPTCHA 挑战、v3JavaScript VM 挑战与 TurnstileCloudflare 的 CAPTCHA 替代方案。当前仓库中这四类处理器分别对应 cloudscraper/cloudflare.py、cloudscraper/cloudflare_v2.py、cloudscraper/cloudflare_v3.py 与 cloudscraper/turnstile.py并在 CloudScraper.init中被统一初始化。5.2 v3 挑战的识别与处理源码证据v3 挑战的特点是运行在沙箱化的 JavaScript VM 中、代码动态生成、难以逆向。识别逻辑见 cloudflare_v3.py#L44-L74 的is_V3_Challenge它要求响应头Server以cloudflare开头、状态码为 403/429/503并匹配三类页面特征——/cdn-cgi/challenge-platform/.../jsch/v3脚本、window._cf_chl_ctx全局对象、或__cf_chl_rt_tk形式的现代挑战表单。处理侧则由handle_V3_Challenge完成经由 interpreters/init.py 统一的JavaScriptInterpreter接口调度到具体引擎。5.3 Turnstile 挑战的识别与接入Turnstile 挑战通过 turnstile.py#L46-L73 的is_Turnstile_Challenge识别匹配classcf-turnstile、challenges.cloudflare.com/turnstile/v0/api.js脚本或 40 位data-sitekey。Turnstile 的求解被设计为复用第三方 CAPTCHA 服务仓库 cloudscraper/captcha/ 目录下已内置 2captcha、anticaptcha、capsolver、capmonster、deathbycaptcha、9kw 等服务的适配器import cloudscraper scraper cloudscraper.create_scraper( captcha{ provider: 2captcha, api_key: your_2captcha_api_key }, debugTrue # 观察 Turnstile 检测与求解过程 ) response scraper.get(https://example.com)5.4 解释器兼容矩阵v2.6.0 同时强化了对全部 JavaScript 解释器的兼容。仓库 cloudscraper/interpreters/ 目录展示了完整支持面js2py增强版默认、nodejs、native自研纯 Python 求解器、v8、chakracore、jsunfuck 等默认解释器在 cloudscraper/init.py#L135 中被固定为js2py。六、升级路线与推荐操作CHANGELOG 末尾给出了明确的升级建议结合仓库当前状态整理如下# 升级到最新版 pip install --upgrade cloudscraper或从仓库直接安装二选一仓库根目录执行pip install . python setup.py install推荐动作清单先升级到 v3.0.0确认__version__输出为3.0.0若使用可执行文件打包用新版本重新构建并验证 UA 兜底对照 tests/test_modern.py 的运行方式在本地跑一遍测试确认环境与参数行为一致pytest tests/test_modern.py遇到实际问题时按 CHANGELOG 的 Support 指引对症处理可执行文件转换问题检查是否按 4.3 节携带browsers.jsonUser-Agent 报错v2.7.0 起已自动修复直接升级即可PyInstaller 问题使用--add-data指定包内路径一般性问题开启debugTrue观察挑战检测、会话刷新与 403 重试的完整过程这是 CHANGELOG 与 README 共同推荐的首要排障手段。结语从 v2.6.0 的挑战类型全覆盖到 v2.7.0 的可执行文件兼容性修复再到 v3.0.0 的 403 自动恢复、会话健康监控与现代化打包CHANGELOG 记录的三步演进恰好构成了 cloudscraper 面向长期、稳定、可交付抓取场景的能力闭环。本文所有新特性描述均可在当前仓库源码中找到对应实现cloudscraper/init.py、cloudscraper/user_agent/init.py、cloudscraper/cloudflare_v3.py、cloudscraper/turnstile.py与测试佐证tests/test_modern.py读者可沿这些路径进一步深入验证。赞分享网页爬虫网络【免费下载链接】cloudscraperA Python module to bypass Cloudflares anti-bot page.项目地址https://gitcode.com/gh_mirrors/cl/cloudscraper点击查看免费下载相关推荐Apache DolphinScheduler 升级前必读dev / 3.0.0–3.3.0 全版本不兼容变更深度解析Apache DolphinScheduler 升级前必读dev / 3.0.0–3.3.0 全版本不兼容变更深度解析 Apache DolphinSched任务调度大数据后端前端GlusterFS 文件 split-brain 恢复完全指南从 AFR 变更日志解读到手动修复实操GlusterFS 文件 split brain 恢复完全指南从 AFR 变更日志解读到手动修复实操 本指南以 GlusterFS 官方调试文档 doc/de存储网络DataRoom 变更日志深度解读从 3.0.0 到 3.4.0 的核心能力演进与实现原理DataRoom 变更日志深度解读从 3.0.0 到 3.4.0 的核心能力演进与实现原理 DataRoom 是一款前后端一体化的数据可视化平台支持对话式数据可视化前端后端低代码数据分析AI 应用创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
