★ FEATURED ARTICLE MediaCrawler-new 多平台数据采集教程5 分钟从零跑通小红书、抖音爬虫【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-newMediaCrawler-new 是一个开源的社交媒体数据采集框架覆盖小红书、抖音、快手、B 站、微博五个平台一条命令批量抓取笔记、视频、评论与互动数据结果存成 JSON 或 CSV适合做市场调研、竞品分析、学术研究的新手使用。它适合谁解决什么问题先给你一张对比表看清它比手工强在哪维度手工采集MediaCrawler-new耗时复制粘贴百条数据要大半天跑一条命令几分钟批量完成稳定性平台一改版方法作废频繁操作易被限流脚本固定、可重复执行登录态还能复用数据格式字段五花八门Excel 里乱糟糟JSON / CSV / 数据库结构化输出拿来即用它具体能帮这几类人做竞品分析的运营把关键词改成粉底液就能拿到相关笔记的标题、正文、点赞、收藏、评论数打开ENABLE_GET_COMMENTS后评论区也能一起抓。写论文的学生批量获取微博、B 站公开讨论数据字段结构化直接进 Python 做情感分析、词频统计。追热点的内容创作者抖音支持关键词搜索可按综合、最新、最热排序登录时的滑块验证码内置了处理逻辑遇到不用慌。要盯特定内容的人把帖子 ID 填进对应平台的 ID 列表跑--type detail就行不用走关键词搜索。它的工作原理 思路一句话不逆向接口的加密算法而是开一个真实浏览器去操作。具体地说它用 playwright 驱动真实浏览器通过二维码、手机号或 cookie 完成登录后保留登录态需要加密参数时直接在浏览器页面里执行 JS 算出来取走。对你来说有两层好处一是上手门槛低不用懂接口签名、不用抓包会改配置文件就够了二是请求都来自一个真实登录过的浏览器行为贴近普通用户比裸接口高频请求更不容易被风控盯上。三步跑通第一个任务① 克隆代码装好环境git clone https://gitcode.com/GitHub_Trending/me/MediaCrawler-new cd MediaCrawler-new python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt playwright installvenv 给项目建独立的 Python 环境避免依赖打架最后一行下载程序模拟浏览器要用的浏览器内核环境准备到这就够了。② 配置三行搞定打开 config/base_config.py改这三行PLATFORM xhs # 选平台xhs | dy | ks | bili | wb KEYWORDS python # 要搜索的关键词 LOGIN_TYPE qrcode # 登录方式qrcode | phone | cookie这三行回答爬哪个平台、搜什么、怎么登录其余参数保持默认即可。③ 运行命令扫码收数据python main.py --platform xhs --lt qrcode --type search命令行参数会覆盖配置文件里的同项设置浏览器弹出二维码手机扫码确认登录后数据默认以 JSON 写入data/目录如data/xhs/想换格式把SAVE_DATA_OPTION改成csv或db。值得开启的三个设置登录状态缓存给定时跑的采集任务准备的。什么时候开你不想每次运行都重新扫码登录时。怎么开SAVE_LOGIN_STATE True默认就是登录态自动缓存下次带着上次的登录上下文直接开爬。注意什么想换账号删掉项目根目录下浏览器缓存目录USER_DATA_DIR对应的目录如xhs_user_data_dir重新登录。代理 IP 池大规模采集的保险层。什么时候开请求量大、频繁访问容易触发平台风控时。怎么开本机装好 Redis要设密码把ENABLE_IP_PROXY置为TrueIP_PROXY_POOL_COUNT控制池子大小轻度用 2~3 个重度采集建议 10 个以上。流程是先从代理服务商拉 IP、存入 Redis 缓存再分配给每次请求轮换使用MediaCrawler-new 代理 IP 轮换流程图注意什么服务商给的key和crypto要写进jisu_key、jisu_crypto两个环境变量程序才拉得到代理 IP完整步骤见 docs/代理使用.md。无头模式让爬虫安静干活。什么时候开服务器部署或长时间批量采集。怎么开HEADLESS True默认不弹浏览器窗口占资源少也不打扰你。注意什么小红书如果一直扫码登录不通过临时改成False让窗口弹出来手动过一次滑动验证登录成功后再改回去。卡住了怎么办 按报错现象 → 最可能的原因 → 解决办法对号入座报错现象最可能的原因解决办法爬抖音报SyntaxError: 缺少 ;没装 Node.js安装 Node.js版本 v16.8.0 及以上Timeout 30000ms exceeded网络不通浏览器加载不出来检查是否开了代理工具能否正常访问目标平台刚开能爬过会儿采不到数据账号触发了平台风控立刻降频把MAX_CONCURRENCY_NUM、CRAWLER_MAX_NOTES_COUNT调小别硬扛想按指定帖子采集搜关键词不对爬取模式用错了帖子 ID 填进XHS_SPECIFIED_ID_LIST、DY_SPECIFIED_ID_LIST等对应列表运行python main.py --type detail换登录账号后还是旧账号旧登录态还在删掉项目根目录下的浏览器缓存目录重新扫码更多运行问题可以翻 docs/常见问题.md常见报错都有现成答案。最后把底线记住这个项目仅限学习和研究使用请勿大规模爬虫或做任何非法行为控制采集频率、只采公开数据、尊重用户隐私和平台规则。 下一步动作很明确现在打开config/base_config.py填上你的第一个关键词从默认 20 条数据开始跑再按业务需要慢慢调整节奏。【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
