在爬取几十条后，浏览器就断开连接，无论时候使用CDP都是这样

[new-pj]

2026-03-30 18:52:43 MediaCrawler INFO (cdp_browser.py:391) - [CDPBrowserManager] Browser connection disconnected
2026-03-30 18:52:43 MediaCrawler INFO (browser_launcher.py:255) - [BrowserLauncher] Closing browser process...
2026-03-30 18:52:43 MediaCrawler INFO (browser_launcher.py:287) - [BrowserLauncher] Browser process closed
Traceback (most recent call last):
File "D:\STUDY-SPACE\Social_media\py\MediaCrawler-main\main.py", line 157, in
run(main, async_cleanup, cleanup_timeout_seconds=15.0, on_first_interrupt=_force_stop)
File "D:\STUDY-SPACE\Social_media\py\MediaCrawler-main\tools\app_runner.py", line 109, in run
asyncio.run(_runner())
File "D:\anaconda\envs\media_crawler\lib\asyncio\runners.py", line 44, in run
return loop.run_until_complete(main)
File "D:\anaconda\envs\media_crawler\lib\asyncio\base_events.py", line 649, in run_until_complete
return future.result()
File "D:\STUDY-SPACE\Social_media\py\MediaCrawler-main\tools\app_runner.py", line 96, in _runner
await app_main()
File "D:\STUDY-SPACE\Social_media\py\MediaCrawler-main\main.py", line 110, in main
await crawler.start()
File "D:\STUDY-SPACE\Social_media\py\MediaCrawler-main\media_platform\xhs\core.py", line 96, in start
await self.search()
File "D:\STUDY-SPACE\Social_media\py\MediaCrawler-main\media_platform\xhs\core.py", line 150, in search
note_details = await asyncio.gather(*task_list)
File "D:\STUDY-SPACE\Social_media\py\MediaCrawler-main\media_platform\xhs\core.py", line 288, in get_note_detail_async_task
raise Exception(f"[get_note_detail_async_task] Failed to get note detail, Id: {note_id}")
Exception: [get_note_detail_async_task] Failed to get note detail, Id: 65dfcfba000000000102b05a

[dosubot]

Hi @new-pj! I'm Dosu and I’m helping the MediaCrawler team.

这个问题是小红书的反爬风控系统导致的，不是 MediaCrawler 的 bug。小红书检测到自动化操作后会直接踢掉你的浏览器会话 [1]。目前维护者也确认暂无可靠的程序化解决方案 [2]，用户普遍反映爬取 2~30 条后就会被断开 [3] [4]。

可以尝试的缓解措施：

1. 降低爬取速度 — 在 config/base_config.py 中把 CRAWLER_MAX_SLEEP_SEC 从默认的 2 秒增大到 5~15 秒，MAX_CONCURRENCY_NUM 保持为 1 [5]
2. 保持 CDP_HEADLESS = False — headless 模式更容易被检测到 [6]
3. 设置 AUTO_CLOSE_BROWSER = False — 触发风控后浏览器不会自动关闭，方便你手动完成验证而不用重启 [7]
4. 手动恢复 — 被风控后，在浏览器中手动打开一个笔记链接并用手机完成安全验证；或者删除 browser_data/ 目录重新扫码登录以清除被标记的会话 [8]
5. 确保代码是最新版 — 2025 年 11 月底有一个 xhshow 签名修复（fix/xhs-sign-20251127），如果没更新可能导致额外的请求失败 [1]

核心建议就是放慢速度、减少单次爬取量，这是目前最有效的方式。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

  

[new-pj]

感谢回复 ----------回复的邮件信息---------- ***@***.***> 于2026年3月30日 周一 晚上7:28写道: dosubot[bot] left a comment NanmiCoder/MediaCrawler#857 Hi @new-pj! I'm Dosu and I’m helping the MediaCrawler team. 这个问题是小红书的反爬风控系统导致的，不是 MediaCrawler 的 bug。小红书检测到自动化操作后会直接踢掉你的浏览器会话 [1]。目前维护者也确认暂无可靠的程序化解决方案 [2]，用户普遍反映爬取 2~30 条后就会被断开 [3] [4]。 可以尝试的缓解措施： 降低爬取速度 — 在 config/base_config.py 中把 CRAWLER_MAX_SLEEP_SEC 从默认的 2 秒增大到 5~15 秒，MAX_CONCURRENCY_NUM 保持为 1 [5] 保持 CDP_HEADLESS = False — headless 模式更容易被检测到 [6] 设置 AUTO_CLOSE_BROWSER = False — 触发风控后浏览器不会自动关闭，方便你手动完成验证而不用重启 [7] 手动恢复 — 被风控后，在浏览器中手动打开一个笔记链接并用手机完成安全验证；或者删除 browser_data/ 目录重新扫码登录以清除被标记的会话 [8] 确保代码是最新版 — 2025 年 11 月底有一个 xhshow 签名修复（fix/xhs-sign-20251127 ），如果没更新可能导致额外的请求失败 [1] 核心建议就是放慢速度、减少单次爬取量，这是目前最有效的方式。 To reply, just mention @dosu. How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other    — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[dosubot]

不客气！如果调整配置后还有问题，随时可以在这里继续交流。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

  

[new-pj]

你好，我想请问一下像用户粉丝量这种数据，在这个项目中是不能够获取到的吗？ ----------回复的邮件信息---------- ***@***.***> 于2026年3月31日 周二 上午8:54写道: dosubot[bot] left a comment NanmiCoder/MediaCrawler#857 不客气！如果调整配置后还有问题，随时可以在这里继续交流。 To reply, just mention @dosu. How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other    — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[dosubot]

可以获取的！MediaCrawler 支持抓取用户粉丝量等资料数据。你需要使用 --type creator 模式来运行爬虫。

各平台的用户数据模型中都包含了 fans（粉丝数）和 follows（关注数）等字段 [1]，包括小红书、抖音、B站、微博、快手、知乎、贴吧等平台都支持。

以小红书为例，get_creator_info() 方法会通过解析页面中的 __INITIAL_STATE__ 来提取粉丝数等信息 [2]。

需要注意的是：

• 能获取的是粉丝数量，不支持获取具体的粉丝列表 [3]
• 部分平台（尤其是抖音和微博）的 API 会不定期变动，可能导致抓取失败，需要保持代码为最新版本 [4] [5]

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}