使用Python爬取公众号文章主要两种方法:
- 通过爬取第三方公众号聚合网站
- 通过微信公众平台引用文章接口
微信传送门已被封杀,现存可用的是搜狗微信搜索,2013年腾讯以39.2%的持股和52.3%的投票权,成为搜狗第一大股东,2020年腾讯全资147亿收购搜狗,可以说搜狗已是腾讯的样子,而自2013年开始搜狗搜索就接入了微信公众号数据,因此实际上也能看做第一方的搜索接口。
由于微信公众平台登录验证较为严格,登陆时还需要进行收集扫码确认,因此确认最终使用自动化进行登录获取及的工作,访问接口则使用,而因为详细文章数据是js动态加载出来,因此在这里依然选择通过自动化获取页面,之后就可以通过xpath等方法获得文章内容。
资料查询中有网友称,此接口有访问频次限制,最少的出现过爬200篇文章就被封的现象,因此频率最好尽可能设置一个较大范围的随机数,且控制频率不要过多,代理无用,因为你是需要登录进行操作的。[手动狗头]