爬虫与自动化在微信公众号发布文章上的应用

最近利用闲暇空余时间，尝试将一个想法落地，进而形成一款产品。这个想法是，将微信公众号的发布文章尽可能的自动化；期间也对涉及到的爬虫、自动化进行了思考和发散性实践，一并记录一下。

缘起

微信公众号作为微信中相当大的流量载体，我们何不利用关键字搜索将长尾的小流量利用起来呢？那么，细化到实际的需求就是：在某一块领域，不断每天发布相关文章，吸引到通过关键字搜索而来的用户流量实现原始积累。这里暂不考虑搜索关键字优化等，先快速迭代，敏捷起来。

从问题抽象到需求具象

一般来说，微信公众号的文章发布主要是作者通过以下步骤完成：

可以将该过程抽象为：

具体的技术实现方式归纳如下：

数据爬虫

爬虫作为一种获取数据的方式，涉及的面还是很广的，结合实际使用和了解的情况，做了如下的归纳。

1. 两种攻防场景

   • JS 注入/接口层面可以搞定的数据
     • 静态页面为主
     • 从源代码/接口角度出发，一旦改版需要人工介入
   • 页面层面才能搞定的数据
     • 动态页面为主（大趋势）
     • Appium/Puppeteer 等工具较重，比较耗时
     • 支持可视化，可基于截图进行图像识别后获取数据

2. 具体涉及的工具

   • 正则匹配：繁琐低效，门槛不高
   • BeautifulSoup/lxml：强大的元素解析器

3. 爬虫策略

   • 广度优先
   • 深度优先
   • 两者结合的特定策略

4. 反爬虫对抗（高频爬虫必备）

   • 代理池
   • fake-ua
   • Cookie 管理
   • 验证码识别 Captcha

5. 数据的结构化/持久化

   • 写文件
   • 存数据库

6. 爬虫框架 Scrapy

生成符合格式的文本-排版编辑器

在完成“收集数据”后，需要将文本处理成符合的格式。比如，实现微信公众号排版编辑器的功能，可转换 Markdown 到微信特制的 HTML。

• 文本拼接处理
• Markdown化
• 微信公众号排版编辑器（命令行版）

自动化

顾名思义，自动化就是将繁琐的重复性操作简化。在自动化这一块，主要实践了两款比较知名的工具：Appium 和 Puppeteer。

• Appium

主要用于 App 端自动化测试（自动跑批验证主流程），当然也能利用其自动化特性获取数据（需对截图进行二次加工处理）。例如：从“同花顺”线上 App 中获取上证 A50 每只股票的 K 线图。

• Puppeteer

Google 维护的基于 Chromium 的开发自动化工具，主要用于动态网页页面的自动化测试。例如：在微信公众号官网完成自动发布文章的工具就是基于 Puppeteer 实现的。

结语

从一个实际需求出发，对整个实现流程进行了梳理和具象。将需求分解成一些较小的问题，并通过输入 -> 处理 -> 输出的方法论进行解决。