golang 开荒 - 2 - 用原生GO写一个分布式爬虫

使用ElasticSearch 作为数据存储

标准模板库实现 http 数据展示

主题

内容：新闻，博客，社区 人： 相亲，求职网站

方式

城市列表 》 城市 》 下一页 》 用户

用户 》 猜你喜欢

整体算法

要去掉死循环，去掉页面之前互相连接

单任务： 一个协程，在一个goroutine并发版：单机 多任务，有多个goroutine分布式：再加一些网络接口