谁知道google 爬虫是咋写的

bluevm · 发表于 2020-12-28 23:29:40

全球域名这么多，怎么保证几天就抓一次呢，有的还时时抓

得是多少台服务器，啥样的服务器能实现啊

怎么我写的爬虫并发几十就到极限了。。。。

rooney · 发表于 2020-12-28 23:39:58

因为你写的爬虫是辣鸡

googlebot2 · 发表于 2020-12-29 07:50:45

2016年google有250万台server

suichang · 发表于 2020-12-29 13:19:22

并发几十就到极限了，你在古董路由器上跑吗？

eMGG · 发表于 2020-12-29 13:16:31

说起来你们可能不信，g家还是用的mjj提供的小鸡来爬数据的

花样撸管冠军 · 发表于 2020-12-29 08:42:30

知识盲区，不懂

sqlemma · 发表于 2020-12-29 07:31:39

google翻几页就限制ip，得循环多ip. 才能实现啊

txjcv · 发表于 2020-12-29 07:10:45

类似于google爬虫的代码在github一大把，自己研究去

zhuban · 发表于 2020-12-29 07:08:06

提示: 作者被禁止或删除内容自动屏蔽

我太难了 · 发表于 2020-12-29 02:08:47

肯定是异步，然后多线程，多进程拉满，然后分布式也弄上。然后去重也是个很麻烦的问题用布隆呗，数据库的话感觉一半是no sql一半是普通的数据库。而且这么大的数据写入量，优化sql语句，分布式数据库如何同步就是盲区了

lemeaco · 发表于 2020-12-29 00:33:48

异步多线程，垃圾笔记本一天爬几亿条数据小意思

		自动登录	找回密码
密码			注册

zhuban zhuban 当前离线积分 5630	11^# 发表于 2020-12-29 07:08:06 来自手机 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
zhuban zhuban 当前离线积分 5630
	回复支持反对举报