一个网页存档项目,与 互联网档案库 类似,推荐的原因是,可以越过新闻网站的付费墙,比如 WSJ 和 彭博社 的付费内容,粘贴链接到网页,即可阅读全文。
它的原理是,使用备份服务的用户做了代理,获取了网站的缓存,并非是采用爬虫的方式,所以无需遵循 robots 协议。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
一个网页存档项目,与 互联网档案库 类似,推荐的原因是,可以越过新闻网站的付费墙,比如 WSJ 和 彭博社 的付费内容,粘贴链接到网页,即可阅读全文。
它的原理是,使用备份服务的用户做了代理,获取了网站的缓存,并非是采用爬虫的方式,所以无需遵循 robots 协议。
暂无评论内容