想请问下如何递归的从新闻站点当前日页面抓取历史页面呢？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3477 天前的主题，其中的信息可能已经有所发展或是发生改变。

我之前用的scrapy 如果抓比如凤凰网从主页出发大概只能抓到近几个月的东西而且不全……

看到今天讨论爬虫的比较多所以来问一下
@binux
@Feiox

6 条回复 • 2015-05-27 19:41:50 +08:00

binux

2015-05-27 15:29:53 +08:00

前提是对方站点提供了历史页面

shierji

2015-05-27 15:34:38 +08:00 via Android

@binux 历史页面是存在的但是似乎是孤岛没法从现在的网页爬过去

之前构思过通过搜索引擎获取历史页面链接但是感觉限制很多而且很复杂

binux

2015-05-27 15:50:20 +08:00

@shierji 历史页面的列表页呢？

Feiox

2015-05-27 16:15:19 +08:00

shierji

2015-05-27 16:45:45 +08:00 via Android

@Feiox 我回去研究下～～

shierji

2015-05-27 19:41:50 +08:00

@Feiox
@binux 找到入口了。谢谢！