这是一个创建于 3655 天前的主题，其中的信息可能已经有所发展或是发生改变。
举个栗子，googleplay在加载时只加载一部分，剩下的要把滚动条脱到低端才会显示出来，现在要写程序来获取全部加载完的字符串，HtmlUnit和phantomjs都用了下，感觉不是很简单，可能对这两者还是研究的不够透彻，请问各位有什么基于这两种或者是其他更好的方法吗？
 |
1
williamwu 2014-11-25 16:15:16 +08:00
如何抓取很多链接的网页全文呢？
比如汽车之家百科此链接http://car.autohome.com.cn/shuyu/index.html#pvareaid=103435左侧，每个链接对应一篇文章，我如何抓取每一个链接对应文章的正文部分呢？ |
 |
2
crab 2014-11-25 16:23:10 +08:00
googleplay 可以直接post请求（指定开始页，多少页数。）
|
 |
3
icedx 2014-11-25 16:23:58 +08:00
你俩是干啥
|
 |
4
assiadamo OP @williamwu 这个很简单，你是如何抓取到这个网页的就去抓取文章的url很容易得到正文啊，文章标题都会有相同的class吧，通过class可以获取url
|
 |
6
abelyao 2014-11-25 16:48:26 +08:00
直接用正则表达式匹配 response 中你要的内容。
我的站就是滚动无限加载的图片站，莫非楼主要抓我的… |
 |
7
learnshare 2014-11-25 16:52:40 +08:00
直接抓 API 地址
|
 |
8
halfcrazy 2014-11-25 16:55:27 +08:00
分析js找接口
|
 |
9
cdxem713 2014-11-25 20:55:44 +08:00 via iPhone
直接对api发请求就好了，这类异步网站都可以
|
Select Language