V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
gavingeng
V2EX  ›  Python

如何通过httplib来获取ajax的返回值?

  •  
  •   gavingeng · 2012-03-11 12:22:03 +08:00 · 4226 次点击
    这是一个创建于 4647 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近想抓取http://www.watchmouse.com/en/ping.php上的host列表,于是就将该页面抓取下来解析,解析js代码中的url参数:
    xmlreqGET('api/pingproxy.php?host=www.twitter.com&cp=sg&now=1331439428&mac=488d7c03efb42dbc608d7a6914c42d25','2');

    主要是mac和cp,然后与我自己的hosts列表进行参数拼装url,然后循环去请求url来获取值,但是现在的返回状态是200,但一直得不到返回值(有时就可以得到),苦恼啊

    已通过socks.py代理来访问墙外信息

    请牛人指点,谢谢!
    7 条回复    1970-01-01 08:00:00 +08:00
    fanzeyi
        1
    fanzeyi  
       2012-03-11 12:26:06 +08:00
    mac 参数似乎是有他们自己的加密方式的…… 楼主确定你知道他们的加密方式?
    CoX
        2
    CoX  
       2012-03-11 12:32:06 +08:00
    貌似mac和cp有时效性,过段时间就失效了
    zhuzhuor
        3
    zhuzhuor  
       2012-03-11 12:32:12 +08:00
    之前貌似看到哪里介绍说httplib不太好,推荐urllib2
    gavingeng
        4
    gavingeng  
    OP
       2012-03-11 13:39:46 +08:00
    @fanzeyi mac是从页面解析得到的,用firebug来看,参数没有问题,我通过页面直接访问之后,再拷贝他们的url,直接在浏览器访问也是可以的,header什么的我都添加了,但就是不好使
    gavingeng
        5
    gavingeng  
    OP
       2012-03-11 13:40:52 +08:00
    @CoX 时效性? now参数是我取的localtime时间戳
    gavingeng
        6
    gavingeng  
    OP
       2012-03-11 13:41:23 +08:00
    @zhuzhuor urllib2也如此,再者,urllib2的底层就是httplib
    CoX
        7
    CoX  
       2012-03-11 13:50:26 +08:00
    @gavingeng 这么说吧,你从页面解析到的mac和cp链接,等上1分钟(具体多少不知道)再去访问,也是没有返回值的;
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1813 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 16:29 · PVG 00:29 · LAX 08:29 · JFK 11:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.