V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
junnplus
V2EX  ›  Python

一个基于 scrapy 的项目

  •  2
     
  •   junnplus ·
    junnplus · 2015-07-08 22:01:16 +08:00 · 2656 次点击
    这是一个创建于 3437 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一个基于scrapy和MongoDB的项目

    https://github.com/Junnplus/OnlineJudge_Crawler_Core

    知道ACM的人应该知道VirtualJudge,这个项目实现跟VJ 的功能一样,能抓取各个OJ的题目,以及提交代码后的评判结果,作为自己接下去要写的新版VJ的核心组件. (_(:3 」∠ )_ VJ的作者不知道有没有逛V2EX)

    Features
    - Random UserAgent Support
    - Simulate Login Support
    - Form Submit Support

    目前支持POJ/SDUT_OJ/HDU_OJ/FZU_OJ

    当然代码很多地方还没完善,有错的地方可以提issue或是pr

    如果有帮助的可以star

    我的GitHub: https://github.com/Junnplus/

    6 条回复    2015-07-09 16:27:49 +08:00
    saber000
        1
    saber000  
       2015-07-09 09:31:08 +08:00
    问题的英文应该是Question吧,不是Problem...
    hayao650
        2
    hayao650  
       2015-07-09 09:47:21 +08:00 via Android
    他的意思应该是pull request吧
    junnplus
        3
    junnplus  
    OP
       2015-07-09 11:01:13 +08:00 via Android
    @saber000 你可能不知道oj的问题都叫problem吧
    zanpen2000
        4
    zanpen2000  
       2015-07-09 13:06:12 +08:00
    好多缩写,一个都不知道,就知道一个Scrapy,一看就是高手
    junnplus
        5
    junnplus  
    OP
       2015-07-09 13:25:52 +08:00 via Android
    @zanpen2000 你是说oj的缩写么
    saber000
        6
    saber000  
       2015-07-09 16:27:49 +08:00
    @junnplus 还真是,我就瞅了眼items
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1035 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 20:00 · PVG 04:00 · LAX 12:00 · JFK 15:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.