V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
beryl
V2EX  ›  程序员

Java VS Py 爬虫

  •  
  •   beryl · 2018-10-22 22:38:56 +08:00 · 2351 次点击
    这是一个创建于 2229 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Java 相对于 Py 爬虫有什么优缺点呀?

    目的: 学习 Java、爬虫 抓取数据,积累数据

    9 条回复    2019-06-25 12:58:20 +08:00
    ZhengJL
        1
    ZhengJL  
       2018-10-22 22:46:01 +08:00
    java 写爬虫没有 py 那么方便,简介
    murmur
        2
    murmur  
       2018-10-22 22:48:44 +08:00
    作为爬虫的框架来看 现在语言越来越不重要了 更多的策略要放在代理池 反扒 代码分析上
    Cellei
        3
    Cellei  
       2018-10-23 08:31:54 +08:00
    增加一个 Go 爬虫,等待大佬分析
    brucedone
        4
    brucedone  
       2018-10-23 10:20:47 +08:00
    https://github.com/BruceDone/awesome-crawler

    这么多框架,你随便选了,选你自己熟悉的语言然后学习
    locoz
        5
    locoz  
       2018-10-23 11:49:00 +08:00
    Java 写爬虫的缺点就是要写很多冗余的代码,同样的一个爬虫 Java 要写一百多行,Python 只用十行
    优点就是碰到某些特殊情况会比 Python 方便一些,比如原本在服务器上跑的爬虫要改成一个 AndroidAPP,核心部分不用动太多就能移植过去了
    不过实际上语言并不关键,不同的编程语言发出的请求都是一样的,最终还是要处理反爬,这个就是单纯的分析了,跟你用的语言无关
    beryl
        6
    beryl  
    OP
       2018-10-23 12:28:05 +08:00
    @locoz 但是在基本入门、以及对应的工具包和生态上,是不是 java 稍微弱势点,在爬虫方面
    smeraldo
        7
    smeraldo  
       2018-10-23 13:57:19 +08:00
    拿 jsoup 写过爬虫,还算安逸,代码量是有点多。因为不熟悉 py,所以用 py 写主观上反而觉得有些慢
    locoz
        8
    locoz  
       2018-10-23 14:28:42 +08:00
    @beryl #6 emmm。。非常基础的东西确实是 Python 的比较多一些,但是实际上那些非常基础的东西跟语言的关系也不是很大,生态的话我不用 Java 所以不太清楚
    p1094358629
        9
    p1094358629  
       2019-06-25 12:58:20 +08:00
    就响应而言,python 更快
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4866 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 05:38 · PVG 13:38 · LAX 21:38 · JFK 00:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.