V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
keven
V2EX  ›  分享创造

一款智能化的大数据收集软件-八爪鱼采集器

  •  
  •   keven · 2014-03-23 23:30:05 +08:00 · 8233 次点击
    这是一个创建于 3903 天前的主题,其中的信息可能已经有所发展或是发生改变。
    这个东西我和朋友一起研发的,也是研发了大约两年多的时间,2012年初开始的,期间经过很多开心激动,艰难坎坷,现在是正式版最近刚上线。

    八爪鱼采集器以完全自主研发的分布式云计算平台为核心,可以在很短的时间内,轻松从各种不同的网站或者网页获取大量的规范化数据,帮助任何需要从网页获取信息的客户实现数据自动化采集,编辑,规范化,摆脱对人工搜索及收集数据的依赖,从而降低获取信息的成本,提高效率。

    可能很多人会说,就是个爬虫工具,就是个采集器,其实,八爪鱼跟大家常见的其他采集器有着本质的不同,八爪鱼是为大数据而诞生的,不是垃圾内容制造,不是论坛搬家新闻转载,他以完全可视化操作,智能自定义流程,云采集,独创智能化网页定位解析引擎等等完全改变了采集器的形象,八爪鱼的目标简单来说就是一句话:“八爪鱼,让数据触手可及!”

    希望能得到各位朋友的指导和建议,也希望能在大家的帮助和关注下做得更好!

    不知道怎么发截图,没办法展示界面,详情大家请可以看首页,有个1分钟的视频:
    http://www.bazhuayu.cc
    11 条回复    2014-04-18 23:32:14 +08:00
    leiz
        1
    leiz  
       2014-03-25 00:12:59 +08:00   ❤️ 1
    视频怎么做的?
    dennyzhang
        2
    dennyzhang  
       2014-03-25 11:03:18 +08:00   ❤️ 1
    界面蛮清晰的,看起来就好专业。赞!
    openroc
        3
    openroc  
       2014-03-25 13:27:57 +08:00   ❤️ 1
    +1, 貌似以前推荐过。:)
    keven
        4
    keven  
    OP
       2014-03-25 22:59:04 +08:00
    谢谢大家支持,欢迎大家使用,目前所有功能都是免费的,有任何问题都可以到qq群提问61570666
    simpx
        5
    simpx  
       2014-03-26 09:58:29 +08:00   ❤️ 1
    看了一下介绍,感觉开发这么一套软件加上背后的云服务器的成本肯定不低,而收入目前看肯定还不高。
    本来很好奇你们团队为什么在初期就投入这么大,看了“关于”后明白了,你们从提供解决方案转型为做产品面向客户。
    zhouzm
        6
    zhouzm  
       2014-03-26 10:08:04 +08:00   ❤️ 1
    要赢利就得有大量用户,推广成本不低啊。
    fanghui
        7
    fanghui  
       2014-03-26 17:56:32 +08:00   ❤️ 1
    使用了下,例子都挺好,难度可不低,采集v2ex的更新条目,没采集成功
    zouyun5152
        8
    zouyun5152  
       2014-03-26 19:38:59 +08:00   ❤️ 1
    不错,马克下
    keven
        9
    keven  
    OP
       2014-03-26 22:49:59 +08:00
    呵呵,谢谢大家支持,我们采集过的网站很多了,目前还没有碰到采集不了的,可能是配置稍微有点不对,其实采集很简单的,一般的网站2分钟就可以配置完成。
    keven
        10
    keven  
    OP
       2014-03-26 23:20:46 +08:00
    @fanghui 刚试了一下,配一个完整的采集V2EX最新话题的,大约需要10分钟,规则已经放到八爪鱼采集器规则市场,下载即可直接跑出数据,使用本规则原理上可以采集V2EX所有话题,请大家以学习为目的使用该规则,遵守互联网职业道德。

    以下贴出测试执行的前20条数据以便参考(直接从excel复制粘贴,格式混乱请谅解):

    标题 分类 发布人 发布时间 点击数 内容 回复数 网址 采集时间
    订了一点 Github 的东东,部分东西可以出给 V 友 问与答 coagent 13 小时 45 分钟前 1252 "订了一点 Github 的东东,Github 发货在途:

    2x Cork Coasters - Set of Four
    2x Octocat Mug - White
    2x Octobiwan Mug - White
    2x Black GitHub Mug - Black
    2x Octocat Laptop Decal - Octocat Laptop Decal
    上面的可以全部出

    下面的贴纸,偶要 20 张,其余出
    2x Die Cut GitHub Stickers - 50 Pack 3""" 31 http://www.v2ex.com/t/105905#reply31 2014-03-26 23:12:32
    android 开发一个外卖软件,关于商家信息存储 问与答 yanxiSir 2 小时 1 分钟前 80 android开发一个外卖软件,关于商家信息存储 使用xml文件存储 还是数据库存储呢?如果用数据库存储在服务器端 怎么连接数据库 求大神啊? 小弟新手~=0= http://www.v2ex.com/t/106017#reply0 2014-03-26 23:12:37
    有魅族的兄弟不??想买个 mx3 啊?求帮忙了..... 问与答 geew 2 小时 7 分钟前 94 这年头, 手机咋就这么难买啊.................................... http://www.v2ex.com/t/106015#reply0 2014-03-26 23:12:40
    如果你在帝都有了 80 万,你会怎么用这笔钱? 问与答 redf 8 小时 1 分钟前 971 23 http://www.v2ex.com/t/105964#reply23 2014-03-26 23:12:44
    [太诡异] MBA 左 USB 插了移动硬盘就不能连 Wifi? Mac OS X creamiced 5 小时 2 分钟前 169 "这几天在家经常连不上wifi,具体表现是路由器里的无线网络主机状态显示有设备,但是机子分不到ip,DHCP里绑定了也没有用。
    排查了半天发现只有当左USB接口连了移动硬盘的时候才会这样。有网的时候插上去瞬间断网,推出移动硬盘(而且非要把USB拔掉)之后重新连wifi才能上网。
    左USB连键盘或者U盘就一切正常,而移动硬盘连右USB也没问题。
    另外的问题是左USB连iPad也会时断时续,右USB就一切正常。像是电压不足。
    但是USB端口会导致无线网络的问题?太诡异了,各位有什么看法?
    对了移动硬盘是希捷1T,分了一个ExFAT和一个Timemachine." 4 http://www.v2ex.com/t/105996#reply4 2014-03-26 23:12:47
    收个红米 note 加 200 求一个!!!! 二手交易 revival83 3 小时 13 分钟前 154 2 http://www.v2ex.com/t/106007#reply2 2014-03-26 23:12:51
    求高手帮我测试可汗新版的代码,不会高 PYTHON 这么复杂的东西。配置太麻烦了。https://github.com/khan https://www.khanacademy.org/ 急需啊。求指教。[email protected] 程序员 blackrose 2 小时 25 分钟前 117 http://www.v2ex.com/t/106012#reply0 2014-03-26 23:12:54
    Patatap - 这个好好玩~ 分享发现 icevil 3 小时 15 分钟前 161 "尝试了各种组合,不厌其烦玩了半小时,哈哈~

    http://www.patatap.com/" http://www.v2ex.com/t/106006#reply0 2014-03-26 23:12:57
    求购小米 F 码一枚,或者红米电信版 二手交易 ste 4 小时 34 分钟前 143 RT,站内信联系。 3 http://www.v2ex.com/t/106002#reply3 2014-03-26 23:13:01
    199 元到付出一罐一段奶粉,900g 的,品牌是 Friso 美素佳儿 金装美素力 二手交易 ibolee 9 小时 41 分钟前 193 "http://2.taobao.com/item.htm?id=37824052633&grade=7.0

    需要直接拍~" 5 http://www.v2ex.com/t/105949#reply5 2014-03-26 23:13:04
    600 出一个二手 UP,蓝色 M 号,使用不到一个小时。 二手交易 stonehoo 2 小时 11 分钟前 123 "设备本身没有问题,只是折腾下来发现买小了,另外不能蓝牙实时同步,用惯了fitbit 完全不适应啊。
    图片请看我翻我的推特 @stonehoo

    在amazon上买的,108刀,还税了120元。
    请参考这里
    http://www.amazon.com/gp/product/B00A17IA1S/ref=oh_details_o05_s00_i00?ie=UTF8&psc=1

    没有淘宝链接,有想要的朋友可以旺旺我 istonehoo.taobao.com" http://www.v2ex.com/t/106013#reply0 2014-03-26 23:13:07
    [十年后社交网络招聘] iOS 开发者 酷工作 thanksmymagic 2 小时 9 分钟前 125 "1. 网站介绍

    10years.me,「十年后」是一个基于未来时间轴的全新社交网络,让人们可以分享梦想和未来人生,基于每个梦想分享想法和资料,并和有趣的人进行真实丰富的交流

    我们现在还是一个创业团队,核心成员8人,多来自于复旦大学,成员背景有战略咨询、软件、设计、电影、法律等。也请理解由于我们所处的阶段,可能不能提供有竞争力的薪水水平,但我们会提供最好的创业氛围和工作环境。

    网站已上线3个月,目前在快速成长,正在筹备iOS移动端应用。已经完成全套设计图以及后台数据接口。

    2. 媒体报道

    青年报:《“十年后,你会成为怎样的人?”90后复旦毕业生创“十年后”网站》
    http://www.why.com.cn/epublish/node37623/node38430/userobject7ai384938.html
    36氪:《我们能否依靠“梦想”构筑社交平台?》
    http://www.36kr.com/p/208026.html
    Pingwest:《梦想时间轴“十年后”》
    http://www.pingwest.com/demo/dream-can-be-social/
    复旦团委:《十年後-是创业更是梦想》
    http://www.youth.fudan.edu.cn/new/index.php?action=information&second=0&id=3987
    复旦人周报:《复旦合伙人:梦想在路上》
    http://su.fudan.edu.cn/wiki/_media/su_fdrwk/349shu.pdf


    3. 我们需要

    # iOS移动app开发者

    4. 参与可以得到

    a. 参与并体验一个新兴社交网络的各方面扩张历程
    b. 你的设计结果将在第一时间被世界各地的用户接触并体验
    c. 基于十年后的平台广泛接触创业界、科技界、媒体以及NGO组织
    d. 与十年后团队一起成长以及成为团队核心成员/合伙人的机会

    5. 我们要求

    a. 技术能力
    # objective-c 基础
    # 快速学习能力
    # 最好有项目经验

    b. 创业精神
    # 由于我们处于快速扩张阶段,近期会进行密集的设计与开发,所以需要对所喜爱事业的专注和投入

    6. 联系

    如果希望加入我们,请将简历发送至 [email protected] 。我们会在一周内进行筛选并进行下一步的联系。谢谢。" http://www.v2ex.com/t/106014#reply0 2014-03-26 23:13:11
    OS X 10.9 自动加载的环境变量在哪设置?/etc/profile 好像不起作用 Mac OS X xiaochong 1 天前 273 在/etc/profile 中配置了不起作用,source后只能在shell中使用,gui程序无效,怎么办? 6 http://www.v2ex.com/t/105886#reply6 2014-03-26 23:13:16
    Express 如何得到 angular 的 path? node.js coolicer 13 小时 48 分钟前 441 "angular使用的是 localhost:3000/#!/user,

    app.get('/user') 好像不能用啊。" 13 http://www.v2ex.com/t/105904#reply13 2014-03-26 23:13:20
    Stacksocial 的一个免费 Bundle,内含 7 款 APP(仅限于 Mac OSX) Mac OS X MrMario 6 小时 12 分钟前 368 "7 款软件分别是 :
    X-Mirage、ClipBuddy、Elmedia Player Pro、cf/x Mosaic、Vidiary Video Journal App、Bits 以及 Sweetie。

    链接: http://stacksocial.com/sales/the-mac-freebie-bundle-3-0

    有需要的自取
    https://assets-stacksocial.netdna-ssl.com/images/981/medium_mf.jpg" 2 http://www.v2ex.com/t/105979#reply2 2014-03-26 23:13:23
    求一靠谱 游戏 UI 大拿 ,外包 或者合作 都行, 有意者联系我 设计 mm520911 3 小时 26 分钟前 109 "之前一直给公司打工,先想抽空余时间开发自己的游戏,
    故在此寻一名靠谱 游戏 UI 大拿 ,外包 或者合作 都行, 游戏不复杂,简单。
    有意者联系我。" 1 http://www.v2ex.com/t/106004#reply1 2014-03-26 23:13:27
    台式机噪音很烦人如何解决? 问与答 tywtyw2002 6 小时 19 分钟前 327 "自己和同学合租,住在一个屋子里面。
    有一个台式机充当服务器,24小时开机,刚开始还感觉没啥太大问题,时间久了(半个月吧)就感觉台式机的噪音好烦人,但是由于再跑一些监控的东西又不能关机,有什么解决方法呢?

    昨天刚刚清完灰尘,但是感觉噪音依旧,用iphone的噪音测试软件,看了一下是50 - 60左右。

    目前的温度是:
    Adapter: ISA adapter
    Ch. 0 DIMM 0: +58.0°C (low = +92.5°C, high = +124.0°C)
    Ch. 0 DIMM 1: +55.0°C (low = +82.0°C, high = +124.0°C)
    Ch. 1 DIMM 0: +57.0°C (low = +92.5°C, high = +124.0°C)
    Ch. 1 DIMM 1: +55.0°C (low = +90.0°C, high = +124.0°C)
    Ch. 2 DIMM 0: +57.0°C (low = +91.0°C, high = +124.0°C)
    Ch. 3 DIMM 0: +56.0°C (low = +91.0°C, high = +124.0°C)

    coretemp-isa-0000
    Adapter: ISA adapter
    Core 0: +61.0°C (high = +88.0°C, crit = +100.0°C)
    Core 1: +64.0°C (high = +88.0°C, crit = +100.0°C)
    Core 2: +67.0°C (high = +88.0°C, crit = +100.0°C)
    Core 3: +66.0°C (high = +88.0°C, crit = +100.0°C)

    nouveau-pci-0700
    Adapter: PCI adapter
    temp1: +59.0°C (high = +95.0°C, crit = +105.0°C)" 20 http://www.v2ex.com/t/105976#reply20 2014-03-26 23:13:31
    去天才吧检测结果,是磁盘文件系统故障。 Mac OS X kinghenry 12 小时 30 分钟前 900 "http://www.v2ex.com/t/103183#reply91
    在这个帖子里吐槽了mac os的不稳定。在连续三次五国之后,终于抗不住了,昨天去了天才吧检测,结果硬件没有问题,再检测磁盘的时候,跳出来说software故障。然后重装了系统,再把原来time machine的东西用迁移助手恢复回去。

    现在系统是流畅稳定了,不过application经常有崩溃的情况。修复磁盘发现有大量的acl错误,google了一下发现迁移数据后就会这样。

    所以,结论是,mac osx系统稳定性的确欠佳。友情提示,mac下不要折腾,尽量少装些应用,可以减少系统不稳定的可能性。减少使用cleanmymac这类工具可能也有助于避免系统不稳定(猜测)。" 26 http://www.v2ex.com/t/105920#reply26 2014-03-26 23:13:34
    [不懂产品的设计师不是好前端] 前端求职,求入碗 求职 juo 5 小时 29 分钟前 254 "## 个人介绍
    12年参加工作,第一年做java,大部分时间花在研究前端了,第二年业余时间自学Rails,年中时来到现在公司专职做前端;

    喜欢创业公司的氛围,对产品、交互和设计非常感兴趣,公司产品现在这版[首页](http://starsworld.cn/)就是我跟设计师一起设计的,业余也经常去[Themeforest](http://themeforest.net/)上面模仿一些网站;


    ## 离职原因
    13年6月以前端工程师的身份加入现在的公司,到现在快一年了,中间做过一些页面,跟产品经理聊过产品,跟设计师探讨过交互,有付出也有收获,但是不管对与错,产品方向不是我能决定的,说到底,我只是一个小小的前端,好桑心的感觉...

    ## 技能&框架

    - HTML+CSS+JS+jQuery, 页面布局无压力,对IE兼容还欠缺
    - 熟练使用并自定义Bootstrap,熟悉Foundation等流行框架, 熟悉Extjs
    - Ember.js 相当熟练,是当前最拿手的技能,可以使用Rails API + Ember.js完成完整的单页应用
    <ul>
    - Rails, 能解决开发过程中常见问题,用过的Gem: devise, Omniauth, simple_form, mongoid, kaminari, jbuilder, carrierwave等
    - 了解Node.js, 以及Grunt, Yeoman, Bower等开源工具


    ## 作品展示
    网址: http://starsworld.cn
    明星世界官网, 响应式设计, Rails+Bootstrap;
    包括[6个细小的应用](http://starsworld.cn/web)和一个[个人空间](http://starsworld.cn/starzone/leijia),都是用Ember.js开发,都支持响应式

    网址: http://juocode.github.io/
    个人博客

    网址: http://deskapptrack.com/
    业余爱好, PSD 2 Html, 支持响应式

    网址: http://codepen.io/juocode/
    Codepen上有平时写的一些小Demo

    网址: http://starsworld.cn/weixin/leijia
    明星世界微信版,关注“正坤技术”服务号查看详情;
    或使用手机访问http://starsworld.cn/weixin/leijia查看

    网址: http://pan.baidu.com/s/1c0iovq4
    个人简历

    ## 我的优点:
    学东西快,Ember.js一周上手;
    有产品意识,能对产品发展提出自己的建议,不做单纯的程序猿;
    做前端,品味很重要,当然品味因人而异,可以代替半个设计师

    ## 个人信息
    GIthub: https://github.com/JuoCode
    邮箱: [email protected]
    QQ: 240035336" 4 http://www.v2ex.com/t/105987#reply4 2014-03-26 23:13:38



    @fanghui
    myAngel
        11
    myAngel  
       2014-04-18 23:32:14 +08:00
    我只想问一句,怎么能卸载掉?
    控制面板卸载不了啊?
    不会是坑爹的货吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4129 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 05:30 · PVG 13:30 · LAX 21:30 · JFK 00:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.