请教如何爬取油管的评论？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2190 天前的主题，其中的信息可能已经有所发展或是发生改变。

想爬取油管的评论，有没有现成的工具？

油管

现成

请教

15 条回复 • 2018-12-20 22:21:24 +08:00

iappled

2018-12-13 20:51:58 +08:00

没有 api 吗

sjmcefc2

2018-12-13 20:59:05 +08:00

不懂哈，第一次弄这个

crab

2018-12-13 21:01:12 +08:00

这个很简单，抓包下就能看到请求链接了。

ioven

2018-12-13 21:03:07 +08:00

https://developers.google.com/youtube/v3/docs/comments/list

api 接口，很容易搞，就是限制较多

Trim21

2018-12-13 21:03:17 +08:00 via Android

YouTube 有 api 的

westoy

2018-12-13 21:09:06 +08:00

就算搞定采集程序，没采集几页就遭遇 reCAPTCHA 了，挂代理池大部分撞 reCAPTCHA......

sjmcefc2

2018-12-13 21:15:30 +08:00

@westoy 那如何实现大量采集呢

ech0x

2018-12-13 21:25:07 +08:00

@sjmcefc2 大量采集，基本不可能，装 reCAPTCHA 还算好的，如果给你返回假数据更难搞。

sjmcefc2

2018-12-13 21:45:19 +08:00

@ech0x 感觉很多评论信息量很大啊

onedayoneapple

2018-12-13 22:14:23 +08:00 via iPhone

@sjmcefc2 比如说？采集评论有啥用

dfadf55

2018-12-13 22:48:26 +08:00

https://cdn.v2ex.com/avatar/37b9/a746/150787_normal.png?m=1524095699

aa514758835

2018-12-14 09:22:31 +08:00

@dfadf55 妈耶，这个评论图片还需要打开才能看

no1xsyzy

2018-12-14 10:24:39 +08:00

@aa514758835 妈耶，这个图片分明是 #8 的头像……大概是 @dfadf55 把图片拖进评论框了……

bighead22

2018-12-16 20:00:17 +08:00

selenium

sjmcefc2

2018-12-20 22:21:24 +08:00

@bighead22 感谢。