求微博历史数据

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2536 天前的主题，其中的信息可能已经有所发展或是发生改变。

本人小硕，想用最近比较热的大数据呀语义分析写个论文混毕业。略懂计算机皮毛，自己扒微博历史数据这个对我来说操作性太强。有没有程序员有相关数据可以提供？或者可实施的解决方案可以提供？

鄙人将感激不尽，可送出闲置 Nexus 6. 其他形式有偿也可以的。谢谢！

语义

数据

皮毛

程序员

28 条回复 • 2017-12-26 00:02:50 +08:00

Pore

2017-12-21 14:23:37 +08:00

刚才盘点了一下身边的东西，可送出以下产品。
1. 闲置 Nexus 6
2. 闲置 iPhone 5s （有锁，就当 iPod 玩儿吧）
3. Office 365 半年以上有效期的分享（ 2018/07/20 过期）

zchlwj

2017-12-21 14:34:41 +08:00

微博数据没有，但是有一份其他的数据，希望对楼主有帮助
http://note.youdao.com/noteshare?id=2934610dc48391b0b5d09a0025474124&sub=756DBC0FAF1B4510B37E9BA4FF84C9E1

p2pCoder

2017-12-21 14:34:44 +08:00

你这需求不够清楚

fishdoubleearly

2017-12-21 14:35:25 +08:00

同求！可赠送北展演出门票一张~

wibile

2017-12-21 14:43:42 +08:00

具体要啥数据？哪方面的？

Pore

2017-12-21 14:44:19 +08:00

@p2pCoder 2014~2016 年的微博数据，包含用户名，时间，微博文就可以了。

tisboy

2017-12-21 14:44:38 +08:00 via iPhone

具体微博什么数据?

Pore

2017-12-21 14:45:28 +08:00

@wibile 2014~2016 年的微博数据，包含用户名，时间，微博文就可以了。没有做过相关的东西，暂时想到这么多。

Pore

2017-12-21 14:46:13 +08:00

@fishdoubleearly 可以搞一个众筹咧，哈哈。

Pore

2017-12-21 14:47:05 +08:00

@tisboy 2014~2016 年的微博数据，包含用户名，时间，微博文就可以了。越全约好。

linuxchild

2017-12-21 14:52:11 +08:00

应该挺大的数据了。。一般人没有，可以尝试联系一下微博？

wibile

2017-12-21 14:52:12 +08:00

额，数据量太大，帮不了了。。。。估计得几百 T 不止吧。。。数据细化点，我还能帮忙爬一下。

PythonKGB

2017-12-21 14:54:15 +08:00

你居然想要两年期间的微博用户的昵称 id 和所有的博文数据？

首先你比公安局网信办还牛逼，

其次你真没这么大的硬盘，

最后你这硕士读的不光没学习，大数据的含义范畴都没搞懂

白玩儿。

Pore

2017-12-21 14:56:04 +08:00

@PythonKGB 前两年确实看到有人这么做了，他还提供原始数据，主要是现在找不到那文章的链接了。

BangBang

2017-12-21 15:12:30 +08:00

啊，我之前上铺毕业论文也是这个哇，不过他是写爬虫自己爬的哇，估摸着有 2kw 条够你做毕业设计的吧？

结论：找个（自己写个）爬虫爬。

Pore

2017-12-21 15:21:08 +08:00

@BangBang 个人技术不是太行阿。听说现在微博封的比较紧，爬虫可行吗？

golmic

2017-12-21 15:23:53 +08:00

楼主可以先找其他人试试，实在不行了加我微信 lujqme 可以帮你爬，数据量看硬盘大小了。

mamtou

2017-12-21 15:35:26 +08:00

http://open.weibo.com/wiki/Business_API%E6%96%87%E6%A1%A3 楼主看下这个 API

awolfly9

2017-12-21 15:40:41 +08:00

微博数据，没有。但是有汽车之家所有口碑的语料数据。

TimePPT

2017-12-21 16:04:26 +08:00

这数据除了微博自己有全量，其他公司或个人根本不可能有，要全爬取了早被告了。
微博之前就告过多家商业公司。

真想取到，正规途径就是以科研名义找微博合作，但一般个人科研项目估计没戏，之前微博跟几家高校有过合作，但数据也不是全量给，现在还有没有合作不清楚。

非正规途径就是找爬过的公司和个人要或者买，商业公司有哪些有数据我不清楚。个人的话，亚二爬梁斌（微博 @梁斌 penny )那肯定有大量数据，但也不可能是全量，且人理不理你另说。

话说回来，你真就仅仅是写论文，难道不应该是抽样数据研究就行了么，干嘛要全量。或者考虑换个方向数据也好找啊，比如新闻什么的

Pore

2017-12-21 16:15:30 +08:00

@TimePPT 您这说的确实在理，还是随机抽取数据量靠谱。不需要贪大贪全。我再好好考虑。