女票想批量保存微博猫咪图片，就写了个微博图片爬虫下载器~
jasonkayzk · JasonkayZK · 2020-12-20 10:00:12 +08:00 · 10337 次点击这是一个创建于 1439 天前的主题，其中的信息可能已经有所发展或是发生改变。
第 1 条附言 · 2020-12-20 12:13:22 +08:00
整个下载器的实现过程其实挺简单的，有兴趣的可以看我之前总结的过程；
- 国外Github Pages: 手把手教你使用Electron开发新浪微博免登录图片下载器
- 国内Gitee Pages镜像: 手把手教你使用Electron开发新浪微博免登录图片下载器
关于Linux和MacOS的版本，当时就是冲着Electron跨平台去写的，结果尝试编译了几次都有问题；= =
我本身也不是搞前端的，希望有大佬能出手相助看看是啥个问题；
第 2 条附言 · 2021-01-07 13:15:27 +08:00
用Electron-Vue模板重构了一下代码；
现在各个平台都能够正常使用npm run dev本地开发，npm run build编译了；
 |
1
wushigejiajia01 2020-12-20 10:08:24 +08:00 via Android
可以爬小姐姐吧？
那真是好东西了 |
 |
2
jasonkayzk OP @wushigejiajia01 只要是微博能看到的图片都是可以爬的。但是不能去水印；
|
 |
3
Tyuans 2020-12-20 10:32:45 +08:00
批量搬运小姐姐图片到外网
|
|
4
jasonkayzk OP @Tyuans 哈哈，可以可以~
|
 |
5
anxn 2020-12-20 10:46:39 +08:00 via Android
Linux 能不能也给一份 release，我编译会报错
|
 |
6
whatalittleboy 2020-12-20 10:46:42 +08:00
体积有点大，解压后 160 MB，但启动速度挺快的👍👍
|
 |
7
s1th 2020-12-20 10:47:35 +08:00 via iPhone
别光说，小姐姐图片多的微博是哪个
|
|
8
jasonkayzk OP @whatalittleboy 体积大是因为 Electron 编译之后本身就太大，项目挺简单的也没用啥东西。= =
|
 |
9
liyiecho 2020-12-20 11:07:23 +08:00  1
@anxn #5 我用这个爬 https://github.com/dataabc/weiboSpider
|
 |
11
wangdefu 2020-12-20 11:32:22 +08:00 via Android
|
|
12
jasonkayzk OP @anxn 我试着编译一下看看= =
|
|
13
jasonkayzk OP @wangdefu 如果是 py 脚本的话，设置个 crontab 丢到服务器上跑呗；
|
 |
14
shgdym 2020-12-20 11:49:57 +08:00
py 写的 很简单的一个微博爬虫: https://github.com/shgdym/weiboSpider
|
 |
16
qxsd 2020-12-20 12:05:33 +08:00 via Android
有可以爬评论图片的吗
|
|
18
jasonkayzk OP @qxsd 这个也可以爬，只是稍微麻烦一些了；你可以直接 Fork 这个仓库，然后修改鸭！
|
 |
19
crab 2020-12-20 13:32:17 +08:00
时间范围判断不只要大于等于开始时间，也还要判断一个小于等于结束时间吧。
|
 |
20
renyiqiu 2020-12-20 14:14:12 +08:00
不错，用起来
|
 |
21
kingcos 2020-12-20 14:29:23 +08:00
如果是已编辑是不是就爬不到了？
|
|
22
jasonkayzk OP @kingcos 这个…，我也不玩微博= =，我也不知道啊！你试试 /呆滞
|
 |
23
justfun 2020-12-20 16:25:47 +08:00
杀鸡焉用宰牛刀 😅😂。正好昨天用 PHP 写了个微博爬虫 备份了下自己微博的数据。体积才不到 20KB
|
 |
24
limuyan44 2020-12-20 16:37:20 +08:00
几年前的一个深夜为了爬微博搞笑排行榜的下面的表情包写了个，微博展示的图片算是又压了一遍，记得路径改成 large 就好了，后来倒是爬了不少小姐姐。。
|
 |
26
Raynard 2020-12-20 16:44:33 +08:00
|
|
27
jasonkayzk OP @justfun hhhh~ 正好前段时间粗略看了下 Electron，就写了一个呗；😅😅
|
 |
28
JCZ2MkKb5S8ZX9pq 2020-12-20 19:00:35 +08:00
我也造过这个轮子，我记得获取微博的时候是需要登陆过的 cookie 。然后下载图片没问题，但下载视频的地址没搞（入口用的 wap 版）。
另外借楼问一下，之前搞的时候发现过被夹的图片（会变成灰色图），获得 id 之后也能看到原图。但过太久了，忘了怎么搞了。有大神知道嘛？ |
|
29
jasonkayzk OP @JCZ2MkKb5S8ZX9pq 我的这个是不需要 cookie 的，用微博移动版： https://m.weibo.cn/ ，可以看看这个能不能实现= =
|
 |
30
luhe 2020-12-20 19:21:18 +08:00
|
 |
32
5966 2020-12-20 22:02:56 +08:00 via iPhone
不错，问问，我就想找一个命名规则是根据微博（首句）内容命名的！
|
 |
33
YouLMAO 2020-12-20 22:36:18 +08:00 via Android
你确定 pussy 是猫咪，还是对你意有所指
|
|
34
jasonkayzk OP @5966 这个改一下源码就好了，在寻找图片链接的时候，同时判断一下微博的内容是否符合你的要求就行了！
|
 |
35
someonedeng 2020-12-21 09:18:24 +08:00
@YouLMAO 老蛇皮了
|
 |
36
liumxz 2020-12-21 09:49:31 +08:00
没下载地址啊
|
|
37
liumxz 2020-12-21 09:51:46 +08:00
看到了 我的
|
 |
38
lwlizhe 2020-12-21 09:52:30 +08:00
呵，一看就是假的，试都不用试
会写程序的会有女朋友？[手动狗头] |
|
39
jasonkayzk OP @lwlizhe 啪的一下，很快啊！
|
 |
41
skygee 2020-12-21 10:19:01 +08:00
这个不怕封 ip 吗
|
|
43
jasonkayzk OP @skygee 如果不是深度使用，以 JS 单线程和设置的延时来看，这点爬虫流量应该算不了什么吧= =；
|
 |
44
night98 2020-12-21 10:43:07 +08:00
能爬原图吗？还是普通大图？原图大小一般 3-5Mb 大小
|
|
45
jasonkayzk OP @night98 应该是原图，是请求返回 json 的"large"字段；
|
|
46
JCZ2MkKb5S8ZX9pq 2020-12-21 11:22:34 +08:00
|
|
47
jasonkayzk OP @JCZ2MkKb5S8ZX9pq 暂时没发现频度限制，本来想嵌入一个 go 并发下载的，后来想了想，万一太猛被封 IP 了呢，所以还是用 JS 吧；
|
|
48
JCZ2MkKb5S8ZX9pq 2020-12-21 12:00:13 +08:00
@jasonkayzk
我看了看 log，这个 mobile 版的我也抓过。不过去年请求参数限制过一阵子。所以改用 wap+有效 cookie 了。 # 20190717 已失效 改用 token 验证 尚未破解 目前只能获得前 10 条 但是现在请求参数反而简化了。感觉说不定啥时候微博又会变。 |
 |
49
adm7n 2020-12-21 12:11:04 +08:00
微博有个好友圈功能，只有互相关注了才能看到好友圈内的微博，请问这种情况是否可以下载图片（我的账号有好友圈权限）。
|
 |
50
fl2d 2020-12-21 12:49:47 +08:00
她可能只是想让你买只猫
|
|
51
jasonkayzk OP 1
@JCZ2MkKb5S8ZX9pq 哈哈，这个倒是有可能；爬虫这种一直都不稳定；= =
|
|
52
jasonkayzk OP @adm7n 这个估计不行，得用 cookie 的方式；可以参考其他人发的解决方案；
|
|
53
jasonkayzk OP @fl2d 养了的，哈哈
|
|
54
justfun 2020-12-21 13:59:47 +08:00
|
 |
55
nspih 2020-12-21 14:08:15 +08:00
年轻人不讲武德，居然来爬、来偷袭我 69 岁老同志的微博。这好吗？这不好。希望你耗子尾汁
|
 |
56
ab 2020-12-21 14:10:04 +08:00 via iPhone
有点意思啊
|
|
58
jasonkayzk OP @ab 谢谢夸奖，哈哈
|
|
59
jasonkayzk OP @nspih 二百多公斤的英国大理石都爬不动我的一个微博；
|
|
60
JCZ2MkKb5S8ZX9pq 2020-12-21 14:20:10 +08:00
|
|
61
justfun 2020-12-21 14:26:50 +08:00
@JCZ2MkKb5S8ZX9pq PC Web 端 。https://weibo.com/ 到这里登录 。如果是旧版界面的话 右上角头像偏下的位置有一个立即体验新版微博的入口
|
 |
62
jackrebel 2020-12-21 16:46:29 +08:00
这个是个好玩的东西。
|
|
63
jasonkayzk OP @jackrebel 哈哈，谢谢夸奖~
|
 |
64
terrywater 2020-12-21 21:48:03 +08:00
@wushigejiajia01 爬妹子? 好有画面感。上攀双峰，下探双叶。
|
|
65
terrywater 2020-12-21 21:48:47 +08:00
@jasonkayzk 你闪了吗？你没有闪！
|
 |
66
qzhai 2020-12-22 13:15:15 +08:00
MD， 有女票又有猫
|
 |
67
iyg429 2020-12-24 08:14:00 +08:00 via iPhone
有没有微博视频下载？
|
|
68
iyg429 2020-12-24 08:14:33 +08:00 via iPhone
微博好多想看的我连续剧 还是高清的。如果可以选定日期下载好完美
|
|
69
jasonkayzk OP @iyg429 是可以添加视频下载的，我请求的那个 json 里面有视频的流地址；但是一般视频挺大的我就没有加= =；
|
 |
70
mojimomo 2020-12-24 14:08:33 +08:00
我批量下了很多图片，但是发现个问题，很多图片下载不完整都是一条条线。是不是下载的模块还需要优化下？
|
|
71
jasonkayzk OP @mojimomo 可能是因为图片木有下载完；等全部下载完应该就全显示了；如果下了一半，会出现这个问题；
|
 |
72
overthemoon 2020-12-24 15:32:18 +08:00
收藏了，缺一个叫我帮忙下载微博图片的女朋友
|
|
73
jasonkayzk OP @overthemoon 哈哈，肯定会有的！
|
|
74
mojimomo 2020-12-25 10:26:17 +08:00
|
 |
75
dongxy688 2020-12-25 16:19:09 +08:00
爬下来放外网卖了
|
|
76
jasonkayzk OP @dongxy688 别把，是个狼人！
|
|
77
jasonkayzk OP @mojimomo 多谢夸奖哈，我最近准备回家。回家之后，看看能不能重构一下代码，把这个修复一下；顺便支持跨平台！
|
|
79
jasonkayzk OP @anxn Linux 版本已经搞定了；
|
|
80
jasonkayzk OP 用模板重构了代码，加上了 Linux 和 Mac 的 Release ；
|
|
81
anxn 2021-01-08 23:02:40 +08:00 via Android
@jasonkayzk 已用上，多谢
|
 |
82
ririliu 2021-01-25 20:44:16 +08:00
一直会有 js 报错：
Uncaught Exception: Error: read ECONNREST at _errnoException(util.js:1024:11) at TLSWrap.onread(net.js:615:25) |
|
83
jasonkayzk OP |
|
84
ririliu 2021-01-26 16:46:49 +08:00
@jasonkayzk 我用的就是这个版本，报错的图片我查看了下会不完整(下面有一部分是没有内容的)，是和网络有关系？不知道能否加个重试的机制，某张图片重试 n 次还失败就跳过，因为现在这样报错每次弹出来我都得点一下，下载才能继续，我下的某个微博比如 2000 多张图片，就得一直守着点了几十次报错的弹窗
|
|
85
jasonkayzk OP @ririliu 图片下载不完全应该就是网络的原因了，这个问题我也碰到过。这个问题我看一下怎么解决吧。在下一个版本解决了！
|
|
86
ririliu 2021-02-01 10:43:04 +08:00
@jasonkayzk 已经更新了吗？ releases 里面没看到
|
|
87
jasonkayzk OP @ririliu 最近没什么时间，在搞毕设…！😓
|
 |
88
moonkiller 2021-02-13 12:35:22 +08:00
@jasonkayzk 求支持视频😭
|
|
89
jasonkayzk OP @moonkiller 会考虑添加视频；
|
|
90
ririliu 2021-03-08 11:38:16 +08:00
还会更新嘛。。。
|
|
91
jasonkayzk OP @ririliu 会更新，但是现在在搞毕业论文。估计要等一段时间了。
|
|
92
ririliu 2021-05-19 19:10:16 +08:00
@jasonkayzk 呃，我是不是得自己动手改代码了...
|
|
93
jasonkayzk OP @ririliu #92 不好意思哈，最近都没在搞这个= =，估计还要一段时间。如果你比较急的话可以 Fork 下来自己改~
|
|
94
ririliu 2021-06-09 18:34:14 +08:00
@jasonkayzk https://github.com/JasonkayZK/weiboPicDownloader/issues/5, 这个是什么问题呢，运行不起来
|
Select Language