大家敢不敢在 robots 里面屏蔽百度？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个专门讨论 idea 的地方。

每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。

那这个时候，不妨可以把那些 idea 分享出来，启发别人。

这是一个创建于 2010 天前的主题，其中的信息可能已经有所发展或是发生改变。

这里好像没有不骂百度，既然如此，为何不直接在自己的网站屏蔽掉它呢，加速他的衰亡（虽然就算不屏蔽百度也未必来收录你）？

第 1 条附言 · 2019-05-31 13:24:22 +08:00

唉，不知道李彦宏看到一群有价值的内容创造者，对百度的如此态度，心里会有什么想法……
百度明明可以做的很好，偏偏选择了歪门邪道……

屏蔽

百度

衰亡

robots

38 条回复 • 2019-06-04 20:59:52 +08:00

woshishuia

2019-05-31 10:09:57 +08:00

很多站长苦百度久矣，可是就是不会一起变被动为主动。

sanshiliu

2019-05-31 10:25:29 +08:00

屏蔽很久了，但是百度依然抓取。

9151

2019-05-31 10:38:59 +08:00

员工能代替老板做这种决定？

hack

2019-05-31 10:39:52 +08:00

屏蔽也无视的

kios

2019-05-31 11:26:51 +08:00

君子协定百度是不会遵守的。要真想屏蔽直接在 nginx 上 block 掉

kindjeff

2019-05-31 11:33:11 +08:00

xiri

2019-05-31 11:33:56 +08:00 via Android

博客放在 Github Pages 上，不用我去屏蔽，Github 帮我屏蔽了🐶

passerbytiny

2019-05-31 11:39:56 +08:00

君子协定，屏蔽无用。倒不如在你的页面上加一个类似于“不欢迎百度”的提示。

lzxgh621

2019-05-31 11:40:06 +08:00 via Android

因为他根本不收

Tink

2019-05-31 11:40:16 +08:00

屏蔽有用？？

est

2019-05-31 11:43:20 +08:00

blog.est.im/robots.txt

路过一下。

msg7086

2019-05-31 12:10:48 +08:00

我根本不关心度娘的死活，为何要特地在 robots 里为他加上一段？

（然后每次打开 robots 或者 nginx 文件的时候还要特地被恶心一次……

mason961125

2019-05-31 12:12:06 +08:00 via iPhone

nginx 里配置百度的 referrer 直接 403

kingfalse

2019-05-31 12:15:23 +08:00 via Android

想起了当年 360 强行抓某网站，

lycc

2019-05-31 12:53:55 +08:00 via Android

早已屏蔽

looking0truth

2019-05-31 13:13:35 +08:00

个人站应该很多都屏蔽了吧上次见过更狠的，百度跳过去弹窗数落百度的罪证

sheeta

2019-05-31 13:19:19 +08:00

@looking0truth coolshell 是这样的，哈哈

trait

2019-05-31 13:27:29 +08:00 via iPhone

实不相瞒，我把 Google 在内的所有爬虫全屏蔽了

liuxey

2019-05-31 13:28:42 +08:00

403 好评

Lpl

2019-05-31 15:31:52 +08:00 via iPhone

@mason961125 你这太暴力了，还不如跳到一个页面说明下更好

zhttty

2019-05-31 15:35:43 +08:00

@looking0truth 还不如把这个数落罪证的搞成开源页面（持续更新），后续凡是讨厌百度的开发者，都可以简单引入这个弹窗页，想想就爽。

waterboy

2019-05-31 15:46:57 +08:00

鄙人博客屏蔽一切搜索引擎

haozi1986

2019-05-31 15:53:54 +08:00

早就用防火墙把我能找到的百度的 IDC 机房 IP 屏蔽了，可能有误杀，但我觉得可以接受
为什么这么做，因为 nginx 日志里经常是几百行持续且相同的记录，来源全部是百度的 IP，耗我流量，不能忍

jisibencom

2019-05-31 16:11:36 +08:00 via Android

我就屏蔽几年了。。。。

turi

2019-05-31 16:34:35 +08:00

当年就是遵守君子协议，然后淘宝壮大了。

elfive

2019-05-31 19:42:57 +08:00 via iPhone

Robot 只是一个约定的规范而已，不一定要强制遵守，你觉得当百度要爬你的时候，你搞个 Robot 就够了？？

另外说一句，百度喜欢在国内时间凌晨 3 点爬我的站。后来我直接给他屏蔽了 ip

leonme

2019-05-31 20:19:18 +08:00 via Android

不用百度都有优越感了，真是服～

coolloves

2019-05-31 21:48:30 +08:00 via iPhone

屏蔽掉百度等垃圾爬虫的 ua 啊

shuirong1997

2019-05-31 22:20:56 +08:00

@looking0truth #16
@sheeta #17
@zhttty #21
https://i.loli.net/2019/05/31/5cf137a891b3a18730.jpg
coolshell is cool

搞事情！如果没人做的话，我来搞一个（这就搞）

shuirong1997

2019-05-31 22:22:54 +08:00

@shuirong1997 #30 原来 CoolShell 已经把那段代码放出来了，在这里： https://coolshell.cn/articles/9308.html 需要的同学自取

shuirong1997

2019-05-31 22:23:59 +08:00

@shuirong1997 #31 Github 地址在这里： https://github.com/lurongkai/anti-baidu

arens

2019-05-31 22:27:28 +08:00

多年前 3Q 大战还不少人罢用呢，现在不还活的好好的，网站和搜索引擎就是水和鱼，对产品平台有看法，可技术又没什么错

JmmBite

2019-05-31 22:43:23 +08:00 via iPhone

别说 robots，IP 都 block 叻

Spcek

2019-06-02 19:48:21 +08:00 via Android

@est 你网站移动端没适配
http://picsx.oss-cn-shanghai.aliyuncs.com/18-10-1/Screenshot_2019-06-02-19-41-25-373_com.kiwibrowser.browser.png

est

2019-06-02 20:43:29 +08:00

@Spcek 已知。多谢

Sapp

2019-06-04 11:32:22 +08:00

不敢，我还要拿他测网速和搜贴吧游戏攻略呢

Sapp

2019-06-04 11:33:13 +08:00

哦，rebots 啊，那个都不用屏蔽了，反正我博客我自己都不看

Ayersneo

2019-06-04 20:59:52 +08:00

试了，屏蔽了一次，百度权重貌似下降很多