就楼主的题目写了一些简单的练习代码，对比了几种不同的 Gevent 实现方案。 threading 应该是大同小异的。有兴趣的可以阅读： https://github.com/reorx/learn_spider

有段时间没写网络异步的东西了，而且也一直没写过爬虫应用，感觉必须不时练习一下才能有自我提升
(๑•̀ㅂ•́)و✧

@kacong thanks

这里如果用多线程写法的话，我觉得应该是造一个 thread pool ，这个 pool 里的线程用于网络请求、解析返回页面里的 URL ，然后把结果扔到一个 Queue 中，主线程只做一件事就是不停地从这个 Queue 里取结果，去重后 print ，然后把新的未爬过的 URL spawn 出新的线程去处理

当然最有效率的办法还是如 @binux 所说，使用异步 io 库，这样可以保证单核效能最大化，且所有网络请求等待的时间都不会浪费（线程池方案就算线程多也不一定可以保证），推荐用 gevent 和 tornado ， twisted 比较重更适合解决 CS 结构双向通讯的网络需求

Arq + S3

3M 屏幕清洁套装

这是正常的，就连 HackerNews 也会受到关于监管不力、无作为、怂恿造谣、背后操控的猜疑和指责[^1]，社区发展大了之后必然要面对这些问题，就像现实中的社会形态一样，每个人能做的只有守好本心罢了。

[^1]: https://news.ycombinator.com/item?id=9637061

@unstop 我又来报 bug 啦，获取 github 数据的接口似乎有好几天没有更新了 <api domain>/news/github?limit=10 ，和现在 https://github.com/trending 的数据并不一致。

btw，你们的网站上没有联系方式诶，如果加上一个就更棒了 :)

@GeekTest no offence...

V2EX 这是要贴吧化的节奏吗……

致敬 Mihai.

当我在向生活抱怨时，想到 Mihai，便不再沮丧，唯有感恩和勇敢面对。

@yueyoum 嗯嗯，是的，其实不可能有那么严格的限制，毕竟业务需求是在变化的，我那样说主要还是强调 schema 不要轻易变化，倒不是说用 Protobuf 就一定要那样。不过我自己在团队内部确实是这样要求的，required 在设计确定下来之后基本上就不会改了，新的需求通过增加 optional 来解决，有这样的约束大家会非常谨慎，反复推敲，多方确认，来保证所设计的 schema 是可以兼顾可见的未来的需求的。

所以「不允许更改」==「设计应该足够完善以至理论上不应该产生更改」，警戒意义多于实际约束 XD

「所有的 required 字段一经定下允许再更改」→「所有的 required 字段一经定下 **不允许** 再更改」orz

@dcoder 其实 JSON 和 Protobuf 我都很喜欢，两者都有自己的优点，根据场景恰当地挑选要使用的技术就好了。

我觉得 JSON 使用的场景一般是，不太需要考虑内部协定的 schema，或者说多个服务之间使用的数据格式并不强要求是一致的。比如一个 Web 后端 A，内部依赖服务 B，A 暴露给客户端的接口是 RESTful 的 JSON API，A 调用 B 时通过 B 提供的 RPC library，整个服务场景中存在两种接口和数据格式，互相没有什么关联，也不要求一致，这时用 JSON 就很好（原本 JSON 就是所有数据格式中最 human readable 的），每个服务自己维护自己的解析和参数验证。

Protobuf 一般是涉及到多个服务之间的数据交换，且每个服务内部用的数据要求用一致的 schema，这种大部分都不是 Web 项目，一般都是用网络编程框架做的传统后端，非常依赖 RPC 调用的服务。这时用 Protobuf 或者 Thrift 就非常好了，因为其实 Protobuf、Thrift 都是提供了一种序列化结构数据的方法，然后提供了一种用于描述结构数据的语法规则，在这个基础上其实已经把 data format 给抽象不见了，我们不需要知道它底下序列化后的二进制数据长什么样子，我们只关心每个使用同一份 proto 定义的服务内部的数据都是对应一致的 schema，且可以无缝转移到另一个服务中使用（这个过程我们也不需要关心）。如果我选择 Protobuf 而非 JSON，必然是因为它在打通跨服务的数据一致性上的优点，而不是它相比 JSON 性能有何优势。

当然最终选择的时候还有个很关键的因素，就是整个大环境的技术选型，如果你所依赖的其他组件用 JSON 的较多，那么也不要刻意用 Protobuf 搞得大家都很麻烦。如果一个大型项目在一开始就用了 Protobuf 作为数据格式的约定，后期在数据一致性上可能出现很多麻烦就可以避免掉呢。

最后说点我使用 Protobuf 的经验，项目里的每个 proto 文件都会在最上面标注一个 version number，所有的 required 字段一经定下允许再更改，对 proto 文件的提交必须保证严格的 review，不能随便 merge 到 master，如果被多个项目需要甚至会把 proto 文件单独放到一个 git repo 里，在其他需要它的地方用 git submodule 引用。

P.S. 写完发现用了好多个「一致」，有点啰嗦，赶吃饭就先这样了…

@alpha1130 赞同，Protobuf 相比 JSON 的优势在于它本身带有严格的 schema validation，一份 .proto 文件既作为 input/output 的入口，又作为规定数据格式的文档，在跨语言多人协作的项目上用起来不能更爽。实际上我觉得 Protobuf 和 JSON 是完全不同的两种东西，Protobuf 是 schema + data format，schema 是我们可以看见的 proto 文件里的定义，data format 是它序列化成二进制数据的格式，JSON 只有 data format…至于 JSON schema，个人觉得是一种很勉强的实现，在本身没有 schema 的数据格式上做 schema 的事情，无论是写起来还是用起来都很麻烦，说到底，JSON 只是一种轻量的、面向 Web 的 data format 罢了。

加一个 [email protected]

@c Reference 里面有 https://docs.python.org/2/reference/expressions.html#not-in