推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2024 天前的主题，其中的信息可能已经有所发展或是发生改变。
小弟刚通过自学 python 找到一份爬虫工作，目前做了一个月了。
这一个月在摸清了工作后，自己写了简单的“框架”，每天就往里面填不同的 xpath 解析网页
要不就是用 scrapy，反正也是往里面塞 xpath，感觉如果继续下去对个人的技术水平提高也不大
而且爬虫也有一定的法律风险，未来想跳转到其他方向。
想学习一些新的技能，想请教各位大佬，应该学习一些什么技能比较好呢？
目前我的想法是：
1、python 后端的话，似乎是可以的，自己之前也写过一两个小网站，但市场需求似乎不是很多
2、大数据开发，这块并不十分了解，希望有大佬科普。
3、机器学习 唯一接触到的就是用 cnn 识别了验证码搭了个服务返回识别后的验证码，个人也比较感兴趣，但因为对数学和学历有较高的要求，而我是个渣三本不说，高数还挂过，不确定自己是否有能力
4、学习其他语言 java、Golang，做 web 后端。我明白只掌握 python 一门语言是不够的，但似乎学习一门新语言的学习曲线更陡峭，比较担心因此找不到工作或者不能在短期（ 6-12 个月）之内换工作，而且我自己更喜欢 python 一些。
5、继续做爬虫。看了下招聘网站，高端的爬虫还是要求很多的，做起来也比我现在更有意思一些，但仍然存在法律和就业面狭窄的风险
写的有点碎，感谢各位看完，排名分先后，请大家用力滋我。感谢
这一个月在摸清了工作后，自己写了简单的“框架”，每天就往里面填不同的 xpath 解析网页
要不就是用 scrapy，反正也是往里面塞 xpath，感觉如果继续下去对个人的技术水平提高也不大
而且爬虫也有一定的法律风险，未来想跳转到其他方向。
想学习一些新的技能，想请教各位大佬，应该学习一些什么技能比较好呢？
目前我的想法是：
1、python 后端的话，似乎是可以的，自己之前也写过一两个小网站，但市场需求似乎不是很多
2、大数据开发，这块并不十分了解，希望有大佬科普。
3、机器学习 唯一接触到的就是用 cnn 识别了验证码搭了个服务返回识别后的验证码，个人也比较感兴趣，但因为对数学和学历有较高的要求，而我是个渣三本不说，高数还挂过，不确定自己是否有能力
4、学习其他语言 java、Golang，做 web 后端。我明白只掌握 python 一门语言是不够的，但似乎学习一门新语言的学习曲线更陡峭，比较担心因此找不到工作或者不能在短期（ 6-12 个月）之内换工作，而且我自己更喜欢 python 一些。
5、继续做爬虫。看了下招聘网站，高端的爬虫还是要求很多的，做起来也比我现在更有意思一些，但仍然存在法律和就业面狭窄的风险
写的有点碎，感谢各位看完，排名分先后，请大家用力滋我。感谢
 |
1
lasuar 2019-05-28 14:22:35 +08:00  1
既然你喜欢 Python，那何不做个高级 Pyer 呢；
如果你所在的城市有不少的 python 岗，那就把 django 玩透，再熟悉一下 mysql/redis/mongo，再看点架构设计文档找后端岗不是轻松吗。 |
 |
2
rogwan 2019-05-28 14:26:14 +08:00 via Android 1
爬虫+数据分析的组合，还是前景广阔的。光爬回来，不会分析数据，也还欠缺了点。
|
 |
3
janxin 2019-05-28 14:28:21 +08:00 1
大数据工程师呀
|
 |
4
fank99 OP |
 |
5
wersonliu9527 2019-05-28 14:38:14 +08:00 2
我也是自学了，入职爬虫一年出头，中途也去面了几次后端。基本上都问 mysql 优化问题，大量数据时怎么处理。我说了些理论上的查表优化，接口数据缓存。基本上没下文。还在继续写 xpath 0.0
|
 |
6
andylsr 2019-05-28 14:39:06 +08:00 via Android 1
把爬虫做成一个可扩展的系统呗~一个后台管理全部爬虫任务，基本功能：添加，暂停，删除爬虫，爬虫节点动态扩展，其中会涉及集群操作的很多知识~~
|
 |
7
SleipniR 2019-05-28 14:39:36 +08:00 2
对 Python 开发来说，大数据现在一般指 Hadoop/HDFS/ElasticSearch/Kafka/Spark 这个系列的技能，数据分析指 Nympy/Scipy/Pandas/Matploitlib 这个系列的技能。
|
|
8
fank99 OP @wersonliu9527 握手
|
 |
10
fairyto2 2019-05-28 14:45:40 +08:00
@SleipniR 数据分析更重要的是数学建模能力吧，那些只是工具，我会用 sql 会用 excel 也一样能完成任务，但是不会数学不行
|
 |
11
QQ2171775959 2019-05-28 14:48:11 +08:00
这个是需要一个多 IP 和站群服务器来支撑的，那样子的话优化才能起到作用。
|
 |
12
binux 2019-05-28 14:55:20 +08:00 via iPhone
去百度，google
|
 |
13
tt67wq 2019-05-28 14:56:02 +08:00
成为一个光荣的运维狗
|
 |
14
BadReese 2019-05-28 15:06:40 +08:00
转近战猎人
|
 |
15
araraloren 2019-05-28 15:15:29 +08:00
转职可以考虑大数据师，技能多，全是 AOE 伤害，就是有点耗蓝
|
 |
16
abb1513 2019-05-28 15:32:07 +08:00
成为一个光荣的运维狗 +1
|
 |
17
Takamine 2019-05-28 15:35:05 +08:00
要么继续走爬虫到 BI 的路，要么转 Web 吧。
我比较推荐前者，诶嘿嘿诶嘿嘿。:rocket: |
 |
18
DAPTX4869 2019-05-28 15:40:36 +08:00
成为一个光荣的运维狗 +2
|
 |
19
tikazyq 2019-05-28 15:41:43 +08:00
想要节省爬虫的编写时间，可以参考一下我的开源爬虫平台 Crawlab, https: // github.com/ tikazyq/crawlab
Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。 最近开发的可配置爬虫正好解决你配置爬虫的问题，1-3 分钟编写好一个可运行的爬虫。 [我是如何在 3 分钟内开发完一个爬虫的]( https: // juejin.im /post/5ceb4342f265da1bc8540660) |
 |
20
qq976739120 2019-05-28 15:50:10 +08:00
趁年轻,推荐转 java 或者前端 ----杭州 pyer 的忠告
|
 |
21
collector 2019-05-28 16:01:06 +08:00
我也是学习的 python，身边很多人都在用 python 做一些简单的数据分析，根据和他们的交流，他们工作的技术含量不是特别的高，但是目前招聘有提高要求的趋势，web 方面的需求不大，有个在 P2P 做过的，做 flask+数据分析来展示数据的平台，其他的都是不算太难的处理表格的，爬虫的说实话，也没有多少人在做，人在上海，希望和楼主多交流，python 市场还是有点小
|
|
22
collector 2019-05-28 16:02:34 +08:00
@qq976739120 前端现在不是培训班批量生产吗？请问 python 在杭州的行情如何？
|
|
23
qq976739120 2019-05-28 16:04:48 +08:00
@collector 我刚从上海来....来之前也觉得上海市场小,到了杭州发现上海好的多的多
|
|
24
collector 2019-05-28 16:10:28 +08:00
@qq976739120 我曾经想过要去杭州发展呢。。。看来 python 做主力还是差点啊，快要换工作了，压力好大
|
 |
25
la2la 2019-05-28 16:16:44 +08:00
跟我现在的感觉一模一样，爬虫做多了没意思。简单的网站就是体力活，复杂的验证码涉及到机器学习搞不了。目前我打算 学习一下 java，走大数据路线，不知道是否可行。数据分析我也尝试过，发现知道如何建模，比如何使用 pandas 等这些工具更重要，有点烦
|
|
26
lasuar 2019-05-28 16:30:52 +08:00
|
|
27
collector 2019-05-28 16:32:13 +08:00
@la2la 涉及建模就贴近机器学习那边了，对算法和数学要求就高了，间接的对学历要求就高了。。我也打算往大数据发展的。。
|
 |
28
ksedz 2019-05-28 16:36:02 +08:00
不建议转 web
可以考虑大数据、机器学习、转 golang 有机会的话转 Java、C++ 也行 |
|
31
collector 2019-05-28 16:49:51 +08:00
@tikazyq 反爬手段越来越多也越来越高级，做到后面必然涉及到机器学习了，而且爬虫只是获取数据的方式，有了数据又要分析，这又要到数据分析了，所以最后爬虫还是要转的，我是这样觉得的
|
 |
33
NaVient 2019-05-28 17:02:05 +08:00
欢迎成为运维开发
|
|
34
fank99 OP @qq976739120 谢谢，也考虑过 java。不过是不是 python 转 Golang 比 java 更顺滑一些？
@collector 人在成都，上海 Python web 应该比成都好找很多吧？ @la2la 同烦，苦恼 @lasuar 谢谢 @ksedz 可以具体说下不建议做 web 的原因吗？ |
|
35
fank99 OP |
|
36
NaVient 2019-05-28 17:50:09 +08:00
@fank99 #35 之前与你有一样的困惑，现在转做 DevOps 其实大多数时候还是开发，前后端一把梭，只是偏向于内部运维系统，在开发这种系统的时候慢慢学运维就会有感觉了。
|
 |
38
SpiderXiantang 2019-05-28 19:14:44 +08:00
Java 后端
|
|
39
SpiderXiantang 2019-05-28 19:15:04 +08:00
看我 ID 现在在上海做后端 。。。。
|
 |
40
lucays 2019-05-28 19:45:40 +08:00 via Android
我工作一年半主要写写 scrapy, 其他的 django, flask 都做过还做过一点自然语言处理调包的项目…感觉不行爬虫太无聊，骑驴找马找了一个月才成功转了 web 后端…个人感觉自己还是比较失败的😔我还在上海…还找了这么久，boss 和拉勾很多公司一点都不靠谱
|
 |
41
sazima 2019-05-28 21:42:09 +08:00
python 后端一年多, 目前处于一种迷茫的状态.
|
 |
43
stallman 2019-05-28 23:30:30 +08:00 via Android
做爬虫不是长久之计，如果真想往这方面的话可以考虑渗透，网络攻防。做后台感觉 python 在这方面竟争力比 java 差太远了，数据分析倒是没关注。而且现在 python 找工作市场比较饱和，要求变得越来越高了，来自一个做了一年爬虫一年 web 最近找工作的感受🤣
|
 |
44
wbf1013 2019-05-28 23:56:18 +08:00 via iPhone
没人推荐 .net 吗？滑稽
|
 |
45
luzihang 2019-05-29 09:25:17 +08:00
所以 Python 转大数据工程师，是什么路径？先学 Java 吗
|
|
46
fank99 OP @stallman 我也觉得渗透、安全这块的话，python 还是有优势的，就找工作而言。老哥找 web 工作需要哪些技能呢
|
 |
49
fang7781111 2019-05-29 11:30:35 +08:00
安卓逆向开发可以做比
|
 |
50
datou 2019-05-29 15:56:56 +08:00
口才好的话去培训班当讲师
|
 |
52
Untamed 2019-05-30 09:31:54 +08:00
我靠我现在也在自学 python...本来准备转数据分析的，但是感觉技术含量好低，想着先入行再调整方向...看了大家说的我都有点慌...python 被培训班炒的太过了
|
|
55
Untamed 2019-06-04 11:24:43 +08:00
|
 |
56
songkai 2019-06-14 15:44:08 +08:00
python 被国内培训班炒火了，实际上 python 岗位也不多，想要长久还是学学 java、C 吧，做算法是最好的选择。
|
Select Language