用 Django 创建的第一个网站+scrapy 写的爬虫

Scrapy

django

爬虫

网站

67 条回复 • 2015-10-09 16:36:35 +08:00

1

fange01

2015-09-22 10:33:25 +08:00

design 图挂错位？

2

kepenj

2015-09-22 11:08:54 +08:00

赞一个

3

jwenwang

2015-09-22 11:12:54 +08:00

挺简洁的，可以分享到 NEXT 上来：）

4

hjkl0001

2015-09-22 11:13:59 +08:00

感觉不错。。。

5

wsb200514

OP

2015-09-22 11:16:21 +08:00

@jwenwang 我 products 频道聚合了 next,product hunt 这些产品信息，所以不知道发 next 会不会被 next 鄙视或者删掉啊？哈哈

6

wsb200514

OP

2015-09-22 11:16:40 +08:00

@hjkl0001 谢谢^_^

7

wsb200514

OP

2015-09-22 11:16:56 +08:00

@kepenj 谢谢哈

8

wsb200514

OP

2015-09-22 11:20:37 +08:00

@fange01 谢谢指正。
您是指有几张图加载不出来么？ xueui.cn 站点做了图片防盗链的措施，可以虽然爬到图片但是在浏览器里还是没法直接打开，除非在其他选项卡中先打开他们的站点，然后欺骗浏览器才能刷出来。
如果不是这个问题的话，请问一下您是用什么浏览器访问的，我也用试一下看看到底什么问题？我兼容性做的不是很好啊，请见谅，嘿嘿

9

jwenwang

2015-09-22 11:21:26 +08:00

@wsb200514 没事的呀，我就是审核的哈哈

10

wsb200514

OP

2015-09-22 11:24:00 +08:00

@jwenwang 大神啊，那我赶紧发去，吼吼

11

XianZaiZhuCe

2015-09-22 11:37:53 +08:00

我想知道内容是你自己有选择的放上去的，还是直接抓的某些频道？

12

jwenwang

2015-09-22 11:52:49 +08:00

@wsb200514 搞定哈哈

13

wsb200514

OP

2015-09-22 11:53:13 +08:00

@XianZaiZhuCe 只是自己选择了一些抓取的网站，然后抓取到的内容会全部展示出来不做筛选。如果抓取了内容，再对内容做筛选有选择的展示，那对个人项目而言有点太累了。
以后计划会加入一些其他功能，但针对信息维护这一块还是不想人工干预。所以其实网站抓取的信息质量只能取决于抓取的网站质量，所以前期只是筛选了一些自己浏览比较频繁的网站，质量有些保证。
ps. iOS 版本已经被拒了好多次了，目前已再一次提交审核中，希望这一次能没什么问题。

14

wsb200514

OP

2015-09-22 11:54:46 +08:00

@jwenwang 嗯，已经展示出来了。多谢，真幸运啊，第一次在 V2EX 和真神对话，嘿嘿

15

jwenwang

2015-09-22 11:57:04 +08:00

@wsb200514 别。。。都是普通人

16

XianZaiZhuCe

2015-09-22 13:17:46 +08:00

@wsb200514 哦~ 我就是觉得很多网站内容质量挺差的，偶尔会有不错的。所以我比较少看。相对来说看个人博客多点。

17

shulen

2015-09-22 14:04:27 +08:00

厉害，

18

Wangxf

2015-09-22 14:07:57 +08:00

厉害

19

wsb200514

OP

2015-09-22 14:27:22 +08:00

@XianZaiZhuCe 是的，相比而言，个人博客质量高一点，网站发展大了新闻稿鸡汤文浅尝则止的文章就泛滥了。开发的那个版块收了一些 iOS 开发的个人博客，比如唐巧、 kitten yang ，南峰子，其他资讯类的不太清楚国内有哪些质量高的个人博客，所以……目前只能做到这么多。嘿嘿

20

wsb200514

OP

2015-09-22 14:29:43 +08:00

@shulen @Wangxf 我也是刚入门啊，希望各大牛多携带携带，加快进步，嘿嘿……

21

boro

2015-09-22 14:36:09 +08:00

强！

22

wsb200514

OP

2015-09-22 14:50:04 +08:00

@boro 嘿嘿，谢谢哈

23

hanfeng3015

2015-09-22 15:26:53 +08:00

不错哦～

24

wsb200514

OP

2015-09-22 17:01:28 +08:00

@hanfeng3015 嘿嘿，刚完成，比较粗糙，还得继续完善和努力，多谢多谢

25

yield9tk

2015-09-22 17:04:19 +08:00

源码何在？

26

fyibmsd

2015-09-22 17:30:08 +08:00

能分享源码么

27

Mellcap

2015-09-22 17:39:24 +08:00

学 ing, 希望也可以像你一样做出自己的网站.

28

situs

2015-09-22 17:42:08 +08:00

您这个前端是什么框架？？？

29

wsb200514

OP

2015-09-22 20:38:59 +08:00

@fange01 图片位置下移 BUG 已解决。发现是在 chrome 上的问题， chrome 默认小于 12px 的字体都是 12px ，所以导致占据位置比设想的要大，把图片挤到下面去了。十分感谢提醒，嘿嘿

30

wsb200514

OP

2015-09-22 20:42:13 +08:00

@situs 没有用框架，你也可以看出来，其实页面布局不复杂的，最上面菜单和最下面 footer 都是固定的，中间的内容因为布局都是类似的，所以很简单。所以就是自己想了下布局之后手撕了几行 html+css 代码，再用了一点点的 juqery 就够了。嘿嘿，框架太重，我这个小站点用的话的话有点大材小用了，哈哈

31

wsb200514

OP

2015-09-22 20:45:05 +08:00

@yield9tk @fyibmsd 源码过一阵子再考虑分享出来，目前有 BUG ，现在就放出来有点对不起人民群众哈，待我再完善完善的，欢迎指教交流，谢谢哈

32

88250

2015-09-22 20:51:22 +08:00

楼主，我能从你这里再爬数据么，哈哈~

33

lizhiqing1996

2015-09-22 21:11:15 +08:00

然而 design 板块我看起来图片位置还是不对

34

miaozaiye

2015-09-22 22:07:19 +08:00 via iPhone

作品不错呀！来我们客栈注册一个吧：）

35

junnplus

2015-09-22 22:50:46 +08:00

flask+scrapy 写的， http://stepbystep2.sdutacm.org/
https://github.com/Junnplus/StepByStep 求 fo

36

Tink

2015-09-22 22:53:36 +08:00

这个 logo 还是挺好看的

37

LXVC

2015-09-23 00:19:58 +08:00

@wsb200514 分享源码的时候请告诉我声

38

wsb200514

OP

2015-09-23 07:11:30 +08:00

@Tink 谢谢，嘿嘿

39

wsb200514

OP

2015-09-23 07:11:42 +08:00

@LXVC OK

40

wsb200514

OP

2015-09-23 07:12:55 +08:00

@lizhiqing1996 多谢提醒，请问一下您是用什么浏览器打开的？我再调试一下……

41

wsb200514

OP

2015-09-23 07:14:53 +08:00

@88250 哈哈，这个……爬得时候温柔点就行啊，因为几十块钱的服务器经不住啊，你懂得……哈哈

42

wsb200514

OP

2015-09-23 07:23:13 +08:00

@miaozaiye 多谢，已注册~~

43

lijiacong0702

2015-09-23 09:13:03 +08:00

厉害，赞一个

44

lizhiqing1996

2015-09-23 09:41:19 +08:00

@wsb200514 Win8.1 + chrome

45

wsb200514

OP

2015-09-23 11:02:11 +08:00

@lizhiqing1996 请问一下具体是什么问题啊？方便的话可以截图给我吗？我邮箱是： [email protected] ，万分感谢~~~

46

wsb200514

OP

2015-09-23 12:33:20 +08:00

@lizhiqing1996 我在 win7+chrome 45.0 和 win10+chrome 45.0 上试了没有问题。估计问题出在 win8 上。可是我木有安装 win8 的机子啊，难道虚拟机走起么~~感叹 web 前端的同学不容易啊，现在不仅要兼容浏览器版本，还要兼容系统版本了啊，逆天了喂。我回头改改，应该还是 chrome 特殊默认字体的原因，想个替代方案。多谢了啊

47

wsb200514

OP

2015-09-23 13:25:29 +08:00

@lizhiqing1996 刚对 development 那边也做了点修改，您再清除一下缓存后再试一下看看。有可能不是 win8 的问题，不知道是不是缓存的问题。

48

lizhiqing1996

2015-09-23 16:30:51 +08:00

@wsb200514 Development 好了，但是 Design 还是不行，我试着用 F12 把图片的宽度改成 198px ，结果就正常了，

49

wsb200514

OP

2015-09-23 16:35:35 +08:00 via iPhone

@lizhiqing1996 OK 。我再改改哈

50

gulullu

2015-09-23 17:20:39 +08:00

logo 不是高清图，差评

51

codercai

2015-09-23 18:34:05 +08:00

想用 django 搭个博客，但是没有前端基础，估计比较吃力。楼主有什么建议没有呀

52

raikecody

2015-09-23 18:41:28 +08:00

期待开源中

53

wsb200514

OP

2015-09-23 20:47:49 +08:00

@codercai 前端学深了比较难，但是入门还是很快的， html+css 学一个星期就可以上手做简单的项目， js 和 jquery 估计半个月就可以做简单的效果了。没有你想的那么难。都是先入了门再说，然后就是不断做项目实践的时候一边被虐一边成长。加油

54

wsb200514

OP

2015-09-23 20:49:18 +08:00

@gulullu 我自己连半个业余美工都算不上，所以效果你懂的，请见谅啊，哈哈

55

wsb200514

OP

2015-09-24 12:35:33 +08:00

@lizhiqing1996 design 页面做了修改，放弃上下居中的排版，采用固定高度，自动缩放宽度，多余宽度自动隐藏，宽度不够图片就左右居中。您再清除缓存后试一下。多谢耐心地指教~~~

56

tim520

2015-09-24 13:28:54 +08:00

很牛逼啊，请问用 scrapy 爬虫新浪、网易的新闻容易吗？

57

robotdiy

2015-09-24 15:07:01 +08:00

这个设计，很喜欢。

58

lizhiqing1996

2015-09-24 20:54:40 +08:00

@wsb200514 已经完美显示。指教算不上，我还是个菜鸟

59

wsb200514

OP

2015-09-24 21:10:27 +08:00

@tim520 一般来说都是可以的，只是控制好频率，不要给对方服务器增加压力即可。方便自己也给她们带流量，大家和谐共存嘛，哈哈

60

wsb200514

OP

2015-09-24 21:12:33 +08:00

@robotdiy 谢谢，因为不懂设计，所以一切从简变成这样了，只要能方便阅读就行~~~嘿嘿

61

xiaozhu5

2015-09-28 22:28:59 +08:00

虽然是简单了点，不过挺不错的

62

lazyboy

2015-10-04 11:41:31 +08:00

http://jikeyuedu.com/

感觉我的更简单，初学者，用 flask+requestss 做的。

63

lazyboy

2015-10-04 11:43:58 +08:00

@88250 这个想法不错，哈哈，直接在这里爬取数据

64

lazyboy

2015-10-04 11:46:23 +08:00

建议来个手机端适配，响应式设计

65

wsb200514

OP

2015-10-05 20:52:42 +08:00

@lazyboy 一开始没打算做响应式设计，因为开发了 iOS app 。但是 iOS app 审核没过，已无希望上架。后续再考虑响应式吧。

66

agnewee

2015-10-06 01:06:28 +08:00

赞一个！

67

Mess1ah

2015-10-09 16:36:35 +08:00

楼主大大什么时候考虑开源=-=想学习下~~