[教程分享] 我是如何写爬虫并且快速建立三个图片站

[darranhuang]

大家也看到之前几周我推的三个网站 [ 1000 系列]
* 一下子打开 1000 张 GIF http://iguooo.com/
* 妹子 x100 http://www.wulangdashu.com/
* 十万个日式冷笑话 http://www.iguooo.cn/

也是我无聊至极写写爬虫，快速搭建的几个网站。

我会说几个关键点，
1. 爬虫
2. 建站
3. 费用， 为什么有广告
4. 粘度 & SEO 的反思



一。 爬虫

研究了下几个著名的爬虫框架：
* PySpider
* Scrapy

这几个都是比较广义的爬虫，给一个入口然后通过页面中的链接不断抓取。
对于我来说，我有特定的目标页面和目标页面特定的元素需要爬取。
于是便放弃了大型框架， 自己做一个定义一个小型脚手架。

自定义的爬虫，就是维护一个队列，维护一个消费者线程池和一个生产者线程池。外加一个 monitor 线程用于统计队列情况。



* 利用 Redis 的原子性操作，可以做去重。
* 利用 Redis List 的 push ， pop 的原子性可以做同步的生产消费队列
* 爬取网页用了 requests + BeautifulSoup 分析
* 资源后续处理使用 requests 下载资源，七牛的库上传七牛云端
* 想持续抓取，可以将爬虫加入到 celery 定时任务中

BaseSpiderClass 代码 ：

https://gist.github.com/awanabe/a94ead037249f497a110763beb08942b  显示 Gist 代码 

二：建站

因为是做着玩的项目， 爬虫和 web 部分都放在一个项目中。
然后现在一个项目里面要承接多个 web 项目，每一个项目用的是独立域名，所以就放弃了使用 Flask 的 Blueprint 来配置子域名。
（有兴趣配置 Blueprint 的同学可以移步 https://github.com/awanabe/FlaskBluePrintDemo 我老早做的一个 Blueprint 的 demo ）

于是就对原先的 nginx -> uwsgi -> flask 的模式做了一对多的改进。

> 原先一般的 Flask 项目结构是这样的

├── config.py # 配置文件
├── main.py # 项目入口， 从 service 中引出 flask app ，供 uwsgi 调用
├── service # 项目
├── ├── static # 静态文件夹
│   │   ├── css
│   │   ├── fonts
│   │   ├── img
│   │   └── js
│   ├── templates # 模板文件夹
│   └── router.py # flask app 初始化 + router
└── requirement.txt


> 改造之后，建立多个项目和对应的项目入口，静态资， config 文件，工具类，数据 model 都可以公用。

├── config.py # 配置文件
├── static # 静态文件夹
│   ├── css
│   ├── fonts
│   ├── img
│   └── js
├── utils
├── model.py
│
├── main_01.py # 项目入口， 从 service 中引出 flask app ，供 uwsgi 调用
├── service_01 # 项目
│   ├── templates # 模板文件夹
│   └── router_01.py # flask app 初始化 + router
│
├── main_02.py
├── service_02
│   ├── templates
│   └── router_02.py
│
├── main_03.py
├── service_03
│   ├── templates
│   └── router_03.py
│
└── requirement.txt





* nginx 配置多域名
* uwsgi 开启多 worker 模式，尽可能的
* 节约公共云资源，使用本地静态资源配置，所以开启了 nginx 的静态资源域名
* 全部存储都基于 Redis ，不使用 MySQL 。数据库在服务器中占用内存， IO 都是挺大的。直接用 Redis 查询写入速度大大提升。

这样就在一台主机，一个项目里面建立起了多个网站。


三。费用， 为什么有广告

> 支出
* 阿里云服务器 1G 内存 + 1Core + 3M 带宽 = 150 元 /月
* 七牛 因为我的自信，直接 po 上了 1000 张 GIF 的页面， 导致半天时间消耗流量 500G 。 直接扑街， 耗费 150 元。然后改为本机做静态资源
* 域名 2 个 com+1 个 cn = 100 左右
* 在 V2EX 上置顶，消耗 2000 个铜币 ~ 60 元吧
* 时间 5x8 小时

> 收入
* 在被七牛重重打击之后，无奈加上了 adsense 广告。有两天因为 V 友帮忙点击，超过了 1 刀一天。大部分一天 0.1~0.5 刀直接 = 8 刀 /28 天

== 巨大的坑。不可能回本嘛。。所以骂我广告🐶的然后 Block 我的，我真心不是愿意挂广告的。


四。粘度 & SEO 的反思

* 一共三个网站，流量比较好的是 GIF 和日式冷笑话，单纯的妹子图不怎么样。 流量比 10 ： 1 。 => 有故事有阅读的内容比较有粘度
* 网站内容的增长几乎为 0 ，我大部分都是一次性爬取的资源。 而且以图片为主，导致搜索引擎无法抓取有效关键词。从搜索引擎进来几乎为 0 。（有评论会好点
* 图片类型网站重资源消耗，所以文字类型网站 SEO 会好做很多。
* 在 V 站，妹子图的帖子的收藏很高很高，回复超级少（宅男们，你们很厉害。。

不好意思大号没金币了 只能用另一个来回复了

[awanabe]

赞👍

[wyx]

有办法做到盈利么～

[huluhulu]

图片站这么操作是赚不了钱的
如果用千牛云，费用太高
如果用本地，流量上来了 并发+读写，机器尤其是硬盘会先扛不住
能赚钱的方式还是要薅免费的 CDN 赚钱才行

[giuem]

图片可以丢给 cf 如果不介意国内速度的话

[RE]

1000 张图的量也不大，不知道上传到微博行不行

[awanabe]

@giuem 不行的 gif 慢就会一帧一帧加载 超级难受
原帖里面有人说用 gif 转 mp4 是个好方法
我用了 lossy 算法 压缩了 gif

[awanabe]

@RE 总共 7000 多张。大概 5-7G 。

[awanabe]

@wyx 难

[awanabe]

@awanabe tks

[awanabe]

@huluhulu 缛了一阵免费的阿里云 cdn ，没多久就用完了几十 G 免费额度

[darranhuang]

大小号用错了哈哈哈

[darranhuang]

@awanabe 大哥串好了

[mdaocao]

那个，，，日本冷笑话，

[死在了下蹲的时候]

那个梗没懂

[awanabe]

@mdaocao 灵魂出窍…

[Nicksxs]

这个妹子是谁

[tumbzzc]

没有盈利点，只能算作演示站了。。

[blanu]

用免费可外链的图床，比如新浪微博……

[darranhuang]

@tumbzzc 兴趣站 图片站确实没啥空间

[darranhuang]

@blanu 微博批量上传 2-3w 张图片 可以操作么？

[graetdk]

赞，这个经历还是比较有意思的

[blanu]

@darranhuang 用小号，换 IP 之类的吧，要解决起来其实不难……好多免费的开放微博图床，也可以直接调（不过估计会把你封了

[kalasoo]

可以分享到掘金 juejin.im 让跟多人看到

[darranhuang]

@blanu 对的， 我最近在做 restful-api ， api 都是有频次限制的。
我之前传七牛，真是用 put_file, 传了 2 天才上传了 5G 的图片

[darranhuang]

@kalasoo 掘金不是 https://gold.xitu.io 这个地址

[kiah]

现在网站太难做了. 盈利是个问题

[fsgmhoward]

赞助服务器要么

[darranhuang]

@Nicksxs 微博可以 @阑夕 老司机

[darranhuang]

@fsgmhoward 好呀 怎么联系哦

[zhaixiaohu]

楼主买的主机太贵了啊，其实价格可以做到低很多的，按照目前的收入，基本上，再增加点就能回本了。

[darranhuang]

@zhaixiaohu 阿里云的 IO 你懂的。。 不买优化 IO 的主机， gif 就是一帧一帧的

[kalasoo]

@darranhuang 两个都可以呢～

[zhaixiaohu]

@darranhuang 楼主下次要买找我，先后跟两个互联网公司云计算部门工作过，打个折应该没啥问题，主机应该能便宜差不多三分之一。

[fsgmhoward]

@darranhuang Telegram @amy199307

[darranhuang]

@kalasoo 投稿了要审核

[exoticknight]

技术栈有意思，但是项目没吸引力（至少对于我来说

[JackyBao]

进来支持 LZ ，帮不上什么忙，把你 3 个网站的广告都点了一遍。
再接再励！

[kalasoo]

@darranhuang 尽快通过

[kalasoo]

@darranhuang 已经发布了呢

[darranhuang]

@kalasoo tks~

[darranhuang]

@JackyBao 感谢感谢

[huluhulu]

@awanabe CloudFlare ，国内的垃圾不要用。

[mengyang]

赞一个，感谢支持下

[Kilerd]

反正我是找不到什么盈利的方法，现在基本都是在贴钱买 VPS ， 无奈啊。

[iPhone8]

你先说一天多少流量吧？有没有 200+uv ？

[roist]

学那些不可描述的图片站，使用外国主机

[darranhuang]

@iPhone8 你觉得 v 站连 200 个 uv 都贡献不了嘛？

[darranhuang]

@roist 不可描述的网站图片一直要换图床 哪天图床玩坏了 网站也就玩坏了

[TimLang]

可以用 s3 啊,不然楼主无法继续做下去，如果每天 2g 图片的增长量， vps 硬盘很快就被写满，用 s3 第二等级的存储每个月才 0.019 每 gb ，图片访问可以靠免费的 cdn 。

[iPhone8]

@darranhuang 1000uv 有没有？
流量这么多才 8dollar/28 天，感觉有点少啊。。。

[iPhone8]

也算正常，毕竟 v 站点广告的不多。

[LINAICAI]

...挺无聊的，还不如写个 app ，直接分析 html 做移动广告，不过同样没前途，这么简单能赚钱， v2 的用户就不止这点了。

[akira]

@TimLang s3+cf ？

按照 lz 的这个级别的用户，上 cdn 其实大部分流量都是回源的。

[fuxkcsdn]

妹子图，日式冷笑话…你告诉我不是爬煎蛋的…

[darranhuang]

@iPhone8 而且 v 站大部分应该都转了 adblock

[darranhuang]

@akira 命中率才 20 多

[darranhuang]

@fuxkcsdn 不是

[t6attack]

想看如何赚钱的，可以到网赚类论坛里翻翻。类似教程很多，一堆一堆的。而且十年前是这类文章最多的时候。
后来百度为了打击采集和伪原创，大规模升级了排名算法。把此类手段压下去了。

[darranhuang]

@t6attack 现在这样的网站比重很低。。直接判定为垃圾站

[velee]

1 图片站匹配 adsense 本身的关键字匹配度就不好，另外 adsense 的平均单价会比较低
2 图片站的关注点在图片，文字居多的 adsense 的注意力完全不够，国内的那种美女图片+文字的小贴片猎奇广告可能更合适一些。
3 图片站资源消耗大，尤其在国内带宽比较贵的情况下，盈利难度比文字站点大多个量级。
4 美女图片属于快消品，不能留住用户，流量损失太快，后续投入过大。

[Yourdaye]

@t6attack
@darranhuang 10 年老站长想说，百度原创算法就是个渣渣，本人亲自做个测试，随便弄个站， seo 也随便搞一搞（找一些不是很热门的搜索词，反向 seo ），几个月之后， 2 ， 3 千 IP 妥妥的

[MadbookPro]

比较好奇 adsense 是怎么通过的，我自己的图片站被驳，说内容太少

[wyx]

@Yourdaye 哎呦，求带路啊

[darranhuang]

@Yourdaye 老司机求带路

[darranhuang]

@MadbookPro 老早做过一次网站申请的。。可以复用啊

[hhxiaolei]

@Yourdaye 老司机求带路

[fucker]

我是如何又一次发现乌云风格楼主

[darranhuang]

-

[siknet]

为啥一个火车头能解决的事情搞那么复杂。。。

[nicoljiang]

一个都打不开。

[qfdk]

话说小心广告被 ban

[dsg001]

网站都挂了

[eluotao]

有个爬虫需求 接单吗?