转载自hostloc,这个并不懂,转过来备份。 2017.06.15 更新:初始版本 2017.07.05 更新:更新修复版本。
说明
抛弃django自带的web server,使用更适用于生产环境的Nginx+Gunicorn
增加绑定域名的功能
Centos7纯净版 主机有swap
解析域名到主机IP上,然后ssh运行
sh ssbc1.4.sh
ssbc1.4.rar (2.32 KB)定时重启爬虫 爬虫定时进程重启v1.1.zip (863 Bytes)
中文模板 手撕包菜中文模板2017-02-25.zip (40.81 KB) 上传到/root/ssbc-master/web/目录
然后运行
冰剑新增功能:增加入库黑名单机制 手撕包菜爬虫增加入库黑名单机制_20161218.rar (6.89 KB)
使用说明: 在冰剑的增加入库黑名单功能的基础上,修复了爬虫爬一段时间就挂掉的bug 再也不用使用爬虫自动重启脚本了 内含使用说明 附件:手撕包菜爬虫增加入库黑名单 修复崩溃bug 201707.rar (7.43 KB)