乌云公开漏洞、知识库爬虫和搜索、乌云整站镜像
crawl and search for wooyun.org public bug(vulnerability) and drops
1 2 3 |
-a page_max: 控制爬取的页数,默认为1,如果值为0,表示所有页面 -a local_store: 控制是否将每个漏洞离线存放到本地,默认为false -a update:控制是否重复爬取,默认为false |
1 2 3 4 |
mongo use wooyun db.wooyun_list.ensureIndex({"datetime":1}) db.wooyun_drops.ensureIndex({"datetime":1}) |
1 2 3 4 5 |
1、压缩包解压后是一个vmware虚拟机的镜像,可以由vmware直接打开运行; 2、由于在制作压缩包时虚拟机为“挂起”状态,当前虚拟机的IP地址可能和宿主机的IP地址段不一致,请将虚拟机重启后重新获取IP地址,虚拟机用户密码为hancool/qwe123; 3、进入wooyun_public目录,先用git更新一下到最新的代码git pull; 4、进入wooyun_public/flask目录,运行./app.py; 5、打开浏览器,输入http://ip:5000,ip为虚拟机的网卡地址(使用ifconfig eth0查看) |
1 2 3 4 5 6 |
1、使用vmware或virtualbox导入虚拟机 2、登录用户名hancool,密码qwe123 3、进入wooyun_public目录,先用git更新一下到最新的代码git pull 4、分别进入wooyun_public目录下的wooyun和wooyun_drops,运行爬虫爬取数据(爬取全部数据并且本地离线缓存):scrapy crawl wooyun -a page_max=0 -a local_store=true -a update=true 5、进入wooyun_publich目录下的flask,运行./app.py,启动web服务 6、打开浏览器,输入http://ip:5000,ip为虚拟机的网卡地址(使用ifconfig eth0查看) |
作者太赞了,秒Star。
在之前分享过两篇:乌云Drops文章备份、2016.7以前乌云公开漏洞下载,强大之处肯定无法和这个相比,但如果自己没那么大空间,也不想过度折腾,之前分享那两个又是最合适的。