爬虫

关注网络安全,网络安全博客

Rock-ON:一款自动化的多功能网络侦查工具

Rock-ON:一款自动化的多功能网络侦查工具

Rock-ON网络侦查工具Rock-On是一款一体化网络侦察工具。它主要用于自动化整个网络侦察过程,找到敏感信息,节省手动完成众多工作所浪费的时间。最近这类全家桶套装渗透测试工具程上升趋势。Rock-ON网络...

OneForAll:一款功能强大的子域名收集工具

OneForAll:一款功能强大的子域名收集工具

OneForAll 简介在渗透测试中信息收集的重要性不言而喻,子域名收集是信息收集中必不可少且非常重要的一环,目前网上也开源了许多子域收集的工具,但是总是存在以下部分问题:不够强大,子域收集的接口不...

一些Python爬虫例子,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站

一些Python爬虫例子,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站

python爬虫例子这是一个常见的网站爬虫例子的项目,代码通用性较高,时效性较久。项目代码对新手比较友好,尽量用简单的python代码,并配有大量注释。主要爬取淘宝天猫微信豆瓣QQ壁纸网站金融网站更...

Bashter:一个WEB爬虫扫描器分析框架

Bashter:一个WEB爬虫扫描器分析框架

Bashter介绍Bashter是一个WEB爬虫扫描器(基于Shell脚本)。非常适合做Bug挖掘或渗透测试。它的设计类似于框架,因此您可以轻松添加用于检测漏洞的脚本。Bashter爬虫界面Bashter特性网络爬虫收...

GShark:监控Github中的敏感信息泄露

GShark:监控Github中的敏感信息泄露

GShark介绍GShark是一个用于监控Github敏感信息泄露的项目,可根据关键字自动爬虫进行动态监控,辅助企业进行仓库的安全管控。它基于golang和AdminLTE构建管理系统来管理Github搜索结果。Github API用于根据...

多种电商商品数据爬虫项目脚本

多种电商商品数据爬虫项目脚本

ECommerceCrawlers爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。本项目是一个针对多种电商商品数据爬虫。通过实战项目练习解决一般爬虫中遇到的问题。这是一个很好的例子减少重复收集轮...

56听书网音频地址获取

56听书网音频地址获取

有人要用来下载56听书网音频,因为有时候网络用不了,所以分析了一下,在爬虫下也有同样的需求场景。另外推荐一款免费听书APP。56听书网音频地址获取地址分析首先查看播放页,音频src放在了一对动态...

DarkScrape:一个暗网情报数据抓取工具

DarkScrape:一个暗网情报数据抓取工具

DarkScrape介绍DarkScrape是一个公共资源情报工具,用于在Tor站点(暗网)中查找媒体链接。DarkScrape截图DarkScrape测试过的系统Kali Linux 2019.2Ubuntu 18.04NethunterArc Linux测试过表...

Python模拟登陆一些大型网站的项目

Python模拟登陆一些大型网站的项目

Website login model模拟登陆收集了一些大网站模拟登陆方式,和一些网站的爬虫程序,使用python,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是利用scrapy,希望对小白有所帮助,本项目用于研...

Photon:高速爬虫程序,可提取网址、帐户、文件、密钥、子域和DNS等

Photon:高速爬虫程序,可提取网址、帐户、文件、密钥、子域和DNS等

Photon介绍Photon一个高速的爬虫程序,显眼的区别是它不是像普通爬虫那样只爬取结构和静态资源,Photon被偏向设计为信息收集爬虫,它有非常灵活的规则设置和利于阅读的导出结果。Photon爬虫logoPhot...