爬虫

不再关注网络安全

2019-07-09 更新 2019-07-09

DarkScrape：一个暗网情报数据抓取工具

DarkScrape介绍 DarkScrape是一个公共资源情报工具，用于在Tor站点（暗网）中查找媒体链接。 DarkScrape截图 DarkScrape测试过的...

2019-07-08

Website login model模拟登陆收集了一些大网站模拟登陆方式，和一些网站的爬虫程序，使用python，有的是通过selenium登录，有的是通过...

2019-07-08 更新 2019-07-07

Photon介绍 Photon一个高速的爬虫程序，显眼的区别是它不是像普通爬虫那样只爬取结构和静态资源，Photon被偏向设计为信息收集爬虫，它...

2019-06-28 更新 2019-06-27

POC-T介绍 POC-T是一个脚本调用框架，用于渗透测试中采集|爬虫|爆破|批量POC等需要并发的任务。特点支持多线程/Gevent两种并发...

2019-06-28 更新 2019-06-27

FileSensor FileSensor是一个基于爬虫的动态敏感文件探测工具，需要Python 3.x和pip。包含功能：根据爬虫结果生成fuzz模糊测试...

2019-06-15 更新 2019-06-14

Muraena介绍 Muraena是一个基于反向代理的自动化网络钓鱼工具。使用Go编程语言编写，支持HTTPS证书。该工具包含一个充当反向代理的小型...

2019-06-14 更新 2019-06-14

JSFinder介绍 JSFinder是一款用作快速在网站的js文件中提取URL，子域名的脚本工具。支持用法简单爬取深度爬取批量指定URL/指定...

2019-06-14 更新 2019-06-14

Crawlab介绍 Crawlab是一款基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架。 Crawlab的架构跟Celery非...

2019-06-14 更新 2019-06-13

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反爬虫的代码仓库。该项目运用请求伪造，浏览器伪...

2019-06-13 更新 2019-06-13

前几天分享了SpiderCrackDemo – 爬虫Demo，数据解密/内容解析/自动登陆/反爬虫处理，今天继续第二波，是针对爬虫程序的反爬虫处理，反爬虫...