爬虫

DarkScrape介绍 DarkScrape是一个公共资源情报工具，用于在Tor站点（暗网）中查找媒体链接。 DarkScrape截图 DarkScrape测试过的系统 Kali Linux 2019.2Ubuntu 18.04NethunterArc Linux 测试过表...

Website login model模拟登陆 收集了一些大网站模拟登陆方式，和一些网站的爬虫程序，使用python，有的是通过selenium登录，有的是通过抓包直接模拟登录，有的是利用scrapy,希望对小白有所帮助,本项目用于研...

Photon介绍 Photon一个高速的爬虫程序，显眼的区别是它不是像普通爬虫那样只爬取结构和静态资源，Photon被偏向设计为信息收集爬虫，它有非常灵活的规则设置和利于阅读的导出结果。 Photon爬虫logo Phot...

POC-T介绍 POC-T是一个脚本调用框架，用于渗透测试中采集|爬虫|爆破|批量POC等需要并发的任务。 特点 支持多线程/Gevent两种并发模式极简式脚本编写，无需参考文档内置脚本扩展及常用POC函数支持第三方...

FileSensor FileSensor是一个基于爬虫的动态敏感文件探测工具，需要Python 3.x和pip。 包含功能： 根据爬虫结果生成fuzz模糊测试向量(input)http://localhost/ -> (crawl)http://localhost/test.php ->...

Muraena介绍 Muraena是一个基于反向代理的自动化网络钓鱼工具。使用Go编程语言编写，支持HTTPS证书。该工具包含一个充当反向代理的小型web服务器和一个爬虫程序。该爬虫程序可以自动确定从合法网站代理哪些资...

JSFinder介绍 JSFinder是一款用作快速在网站的js文件中提取URL，子域名的脚本工具。 支持用法 简单爬取深度爬取批量指定URL/指定JS其他参数 以往我们子域名多数使用爆破或DNS中获得，这个脚本从JS文...

Crawlab介绍 Crawlab是一款基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架。 Crawlab的架构跟Celery非常相似，但是加入了包括前端、爬虫、Flower在内的额外模块，以支持爬虫...

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反爬虫的代码仓库。该项目运用请求伪造，浏览器伪造，浏览器自动化，图像处理，ip处理等方式进行反爬虫技术的通用化代码库...

前几天分享了SpiderCrackDemo – 爬虫Demo，数据解密/内容解析/自动登陆/反爬虫处理，今天继续第二波，是针对爬虫程序的反爬虫处理，反爬虫破解资源。 破解的网站汇合 Last-Event-ID 的cookie 获取Incapsul...