搜索 “爬虫”

Muraena介绍 Muraena是一个基于反向代理的自动化网络钓鱼工具。使用Go编程语言编写，支持HTTPS证书。该工具包含一个充当反向代理的小型web服务器和一个爬虫程序。该爬虫程序可以自动确定从合法网站代理哪些资源。代理在传递来自受害者的请求之前重写这些请求。 爬虫程序会自动生成一个JSON配置文件，然后可以手动修改该文件来绕过...

这是一个典型的反爬虫场景技术，我们知道使用了加速乐解析的站点是无法直接爬取的，因为它有一段JS校验（__jsl_clearance），校验不对不会返回任何内容。典型的操作手法是使用模拟器爬，但这样会使成本增加和效率会降低。今天分享的是加速乐Cookie破解与生成JS效验码。 加速乐Cookie破解 我用charles抓包发现，第一个请求返回的状态码...

XSStrike 高级XSS检测套件 XSStrike是一个XSS脚本探测套件，配备了4个手写解析器，一个智能payloads生成器，一个强大的引擎和一个令人难以置信的快速爬虫工具。和xwaf有相似之处，但又有明显的区别。 XSStrike不像其他工具那样注入XSS并检查它，XSStrike 使用多个解析器分析响应，然后通过与 fuzzing 引擎集成的上下文分析来保证p...

FinalRecon是一个用于公开资源情报计划（Open source intelligence ）简称OSINT的网络侦察 python 脚本。 它采用模块化结构，有很好的扩展性。 FinalRecon功能 Header信息 WHOIS查询 SSL证书详细信息 Crawler网络爬虫信息 模块会持续更新 FinalRecon安装 git clone https://github.co...

WDScanner简介 随着互联网各种安全漏洞愈演愈烈，JAVA反序列化漏洞、STRUTS命令执行漏洞、ImageMagick命令执行漏洞等高危漏洞频繁爆发。在这种情况下，为了能在漏洞爆发后快速形成漏洞检测能力，同时能对网站或主机进行全面快速的安全检测，开发了一套简单易用的分布式web漏洞检测系统WDScanner。 WDScanner平台目前实现了如下功...

星云（TH-Nebula)业务风控系统介绍 星云风控系统是一套互联网风控分析和检测平台，可以对企业遇到的各种业务风险场景进行细致的分析，找出威胁流量，帮助用户减少损失。星云采用旁路流量的方式进行数据采集，无需在业务逻辑上做数据埋点或侵入，同时支持本地私有化部署和Docker镜像云端部署。 另外考虑到部分使用者风控经验不足，星云会...

dirmap介绍 dirmap是一个高级web目录扫描工具，功能将会强于DirBuster、Dirsearch、cansina、御剑。 dirmap功能 支持n个target*n个payload并发支持递归扫描支持自定义需要递归扫描的状态码支持(单|多)字典扫描支持自定义字符集爆破支持爬虫动态字典扫描支持自定义标签fuzz目标url自定义请求User-Agent自定义请求随机延时自定义...

引言 由于近期前端抽不出资源，博主最近接手一个前端项目的代码维护工作。拿到手一看，一脸懵逼，和博主当年所学的jsp开发方式、利用ajax来请求数据的单页面开发方式完全不同。然而火坑已经跳下，只能硬着头皮啃，博主只能默默告诉自己:"冲冲冲，四驱战士在行动！" 博主勉强算是经历了前端开发的几个时期吧。本文以一种循序渐进的方...

其实这么多年来，一直动摇要不要继续用WordPress，它即灵活又臃肿。对于新博客程序自己陆续已经写过两个版本（一个ThinkPHP5版本，一个Node.js+Vue.js版本）。两个版本都写到了90%后就忙工作了，好吧，索性继续用它。 体验盒子昨天花了一天时间写了个新栏目影视，真是整整一天。新栏目会以人工精编的方式继续分享影视资源，内容主要有值...

目的：Nutch爬虫引擎抓取的数据自动存入MySQL 隶属：Nutch+Hadoop+HBase(MySQL)+Elasticsearch+PHP 系列实践 MAC MySQL安装 不需要什么配置，就是next最后记住弹出的窗口里的密码就行，如： 安装的时候忘记截图了，网上找了个配图。 下载地址：http://dev.mysql.com/downloads/mysql/ Nutch的安装与配置以及使用 1、Nutch-2.3.1下载：http:/...