小米范网站批量爬虫工具 1.5绿色版

小米范的网站批量爬虫工具是一款非常强大的网站抓取工具。想要使用网址抓取工具的用户应该快速下载这个辅助工具。相信对于需要抓取内容的用户来说会非常有用。

软件简介：

网站辅助小工具，可以快速批量抓取网站。小米粉丝网站批量爬虫工具可以进一步调用wvs、sqlmap、brutexss等工具进行检测，相当实用简单。

使用方法：

1.随意单击以下任何文件。

2.出现以下界面时，点击任意键运行。

3.打开软件界面后，点击新建任务，输入需要检测的网址。

4.设置子域白名单，自动保留和抓取属于白名单域名的URL。

5.设置并发站点、并发线程等参数，点击开始。

运行流程：

1.根据这100个网址是否同源，将同源的网址放入一个目标中，这些网址作为这个源的起始网址。

2.对每个目标进行爬网(默认为5个并发目标)。对于每个目标的起始URL，通过浏览器点击抓取包的HTML解析方法获取URL(默认每个目标最多有5个浏览器)。浏览器点击在后台运行，没有界面。这里的浏览器点只记录点击后会发出的请求URL，并没有真正发出请求。

3.在前面两个步骤中收集的网址被用作传统爬行的种子。这里的爬行主要采用的是webmagic框架，框架本身做了一点修改。此外，在下载每个页面之前，会匹配抓取网址的黑名单，如果匹配到黑名单，就会跳过。从每个下载页面中提取的网址将与子域白名单相匹配，如果与白名单相匹配，则将其放入爬行队列。

4.对于已爬网的URL，您可以直接使用sqlmap、brutexss、panoptic和wvs进行安全检测，并右键单击。目前，我们正在考虑增加一些其他的检测工具。

5.此外，还提供了目录扫描功能。右键单击左树结构中任何节点的目录扫描将扫描当前选定节点所在路径的目录。