ScrapydWeb V2022 正式版爬虫管理平台

ScrapydWeb是一个专业的爬虫管理平台。网站抓取项目管理来使用剪贴簿。可以给软件添加多个地址，在软件上运行蜘蛛显示网络信息，收集软件上所有的采集服务，给软件分析添加一个新的ScrapyD服务器项目，实现集群管理模式，方便多个Web项目。抓取信息显示在软件中，可以查看列表项、日志内容、日志数据和聚合数据。可以构建分布式程序来执行爬虫任务，可以在Heroku上设置集群，可以在Web界面上管理任务，组合时序功能可以随时运行蜘蛛来执行爬行任务。如果你需要这个软件，可以下载！

软件功能：

首先，SCRAPYD集群管理

支持所有的SCRAPYD JSON API

数据，过滤并选择任意数量的节点

只需单击几次即可在多个节点上执行命令

二、光谱分析

统计数据收集

进度可视化

日志分类

第三，增强功能

自动包装物品

并集成logparser。

计时器任务

监控和报警

操作用户界面

网络用户界面的基本认证

官方教程：

如何轻松灵活地部署和监控分布式爬虫项目

安装和设置

1.确保安装并启动所有主机，并进行规划。请注意，如果要远程访问SCRAPYD服务器，必须手动将Bind_Address设置为，Bind_address=0.0.0，然后重新启动SCRAPYD，使其在外部可见。

2.使用命令在其中一台主机上安装ScrapyDWebpip和ScrapyWeb。

3.通过命令启动ScrapyDwebsCrapyDWeb。(第一次启动时会生成一个配置文件来自定义设置。)

4.启用HTTP基本身份验证(可选)。

5.添加Scrapyd Server，支持字符串和元组格式，可以附加基本认证访问SCRAPYD Server和字符串进行分组或标签。

6.根据命令重新启动SCRAPYDWESCRAPYDWEB。

访问网络界面

访问http://127.0.0.1:5000，然后使用上述用户名/密码登录。

服务器页面将自动显示所有的服务器。

可以通过包过滤选择任意数量的SCRAPYD服务器，然后只需要在集群中调用Scripd HTTP JSON API即可。

与Logparser集成后，作业页面可以自动显示捕获作业的页面和项目信息。

默认情况下，ScRapyDWeb会定期创建捕获作业的快照，并将它们保存在数据库中，以避免在SCRAPED服务器重新启动时丢失作业信息。(第12位)

部署项目

当scrapy_projects_dir选项设置为包含scrapy项目的路径时，scrapydweb将列出目录中的所有项目，然后选择最新修改的项目。只需选择一个项目并按下按钮提交，然后将其包装在背景中。

如果scrapydweb在远程服务器上运行，我该怎么办？除了上传egg文件，还可以使用归档软件或者将项目文件夹压缩到归档文件tar-czvf projectname.tar.gz/projectname,然后上传。

您可以选择任意数量的SCRAPYD服务器来部署项目。

奔跑的蜘蛛

从下拉框中选择项目、版本和蜘蛛。

任何SCAPACE设置或蜘蛛参数都可以自由传递。

支持基于APScheduler创建金属任务。(如果你想同时启动多个蜘蛛，别忘了调整ScrapyD的Max-Proc选项。)

你可以选择任意数量的SCRAPYD服务器来运行蜘蛛。

日志分析和可视化

如果SCRAPYD和SCRAPYDWEB在同一台计算机上运行，建议设置SCRAPYD_LOGPARSER选项，以便可以使用SCRAPYDWEB自动启动LOGPARSER。Logparser的子流程会在分析中指定目录SCAPETE日志文件并定期递增，这样统计页面的加载就不会消耗内存和带宽

由于原始日志文件。

第三，在主机的其余部分安装并运行Logpararer。

如果您使用的是Scratch 1.5.1和更早版本，Logparser可以通过Scratch内置的Telnet控制台收集爬网网关和爬网程序。

计时器任务

检查任务的参数及其执行结果。

您可以自由暂停、继续、触发、停止、编辑和删除任务。

电子邮件通知

当在轮询子进程期间定期访问某些条件时，ScrapyDWeb可以通知您并发送电子邮件，以及发送包含当前作业统计信息的电子邮件。

1.设置您的电子邮件帐户：

2.设置电子邮件工作时间和基本触发条件：

上述设置意味着当当前时间到达工作日的9点、12点或17点时，将发送一封电子邮件。这也适用于工作完成。

3.除了上述基本触发器之外，ScrapyDWeb还提供了各种触发器来处理特定类型的日志，包括严重、错误、警告、重定向、重试和忽略。

上述设置意味着，如果在暂存日志中发现三个或更多关键日志，ScrapyDWeb将自动停止当前的捕获作业。如果您符合电子邮件工作时间的条件，将发送电子邮件。

移动用户界面

软件特色：

支持时序任务计划，定期运行蜘蛛计划

观察数据库中的工作信息

适应Logparser v0.8.1，如有，请在统计页面显示爬桥和爬虫。

支持备份统计JSON文件，防止SCRAPYD删除原始日志文件

支持电子邮件用户名(问题28)

为作业、日志和项目页面引入新的用户界面

在部署项目中添加“从服务器同步”页面和“运行蜘蛛”页面复选框

将概述重命名为服务器，将仪表板重命名为作业