技术文档.md

⚙️ SSPanel-Mining <开发者文档>

更新日期：2022/02/04

版本号：v0.2.2

核心技术栈：Python3 || Selenium

1 环境复现

[注意] 本文档将以如下参考配置进行项目说明

• 开发工具：PyCharm 2021.3 (Community Edition) 、Anaconda（env Python3.9）
• 操作系统：Windows 10.0.19041、Ubuntu 20.04 LTS

2 启动项目

如下以 Ubuntu 20.04 LTS 环境为例介绍快速部署上手指南。

拉取仓库

git clone https://github.com/RobAI-Lab/sspanel-mining.git /home/sspanel-mining 

拉取依赖并进入工作空间

# /home/sspanel-mining 
cd /home/sspanel-mining && pip install -r requirements.txt && cd src

Scaffold Install

# /home/sspanel-mining/src
python3 main.py install

Scaffold Mining

# /home/sspanel-mining/src
python3 main.py mining --env=production --collector --classifier --source=local

查看输出

分类器输出与运行时的通信状态有关，有一定的误判概率，也有一定的时效性。

运行结果以 .txt 文件存储在 ./sspanel-mining/src/databse/sspanel_hosts中。

• 其中dataset_{datetime}.txt为采集器（Collector）输出结果，其存储本轮采集获取的暴露在公网上的 SSPanel-Uim 站点链接。

• classifier 文件夹中存放着分类器（Classifier）的输出结果。

• 分类数据将以 .csv 文件形式存储在 /database/staff_hosts/classifier 中：

  • 标签解释如下：
    • Normal：无验证站点
    • Google reCAPTCHA：Google reCAPTCHA 人机验证
    • GeeTest Validation：极验滑块验证（绝大多数）/选择文字验证（极小概率）
    • Email Validation：邮箱验证（开放域名）
    • SMS：手机短信验证 [钓鱼执法？]
    • CloudflareDefenseV2：站点正在被攻击 or 高防服务器阻断了爬虫流量
  • 存在以下几种 限型实例：
    • 限制注册(邮箱)：要求使用指定域名的邮箱接收验证码
    • 限制注册(邀请)：要求必须使用有效邀请码注册
    • 请求异常(ERROR:STATUS_CODE)：请求异常，携带相应状态码
    • 拒绝注册：管理员关闭注册接口
    • 危险通信：HTTP 直连站点

3 注意事项

更多注意事项详见 注意事项