宝塔站长助手插件-智能防爬虫,批量生成robots.txt

github5站长助手

介绍

基于lua开发的开源站长助手, 实现常见的站长功能:

  • 智能防爬虫
  • 批量添加站长统
  • 批量替换网页内容
  • 智能管理网站有效链接
  • 批量生成robots.txt
  • 批量屏蔽网站错误信息
  • 自动推送到百度
  • 更多功能开发中,欢迎联系我们反馈您的需求,QQ群

功能界面

宝塔站长助手插件-智能防爬虫,批量生成robots.txt

功能详情

反爬防护

对网站进行安全防护,防止网络爬虫恶意请求

主要功能

  • 浏览器验证
    智能验证请求客户端是否为浏览器

  • 返回内容编码
    在不影响用户使用的情况下,对网站返回的html进行编码输出

  • 屏蔽错误信息
    禁止返回错误状态码和错误页面信息,可自定义错误页面

  • 无头浏览器识别
    智能检测无头浏览器爬虫

  • 人机识别
    当检测到异常 需要用户手动输入验证码 进行进行操作

  • 加白功能
    针对URL/客户端IP/搜索引擎 进行加白
    目前支持搜索引擎 baidu,google,sogou,bing 等主流搜索引擎

  • 友好后台管理功能
    web后台管理,方便查看和修改配置

SEO优化

主要功能

  • 页面修改
    对每个html页面前插入设置的代码,如插入站长统计,站长工具自动收录代码
    对网站返回内容进行替换/删除(新内容为空), 比如删除网站多余描述信息,或替换成站长联系方式等,根据特定需求进行使用即可

  • 链接管理
    根据配置,智能统计网站所有链接地址
    根据统计到的链接,生成站点地图
    将统计到的链接 推送到百度后台

外链发布(开发中)

主要功能

  • 免费发布
    将域名提交到上千个外部网站上

网站监控 (开发中)

部署

首先安装站长助手

cd /opt/
git clone https://github.com/anquanbiji/zhanzhanglua.git 
chmod 777 /opt/zhanzhanglua/log.txt 
chmod 777 /opt/zhanzhanglua/rule.txt  

宝塔环境

宝塔安装

yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh

找到nginx.conf文件 在http{ 下 添加

include /opt/zhanzhanglua/nginx_conf/in_http_block.conf;

重启nginx

nginx -t 
nginx -s reload  

登录后台
如果您的网站域名是www.atghost.cn
如果您的网站ip是: 47.1.2.4

您的后台地址:
www.atghost.cn/github5
或者
47.1.2.4/github5

openresty

openresty安装

wget https://openresty.org/package/centos/openresty.repo
sudo mv openresty.repo /etc/yum.repos.d/
sudo yum check-update
sudo yum install -y openresty

执行如下命令,查看配置文件

openresty -t 

返回结果

nginx: the configuration file /usr/local/openresty/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/openresty/nginx/conf/nginx.conf test is successful

在 /usr/local/openresty/nginx/conf/nginx.conf 的 http{ 下 添加

include  /opt/zhanzhanglua/nginx_conf/in_http_block.conf;

重启openresty

openresty  -t 
openresty  -s reload  

登录后台
如果您的网站域名是www.atghost.cn
如果您的网站ip是: 47.1.2.4

您的后台地址:
www.atghost.cn/github5
或者
47.1.2.4/github5

其他环境

站长助手依赖nginx lua模块,所有您使用的是apache,iis等其他web服务器,建议先安装openresty或宝塔环境,使用反代方式请求您的网站

后台使用教程

  • 访问/github5 路径
    网站域名后加上/github5 路径,将会打开操作后台 (第一次访问 请进行注册,直接输入手机号和密码)

  • 配置说明
    请查看界面上后右侧帮助信息

手动配置说明

如果对nginx足够了解,可以手动进行配置, 以下所有指令支持server 或 location 块

常见功能

  • 关闭所有功能
set $config_all_fun false; 
  • 关闭浏览器检测
set $config_check_browser false; 
  • 关闭浏览器多次检测
set $config_check_browser_again false; 
  • 关闭返回编码功能
set $config_encode_response false;
  • 关闭屏蔽状态码
set $config_is_error_status false;
  • 关闭屏蔽错误信息
set $config_is_error_info false;

常见问题

  • 无法保存规则到本地文件
    修改规则文件的权限
chmod 777 /opt/zhanzhanglua/rule.txt  

技术支持

每个问题10元QQ群

需求反馈地址

上一篇:【Web】Nginx & OpenResty


下一篇:OpenResty安装、启动脚本及Lua脚本调试