1：elasticsearch插件分类简述
2：Java插件开发要点
3：如何针对不同版本elasticsearch提供多版本的插件
4：插件具有外部依赖时遇到的一些问题（2016-09-07更新）
elasticsearch插件分类简述
elasticsearch插件分为Site插件及Java插件，前者比如使用最广泛的head插件，而后者比如elastic官方提供的商业插件shield。
需要注意的是Site插件从elasticsearch2.3.0版本开始已被标记为Deprecated，并将从5.0.0版本开始被正式移除，相关的Site插件将被整合到kibana中，或者单独部署web server。具体如何整合我还不太清楚。
下文主要记录Java插件的开发要点，以maven管理为例。
Java插件开发要点
以下一一个简单功能为例来说明开发流程，该插件记录所有对部署elasticsearch节点的请求，并且根据指定的配置参数，过滤掉敏感操作（DELETE）
1：Java插件入口
继承org.elasticsearch.plugins.Plugin类的入口类，并实现onModule方法。该类中可以通过settings访问elasticsearch配置文件，获取配置信息，并加载下一步的handler，具体实现代码如下所示：
package org.elasticsearch.es.plugin;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.rest.RestModule;
import org.elasticsearch.plugins.Plugin;
@SuppressWarnings("static-method")
public class MyRestPlugin extends Plugin {
private final Settings settings;
public MyRestPlugin(Settings settings){
this.settings = settings;
}
@Override
public String name(){
return "MyRest";
}
@Override
public String description(){
return "ElasticSearch Plugin";
}
public void onModule(RestModule module){
String isPluginEnabled = settings.get("ld.enabled");
MethodAuthenticator.setEnabledStr(isPluginEnabled);
if(isPluginEnabled != null && isPluginEnabled.toLowerCase().equals("true")){
MethodAuthenticator.setIsPluginEnabled(true);
String[] denyMethods = settings.getAsArray("ld.deny", new String[]{});
if(denyMethods != null){
MethodAuthenticator.setDenyMethods(denyMethods);
}
} else {
MethodAuthenticator.setIsPluginEnabled(false);
}
module.addRestAction(MyRestHandler.class);
}
}
配置文件信息放入authenticator静态类，代码如下：
package org.elasticsearch.es.plugin;
import java.util.Arrays;
public class MethodAuthenticator{
private static String enabledStr;
private static boolean isPluginEnabled;
private static String[] denyMethods;
// public MethodAuthenticator(){
//
// }
public static boolean isMethodEnabled(String method){
if(denyMethods == null) {
MyLogger.debug("The deny methods is null");
return true;
}
if(Arrays.asList(denyMethods).contains(method)){
return false;
} else {
return true;
}
}
public static String getEnabledStr(){
return enabledStr;
}
public static void setEnabledStr(String enabledStr){
MethodAuthenticator.enabledStr = enabledStr;
}
public static boolean getIsPluginEnabled() {
return isPluginEnabled;
}
public static String[] getDenyMethods() {
return denyMethods;
}
public static void setIsPluginEnabled(boolean isPluginEnabled) {
MethodAuthenticator.isPluginEnabled = isPluginEnabled;
}
public static void setDenyMethods(String[] denyMethods) {
MethodAuthenticator.denyMethods = denyMethods;
}
}
2：相关的Handler
继承org.elasticsearch.rest.BaseRestHandler类的handler，将filter注入controller，实现代码如下：
package org.elasticsearch.es.plugin;
import org.elasticsearch.rest.*;
import org.elasticsearch.client.Client;
import org.elasticsearch.common.inject.Inject;
import org.elasticsearch.common.settings.Settings;
public class MyRestHandler extends BaseRestHandler {
@Inject
public MyRestHandler(Settings settings, RestController restController, Client client){
super(settings, restController, client);
RestFilter filter = new MyRestFilter(client);
restController.registerFilter(filter);
}
@Override
protected void handleRequest(RestRequest restRequest, RestChannel restChannel, Client client)
throws Exception {
// TODO Auto-generated method stub
}
}
3：注入Filter
继承org.elasticsearch.rest.RestFilter类的filter，在过滤器中实现对请求的记录及过滤，实现代码如下：
package org.elasticsearch.es.plugin;
import org.elasticsearch.client.Client;
import org.elasticsearch.rest.RestFilter;
import org.elasticsearch.rest.RestRequest;
import org.elasticsearch.rest.RestChannel;
import org.elasticsearch.rest.RestFilterChain;
import org.elasticsearch.rest.RestStatus;
import org.elasticsearch.rest.BytesRestResponse;
import java.net.InetSocketAddress;
public class MyRestFilter extends RestFilter{
Client client;
public MyRestFilter(Client client){
this.client = client;
}
@Override
public void process(RestRequest request, RestChannel channel, RestFilterChain filterChain) throws Exception{
try{
if(MethodAuthenticator.getIsPluginEnabled()){
MyLogger.info(getLogInfo(request));
String methodStr = request.method().name().toLowerCase();
if(MethodAuthenticator.isMethodEnabled(methodStr)){
//MyLogger.info("The request method " + methodStr + " is allowed");
filterChain.continueProcessing(request, channel);
} else {
MyLogger.info("The request method " + methodStr + " is denyed");
BytesRestResponse res = new BytesRestResponse(RestStatus.FORBIDDEN, "Forbidden Method Request by MyRest plugin");
channel.sendResponse(res);
}
} else {
//MyLogger.info("MyRest is disabled");
filterChain.continueProcessing(request, channel);
}
} catch (Exception exp) {
channel.sendResponse(new BytesRestResponse(RestStatus.INTERNAL_SERVER_ERROR, "My Rest Filter internal exception"));
}
return ;
}
private String getLogInfo(RestRequest request) throws Exception {
try{
String pathStr = request.path();
String ipaddr = ((InetSocketAddress)request.getRemoteAddress()).getAddress().getHostAddress();
return "The [" + request.method().name() + "] request [" + pathStr + "] is from [" + ipaddr + "]";
} catch (Exception exp) {
MyLogger.error("Request resolve failed: ", exp);
}
return "The request resolve failed";
}
}
日志记录使用elasticsearch的logger，入口static类代码如下所示：
package org.elasticsearch.es.plugin;
import org.elasticsearch.common.logging.ESLogger;
import org.elasticsearch.common.logging.ESLoggerFactory;
public class MyLogger {
private static ESLogger esLogger;
static {
esLogger = ESLoggerFactory.getLogger("myRest");
}
public static void debug(String msg){
esLogger.debug(msg);
}
public static void info(String msg){
esLogger.info(msg);
}
public static void warn(String msg){
esLogger.warn(msg);
}
public static void error(String msg){
esLogger.error(msg);
}
public static void error(String msg, Exception exp){
esLogger.error(msg, exp);
}
}
4：插件配置信息
由于插件使用elasticsearch配置文件保存配置信息，因此在配置文件中加入如下信息：
默认elasticsearch配置文件路径为：/etc/elasticsearch/elasticsearch.yml
ld.enabled: false ld.deny: ["delete"]
需要注意的是配置文件中配置项前面加入2个空格字符，否则可能导致elasticsearch不能启动；
此外，插件正常工作还依赖于plugin-descriptor.properties文件(elasticsearch-1.x版本中是es-plugin.properties文件)，该文件配置信息如下例：
name=myRest description=GridsumLawDissectorElasticSearchPlugin version=0.0.1 jvm=true site=false classname=org.elasticsearch.es.plugin.MyRestPlugin java.version=1.8 elasticsearch.version=2.3.3
我这里以elasticsearch-2.3.3版本为例，可按需求改为2.X的任意版本。
插件描述文件如下所示（其中format指定插件以zip形式安装）：
<?xml version="1.0" encoding="UTF-8"?>
<assembly
xmlns="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.2"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.2 http://maven.apache.org/xsd/assembly-1.1.2.xsd">
<id>plugin</id>
<formats>
<format>zip</format>
</formats>
<includeBaseDirectory>false</includeBaseDirectory>
<dependencySets>
<dependencySet>
<outputDirectory>/</outputDirectory>
<useProjectArtifact>true</useProjectArtifact>
<useTransitiveFiltering>true</useTransitiveFiltering>
</dependencySet>
</dependencySets>
</assembly>
5：编译部署
插件编译使用maven即可：
mvn clean package
需要注意的是如果首次编译可能需要较长时间，maven会下载目标版本的org.elasticsearch.jar。
版本信息在maven对应的pom文件中指定。
编译完成后，将打包的jar文件与plugin-descriptor.properties文件打包为zip安装包，拷贝至elasticsearch的部署节点。
使用如下方式安装插件：
/usr/share/elasticsearch/bin/plugin install file:///opt/myrest.zip
指令中需要说明的是：
1）elasticsearch安装目录下的bin目录下的plugin脚本；
2）由于直接通过打包安装文件安装，因此指定为file://；
3）紧跟打包zip文件的路径即可。
部署完毕后，确保elasticsearch.yml中的配置信息正确，即可重启elasticsearch节点：
systemctl restart elasticsearch
6：验证插件
通过监控elasticsearch日志可看到插件记录的所有请求目标及来源：
tail -f /var/log/elasticsearch/xx.xx.log
上述命令中为log的默认路径，查看以集群clustername命名的日志文件即可。
如果配置参数中过滤方法设置了DELETE，则可通过发送DELETE请求来验证，插件将过滤该请求，并返回403。
如何针对不同版本elasticsearch提供多版本的插件
如前文所述，elasticsearch从2.X版本开始JAVA插件相关的Plugin，BaseRestHandler，RestFilter等抽象类都相同，区别只在于依赖的org.elasticsearch，因此，JAVA插件对elasticsearch2.X以上各版本的支持，只需要修改对应的依赖版本信息并重新打包部署即可。
具体的两个需要修改依赖版本信息的文件分别是：
plugin-descriptor.properties pom.xml
当然这是以maven为例，如果不是以maven，则只需修改第一个文件的版本信息，并手动引用对应版本的org.elasticsearch，重新编译打包即可。
插件具有外部依赖时遇到的一些问题（2016-09-07更新）
最近由于插件功能扩展，需要用到json序列化，使用了fastJson的1.2.16版本，如下是dependency:
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version></version>
</dependency>
遇到的问题主要是在插件部署环节，主要有2个问题：
1：插件发布并未包含依赖的jar包；
2：fastJson.jar需要许可权（不知道表述是否正确，本人不是javaer），以下为问题2的异常信息：
java.security.AccessControlException: access denied (java.lang.RuntimePermission getClassLoader） ... ... ...略
解决方法：
1：在插件发布后打包zip过程中加入fastjson-1.2.16.jar即可，如果打包的package中未包含该jar包，可以从maven的repository路径中获取；
2：更改java.policy文件许可权（默认路径/usr/java/jdk1.8.0_73/jre/lib/security/java.policy），jdk版本为目标主机的jdk版本，在grant中加入以下许可信息：
permission java.lang.RuntimePermission "createClassLoader"; permission java.lang.RuntimePermission "getClassLoader";
重启elasticsearch进程即可。
java.policy如找不到，可以在/usr/lib/jvm/java-1.8.0/jre/lib/security路径下找到。