使用JSCH执行命令并读取终端输出的一些使用心得

使用Jsch执行命令,并读取终端输出

jsch

http://www.jcraft.com/jsch/

Jsch是java实现的一个SSH客户端。开发JSCH的公司是 jcraft:

JCraft成立于1998年3月,是一家致力于Java应用程序和Internet / Intranet服务的应用程序开发公司。

Jcraft的总裁兼首席执行官是Atsuhiko Yamanaka博士

在Yamanaka博士于1998年3月创立JCraft之前,他已经加入NEC公司两年了,从事软件的研究和开发。

Yamanaka博士拥有日本东北大学的信息科学硕士学位和博士学位。他还获得了东北大学信息科学学士学位。他的主题与计算机科学的数学基础有关,尤其是构造逻辑和功能编程语言的设计。

执行命令

public static String executeCommandWithAuth(String command,
SubmitMachineInfo submitMachineInfo,
ExecuteCommandACallable<String> buffer) {
Session session = null;
Channel channel = null;
InputStream in = null;
InputStream er = null;
Watchdog watchdog = new Watchdog(120000);//2分钟超时
try {
String user = submitMachineInfo.getUser();
String host = submitMachineInfo.getHost();
int remotePort = submitMachineInfo.getPort(); JSch jsch = new JSch();
session = jsch.getSession(user, host, remotePort); Properties prop = new Properties();
//File file = new File(SystemUtils.getUserHome() + "/.ssh/id_rsa");
//String knownHosts = SystemUtils.getUserHome() + "/.ssh/known_hosts".replace('/', File.separatorChar);
//jsch.setKnownHosts(knownHosts)
//jsch.addIdentity(file.getPath())
//prop.put("PreferredAuthentications", "publickey");
//prop.put("PreferredAuthentications", "password");
// prop.put("StrictHostKeyChecking", "no");
session.setConfig(prop);
session.setPort(remotePort);
session.connect(); channel = session.openChannel("exec");
((ChannelExec) channel).setPty(false);
((ChannelExec) channel).setCommand(command); // get I/O streams in = channel.getInputStream();
er = ((ChannelExec) channel).getErrStream();
BufferedReader reader = new BufferedReader(new InputStreamReader(in, StandardCharsets.UTF_8));
BufferedReader errorReader = new BufferedReader(new InputStreamReader(er, StandardCharsets.UTF_8)); Thread thread = Thread.currentThread();
watchdog.addTimeoutObserver(w -> thread.interrupt()); channel.connect();
watchdog.start();
String buf;
while ((buf = reader.readLine()) != null) {
buffer.appendBuffer(buf);
if (buffer.IamDone()) {
break;
}
}
String errbuf;
while ((errbuf = errorReader.readLine()) != null) {
buffer.appendBuffer(errbuf);
if (buffer.IamDone()) {
break;
}
} //两分钟超时,无论什么代码,永久运行下去并不是我们期望的结果,
//加超时好处多多,至少能防止内存泄漏,也能符合我们的预期,程序结束,相关的命令也结束。
//如果程序是前台进程,不能break掉,那么可以使用nohup去启动,或者使用子shell,但外层我们的程序一定要能结束。
watchdog.stop();
channel.disconnect();
session.disconnect();
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
if (in != null) {
in.close();
}
if (er != null) {
er.close();
}
} catch (Exception e) {
//
} if (channel != null) {
channel.disconnect();
}
if (session != null) {
session.disconnect();
}
watchdog.stop();
} return buffer.endBuffer();
}
  public interface ExecuteCommandACallable<T> {

    boolean IamDone();//提前结束执行,如果终端是无限输出,则可以在达到一定条件的时候,通过IamDone通知上述程序结束读取。

    //for buffer
ExecuteCommandACallable<T> appendBuffer(String content);//异步追加输出到自定义的Buffer String endBuffer();//正常结束Buffer,
}

上述两段代码已经用于生产环境,如果通过异步的方式启动,可以在Buffer中通过appendBuffer方法接收每一行的输出。可以打印到终端,也可以写如文件,甚至写到websocket,Kafka等。

实际遇到的问题

就是执行一些命令,例如启动 spark,spark-submit,启动 flink, flink run,都无法读取终端输出,且都阻塞到readLine。

思路,既然我们读的是标准终端输出,以及错误终端输出,那么我们是见过 2>&1这种重定向,是不是可以利用他重定向到我们的流呢?

经过实践,解决方案就是,无论执行什么命令,在后面都可以增加 2>&1,即便是 ls 2>&1, date 2>&1.

至于为什么不加 2>&1就不行,或许是因为以这种方式启动的命令输出,是到了 /dev/tty了,或者某个非ssh进程的pipe。

非充分验证

  1. 执行 executeCommandWithAuth("date;sleep 1m;date", submitMachineInfo, buffer);, 并查看Linux中通过ssh协议产生bash进程的fd
  2. 执行 executeCommandWithAuth("date;sleep 1m;date 2>&1", submitMachineInfo, buffer);, 并查看Linux中通过ssh协议产生bash进程的fd

这两条命令都是可以在Java程序中打印出结果的。

例如:

2019年 12月 05日 星期四 11:57:16 CST
2019年 12月 05日 星期四 11:58:16 CST

Linux中的执行结果如下

[root@hm arvin]# ps aux | grep bash
arvin 7886 0.0 0.0 113248 1592 ? Ss 11:55 0:00 bash -c date;sleep 1m;date
root 7910 0.0 0.0 112668 972 pts/1 S+ 11:56 0:00 grep --color=auto bash
[root@hm arvin]# ll /proc/7886/fd
总用量 0
lr-x------ 1 arvin arvin 64 12月 5 11:55 0 -> pipe:[64748]
l-wx------ 1 arvin arvin 64 12月 5 11:55 1 -> pipe:[64749]
l-wx------ 1 arvin arvin 64 12月 5 11:55 2 -> pipe:[64750]
[root@hm arvin]# ps aux | grep bash
root 617 0.0 0.0 115248 944 ? S 09:40 0:00 /bin/bash /usr/sbin/ksmtuned
arvin 7968 0.0 0.0 113248 1588 ? Ss 11:57 0:00 bash -c date;sleep 1m;date 2>&1
root 8000 0.0 0.0 112672 972 pts/1 S+ 11:57 0:00 grep --color=auto bash
[root@hm arvin]# ll /proc/7968/fd
总用量 0
lr-x------ 1 arvin arvin 64 12月 5 11:57 0 -> pipe:[64278]
l-wx------ 1 arvin arvin 64 12月 5 11:57 1 -> pipe:[64279]
l-wx------ 1 arvin arvin 64 12月 5 11:57 2 -> pipe:[64280]
[root@hm arvin]#

可以看到这两种执行方式,之所以能在Java中打印出来输出结果,是因为打印到了某些pipe,根据推测是打印到了ssh进程的pipe,所以才能通过SSH协议送回我们本地机器Java应用程序中的jsch的线程内的。

这里我就不再制造不加重定向无法打印的例子,但可以用此方法验证,推测Linux进程输出到别的位置了。

上一篇:JS原生事件处理(跨浏览器)


下一篇:由于防火墙限制无法访问linux服务器上的tomcat应用