通过Redis的Pub/Sub实现对服务器群的监控管理

需求:

为了准确监控每个服务器的内部状态,而且也不影响现有业务逻辑的情况,需要快速部署一个简单的

服务器集中监控系统。经过考虑,可以使用Redis的Pub/Sub功能来实现一个监控系统是非常好合适的。

当然我们也可以通这个来做批量的管理。



Pub/Sub 从字面上理解就是发布(Publish)与订阅(Subscribe),在Redis中,你可以设定对某一个key值

进行消息发布及消息订阅,当一个key值上进行了消息发布后,所有订阅它的客户端都会收到相应的消息。这一功能可以用作实时消息系统。



  1. 发布和订阅机制

  2.   当一个客户端通过 PUBLISH 命令向订阅者发送信息的时候,我们称这个客户端为发布者(publisher)。

  3.   而当一个客户端使用 SUBSCRIBE 或者 PSUBSCRIBE 命令接收信息的时候,我们称这个客户端为订阅者(subscriber)。

  4.   为了解耦发布者(publisher)和订阅者(subscriber)之间的关系,Redis 使用了 channel (频道)作为两者的中介 —— 发布者将信息直接发布给 channel ,而 channel 负责将信息发送给适当的订阅者,发布者和订阅者之间没有相互关系,也不知道对方的存在

下面这个图适合批量管理,每个客户端的服务器都要有个redis-cli ,安装redis自然就有了,然后定义sub ,在管理端就可以通过pub发布一些个指令,客户端收到后,可以执行,也可以做些相应别的操作。


通过Redis的Pub/Sub实现对服务器群的监控管理



下面这个适合监控,把自己的业务指标pub过去,服务端可以进行相应的处理, 可以是写到mysql里面,可以是和页面进行交互。

通过Redis的Pub/Sub实现对服务器群的监控管理


其实说白了,用socket也是可以实现的,但是redis已经是较成熟的产品,内部实现采用epoll封装,有多路复用特性,非阻塞IO,而且绝大部分请求是纯粹的内存操作。    有这些个特性,咱们没必要还费劲给socket写个并发异步的重构,逼近太麻烦了。

那咱们现在就搞吧~

这个是订阅者

通过Redis的Pub/Sub实现对服务器群的监控管理



这个是发布者

通过Redis的Pub/Sub实现对服务器群的监控管理


实现不间断的收集数据,可以用php的redis模块直接进行操作~~~~

但是直接用php对咱们来说,颇有点难度,可以先考虑用下shell  ~

google到了一些个资料,但是不能用起来不爽,在这里改了接收的判断和端口的重定向

redis-bash-cli


  1. #!/bin/bash

  2. source /usr/share/redis-bash/redis-bash-lib 2> /dev/null

  3. if [ $? -ne 0 ]; then

  4.  LIBFOLDER=${0%/${0##*/}}

  5.  source ${LIBFOLDER}/redis-bash-lib 2> /dev/null

  6. if [ $? -ne 0 ]; then

  7.    echo "can't find redis-bash-lib in /usr/share/redis-bash or ${LIBFOLDER}"

  8.    exit 127

  9.  fi

  10. fi

  11. REDISHOST=localhost

  12. REDISPORT=6379

  13. REPEAT=1

  14. DELAY=0

  15. while getopts ":h:n:p:r:a:i:" opt

  16. do

  17.    case ${opt} in

  18.        h) REDISHOST=${OPTARG};;

  19.        n) REDISDB=${OPTARG};;

  20.        p) REDISPORT=${OPTARG};;

  21.        r) REPEAT=${OPTARG};;

  22.        a) AUTH=${OPTARG};;

  23.        i) DELAY=${OPTARG};;

  24.    esac

  25. done

  26. shift $((${OPTIND} - 1))

  27. if [ "${REDISHOST}" != "" ] && [ "${REDISPORT}" != "" ]

  28. then

  29. exec6<>/dev/tcp/${REDISHOST}/${REDISPORT} # open fd

  30. if [ $? -ne 0 ]; then

  31.        exit 1

  32.    fi

  33. else

  34.    echo "Wrong arguments"

  35.    exit 255

  36. fi

  37. "${AUTH}" != "" ] && redis-client 6 AUTH ${AUTH} > /dev/null

  38. "${REDISDB}" != "" ] && redis-client 6 SELECT ${REDISDB} > /dev/null

  39. for ((z=1;z<=${REPEAT};z++))

  40. do

  41.    redis-client 6"${@}"

  42. if [ $? -ne 0 ]; then

  43.        exit 1

  44.    fi

  45.    [ ${DELAY} -gt 0 ] && sleep ${DELAY}

  46. done

  47. exec6>&- #close fd

redis-bash-lib


  1. #!/bin/bash

  2. function redis-client() {

  3. FD=${1}

  4.    shift;

  5.    if [ ${#} -ne 0 ]; then # always use unified protocol and let the server validate the number of parameters

  6.        local ARRAY=( "${@}" )

  7.        local CMD=("*$[${#ARRAY[@]}]")

  8.        local i=0

  9.        for ((i=0;i<${#ARRAY[@]};i++)); do

  10. CMD=( "${CMD[@]}" "\$${#ARRAY[${i}]}" "${ARRAY[${i}]}" )

  11.        done

  12.        printf "%s\r\n" "${CMD[@]}" >&${FD}

  13.    fi

  14.    local ARGV

  15.    read -r -u ${FD}

  16. REPLY=${REPLY:0:${#REPLY}-1}

  17.    case ${REPLY} in

  18.        -*|\$-*) # error message

  19.            echo "${REPLY:1}"

  20.            return 1;;

  21.        \$*) # message size

  22.            [ ${BASH_VERSINFO} -eq 3 ] && SIZEDELIM="n"

  23.            [ ${REPLY:1} -gt 0 ] && read -r -${SIZEDELIM:-N} $[${REPLY:1}+2] -u ${FD} # read again to get the value itself

  24. ARGV=( "${REPLY:0:$[${#REPLY}-$[${BASH_VERSINFO}-2]]}" );;

  25.        :*) # integer message

  26. ARGV=( "${REPLY:1}" );;

  27.        \**) # bulk reply - recursive based on number of messages

  28.            unset ARGV

  29.            for ((ARGC="${REPLY:1}";${ARGC}>0;ARGC--)); do

  30. ARGV=("${ARGV[@]}" $(redis-client ${FD}))

  31.            done;;

  32.        +*) # standard message

  33. ARGV=( "${REPLY:1}" );;

  34.        *) # wtf? just in case...

  35. ARGV=( "${ARGV[@]}" "${REPLY}" );;

  36.    esac

  37.    printf "%s\n" "${ARGV[@]}"

  38. }

redis-publish-test


  1. #!/bin/bash  

  2. source /usr/share/redis-bash/redis-bash-lib 2> /dev/null

  3. if [ $? -ne 0 ]; then

  4. LIBFOLDER=${0%/${0##*/}}

  5.  echo $LIBFOLDER

  6.  source ${LIBFOLDER}/redis-bash-lib 2> /dev/null

  7.  if [ $? -ne 0 ]; then

  8.    echo "can't find redis-bash-lib in /usr/share/redis-bash or ${LIBFOLDER}"

  9.    exit 127  

  10.  fi

  11. fi

  12. REDISHOST=localhost

  13. REDISPORT=6379

  14. while getopts ":h:p:" opt

  15. do

  16.    case ${opt} in

  17.        h) REDISHOST=${OPTARG};;

  18.        p) REDISPORT=${OPTARG};;

  19.    esac

  20. done

  21. shift $((${OPTIND} - 1))

  22. while true

  23. do

  24.    exec 5>&-

  25.    if [ "${REDISHOST}" != "" ] && [ "${REDISPORT}" != "" ]

  26.    then

  27.        exec 5<>/dev/tcp/${REDISHOST}/${REDISPORT} # open fd

  28.    else

  29.        echo "Wrong arguments"

  30.        exit 255

  31.    fi

  32.    redis-client 5 SUBSCRIBE ${1} > /dev/null # subscribe to the pubsub channel in fd 5

  33.    while true

  34.    do

  35.        unset ARGV

  36. OFS=${IFS};IFS=$'\n' # split the return correctly

  37. ARGV=($(redis-client 5))

  38. IFS=${OFS}

  39.        if [ "${ARGV[0]}" = "message" ] && [ "${ARGV[1]}" = "${1}" ]

  40.        then

  41.        echo ${ARGV[2]}

  42. a=${ARGV[2]}

  43.            echo $($a)

  44.            echo "Message from pubsub channel: ${ARGV[2]}"

  45.        elif [ -z ${ARGV} ]

  46.        then

  47.            sleep 1

  48.            break

  49.        fi

  50.    done

  51. done

这边是订阅者,大家会发现我在订阅者那边发布的信息,这边都接收了,而且执行了linux的命令

通过Redis的Pub/Sub实现对服务器群的监控管理

这边是发布者

通过Redis的Pub/Sub实现对服务器群的监控管理


下面是php的例子,在这里咱们可以把php当做脚本用。

首先是编译安装phpredis扩展,扩展的地址和api手册可见:https://github.com/nicolasff/phpredis


发布者


  1. $redis = new Redis();

  2. $redis->connect('127.0.0.1',6379);

  3. $channel = $argv[1];  // channel

  4. $msg = $argv[2]; // msg

  5. $redis->publish('channel'.$channel, $msg);


订阅者

  1. $redis = new Redis();

  2. $redis->connect('127.0.0.1',6379);

  3. $channel = $argv[1];  // channel

  4. $redis->subscribe(array('channel'.$channel), 'callback');

  5. function callback($instance, $channelName, $message) {

  6.  echo $channelName, "==>", $message,PHP_EOL;

  7. }


可以分别开三个终端窗口

在终端1中执行:

php redis-sub.php 1

在终端2中执行:
php redis-sub.php 2


在终端3中执行:

php redis-pub.php 1 hello


此时在终端1中可以打印出hello;

执行


php redis-pub.php 2 world

则在终端2中打印出world。




 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1190543,如需转载请自行联系原作者


上一篇:Tidb 主机系统参数优化shell


下一篇:Android 从浏览器启动Activity