Open vSwitch系列之openflow版本兼容

Open vSwitch系列之openflow版本兼容

众所周知Open vSwitch支持的openflow版本从1.0到1.5版本(当前Open vSwitch版本是2.3.2)通过阅读代码,处理openflow协议的入口函数是openflow_handle__(一看命名就知道这个是老外写的,因为老外比较喜欢用handle这个单词)。当我看到这个函数后,和我想象中处理不太一样,我个人想法应该会有各种版本号判断,然而实际上却没有而只有switch-case,那么Open vSwitch是如何做到不同协议版本的兼容呢?

为了弄清楚这个问题,我大概花了三四天时间,终于揭开了版本兼容面纱—raw这个结构。因此今天来分析一下raw这个结构体。

在介绍之前,说明一下Open vSwitch代码风格,函数名字凡是以两个下划线结尾(__),都是静态函数,并且是真正逻辑处理函数。

我们开始步入正题吧,还是以往的形式,所有解释说明都在代码注释中,除非特别需要强调的才会单独摘出来进行补充说明。

/*

* openflow协议处理入口函数  为了节省篇幅删除一些case语句。

*/

static enum ofperr

handle_openflow__(struct ofconn *ofconn, const struct ofpbuf *msg)

    OVS_EXCLUDED(ofproto_mutex)

{

    const struct ofp_header *oh = msg->data; /* 从ofpbuf获取数据 */

    enum ofptype type;

    enum ofperr error;

    /* openflow协议头解码 这个函数是我们介绍重点 */

    error = ofptype_decode(&type, oh);

    if (error) {

        return error;

    }

    if (oh->version >= OFP13_VERSION && ofpmsg_is_stat_request(oh)

        && ofpmp_more(oh)) {

        /* We have no buffer implementation for multipart requests.

         * Report overflow for requests which consists of multiple

         * messages. */

        return OFPERR_OFPBRC_MULTIPART_BUFFER_OVERFLOW;

    }

/*

 * 根据不同type进行不同处理消息

*/

    switch (type) {

        /* OpenFlow requests. */

    case OFPTYPE_ECHO_REQUEST:

        return handle_echo_request(ofconn, oh);


    case OFPTYPE_PACKET_OUT: /* packet out消息 */

        return handle_packet_out(ofconn, oh);


    case OFPTYPE_PORT_MOD:

        return handle_port_mod(ofconn, oh);


    case OFPTYPE_FLOW_MOD:

        return handle_flow_mod(ofconn, oh);

   ...

    case OFPTYPE_BARRIER_REQUEST: /* barrier消息 没有做什么啊!! */

        return handle_barrier_request(ofconn, oh);


    case OFPTYPE_ROLE_REQUEST:

        return handle_role_request(ofconn, oh);

    case OFPTYPE_TABLE_STATS_REQUEST:

        return handle_table_stats_request(ofconn, oh);


    case OFPTYPE_TABLE_FEATURES_STATS_REQUEST:

        return handle_table_features_request(ofconn, oh);

....

    case OFPTYPE_HELLO:

    case OFPTYPE_ERROR:

    case OFPTYPE_FEATURES_REPLY:

    case OFPTYPE_GET_CONFIG_REPLY:

    case OFPTYPE_PACKET_IN: /* PACKET_IN消息 */

...

case OFPTYPE_METER_FEATURES_STATS_REPLY:

    case OFPTYPE_TABLE_FEATURES_STATS_REPLY:

    case OFPTYPE_ROLE_STATUS:

    default:

        if (ofpmsg_is_stat_request(oh)) {

            return OFPERR_OFPBRC_BAD_STAT;

        } else {

            return OFPERR_OFPBRC_BAD_TYPE;

        }

    }

}

在进行函数分析之前,我觉得理解枚举定义是重点,只有充分理解这个枚举,才能理解下面解析流程。因此在这里我强烈建议读者:阅读一下代码中注释。下面对于枚举解释只是我个人理解,不保证是正确的。由于这个枚举定义很长,为了节省篇幅,这里只摘取典型类型。

由于openflow版本较多并且有些版本差异化比较大(我经常说openflow还很年轻!!),OpenvSwitch为了支持各个版本的差异化,的确花费了很多心思。所以OpenvSwitch定义了一系列的枚举,枚举格式是以OFPRAW_开始。在介绍各个枚举之前,我们先说一下注释内容,因为RAW注释对于我们理解代码非常有帮助。
我们在阅读代码的时候,会发现每个枚举类型的上方有类似的注释

/* OFPT <all> (0): uint8_t[]. */,

/* OFPT 1.0 (6): struct ofp_switch_features, struct ofp10_phy_port[]. */,

根据注释内容我知道,这些注释格式大体是这样的:type versions (number): arguments
就那上面例子来说吧,就会出现下面的表格:

Open vSwitch系列之openflow版本兼容

那么我们来看一下type,version,arguments分别代表什么意思?这部分主要是翻译源代码中注释,网友可以自行查阅。

Type:有下面几种OFPT(标准openflow协议消息),OFPST(标准openflow统计消息),NXT(Nicira扩展消息),NXST(Nicira扩展统计消息)

Version:对应openflow协议版本号,如果是则表示消息在所有版本都是一样的,例如hello消息。如果“1.1+”表示从openflow的1.1版本(含)之后消息是相同的。

Number:理解不是很深入,只能通过代码注释得知是类型值。然而当我自己去匹配的时候,没有匹配成功。这个字段需要在再仔细分析一下。

Arguments:表示消息体具体类型。如果是void表示无消息体,如果uint8[]表示消息体是变长的。Argument存在多个时候,表示消息体可能里面类型它们中之一,这就要依据openflow版本号啦。 例如: /* OFPT 1.1-1.3 (12): struct ofp_port_status, struct ofp11_port. */表示消息体既可以是ofp_port_status,又可以是ofp11_port.

通过上面分析,可以得出下面两种枚举定义格式:
1)标准协议
OFPRAW_OFPT_ (OFPRAW_OFPT10_, OFPRAW_OFPT11_等)
OFPRAW_OFPST_ (OFPRAW_OFPST10_, OFPRAW_OFPST11_等)

2)Nicira扩展协议
OFPRAW_NXT_
OFPRAW_NXST_

通过上面类型的抽象,完成对openflow各个版本兼容,这个抽象过程非常重要,只有充分理解这个抽象过程,才能更好的理解处理流程。

enum ofperr

ofptype_decode(enum ofptype *typep, const struct ofp_header *oh)

{

    enum ofperr error;

    enum ofpraw raw; /* 枚举类型 */


    error = ofpraw_decode(&raw, oh); /* 解析openflow消息头并保存在raw中 */

    *typep = error ? 0 : ofptype_from_ofpraw(raw); /* 根据raw中返回类型 */

    return error;

}

上面这个两个函数都很重要,下面我会对它们进行详细说明的。我们现在调整一下介绍顺序,这样能够方便理解:

Open vSwitch系列之openflow版本兼容

ofpraw_pull函数中会调用右侧三个函数,所我们先来介绍这三个函数,这三个函数搞清楚了ofpraw_pull函数也就清楚了。

在介绍之前,我抓取两个报文,方便解释代码:

Open vSwitch系列之openflow版本兼容

图1:feature_reply消息

Open vSwitch系列之openflow版本兼容

图2:multipart_request消息

/*

 * 解析openflow头部,如果存在子类型则会进一步解析,针对报文图2就会进一步解码。

 * 参数1:出参

*/

static enum ofperr

ofphdrs_decode(struct ofphdrs *hdrs, const struct ofp_header *oh, size_t length)

{

    memset(hdrs, 0, sizeof *hdrs);

    if (length < sizeof *oh) {

        return OFPERR_OFPBRC_BAD_LEN;

    }


    /* 获取基本消息版本号和类型,如果当前消息存在子类型就会进入if-else分支进一步解析子类型,反之直接退出。*/

    hdrs->version = oh->version;

hdrs->type = oh->type;


/* 如果存在子类型就会进入if-else分支进一步解析,针对上面两种报文,图1不会进入任何一个分支,而图2则会进入else分支。为了节省篇幅,我们只针对常见消息进行解析—openflow1.3消息。 */

    if (hdrs->type == OFPT_VENDOR) {//获取设备厂商信息

     ...

    } else if (hdrs->version == OFP10_VERSION

               && (hdrs->type == OFPT10_STATS_REQUEST ||

                   hdrs->type == OFPT10_STATS_REPLY)) {//openflow1.0的消息,我们不关系

     ...


    } else if (hdrs->version != OFP10_VERSION

               && (hdrs->type == OFPT11_STATS_REQUEST ||

                   hdrs->type == OFPT11_STATS_REPLY)) {/* 通过报文和代码中枚举类型可知,图2中报文会进入此分支。 */

        const struct ofp11_stats_msg *osm;


        /* Get statistic type (OFPST_*). */

        if (length < sizeof *osm) {

            return OFPERR_OFPBRC_BAD_LEN;

        }

        osm = (const struct ofp11_stats_msg *) oh;

        hdrs->stat = ntohs(osm->type);/* 将子类型赋值到出参的stat中  */


        if (hdrs->stat == OFPST_VENDOR) {/* 这个分支也是获取厂商信息 对于上面消息而言不会进入,我们这里忽略掉。 */

           

        }

    }


    return 0;

}

这个函数我们就分析完了,我们来看一下这个函数:ofpraw_from_ofphdrs。


/*

 * 通过上面函数得到hdrs(参数2)传入到这个函数中,以便获取raw。

 */

static enum ofperr

ofpraw_from_ofphdrs(enum ofpraw *raw, const struct ofphdrs *hdrs)

{

    static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);


    struct raw_instance *raw_hdrs;

    uint32_t hash;


    ofpmsgs_init();


    hash = ofphdrs_hash(hdrs);/* 对参数2进行hash运算,然后在hash-map中查找 */

    HMAP_FOR_EACH_WITH_HASH (raw_hdrs, hmap_node, hash, &raw_instance_map) {

        if (ofphdrs_equal(hdrs, &raw_hdrs->hdrs)) {

            *raw = raw_hdrs->raw;/* 返回找到raw类型 */

            return 0;

        }

    }

/* 如果没有找则记录日志并且返回错误 */

    if (!VLOG_DROP_WARN(&rl)) {

        struct ds s;


        ds_init(&s);

        ds_put_format(&s, "version %"PRIu8", type %"PRIu8,

                      hdrs->version, hdrs->type);

        if (ofphdrs_is_stat(hdrs)) {

            ds_put_format(&s, ", stat %"PRIu16, hdrs->stat);

        }

        if (hdrs->vendor) {

            ds_put_format(&s, ", vendor 0x%"PRIx32", subtype %"PRIu32,

                          hdrs->vendor, hdrs->subtype);

        }

        VLOG_WARN("unknown OpenFlow message (%s)", ds_cstr(&s));

        ds_destroy(&s);

    }


    return (hdrs->vendor ? OFPERR_OFPBRC_BAD_SUBTYPE

            : ofphdrs_is_stat(hdrs) ? OFPERR_OFPBRC_BAD_STAT

            : OFPERR_OFPBRC_BAD_TYPE);

}

上面这个函数逻辑相对简单,我们主要看一下raw_instance_map组成结构,ofpmsgs_init这个函数是用于初始化raw_instance_map的。通过查看这个函数源代码又可知,这个hashmap的输入是这个结构raw_infos(ofp-msg.inc文件)。我们看一下这个定义,这是一个结构体数组:static struct raw_info raw_infos[] = {...}。我们分析一下这个结构体定义:


/* Information about a particular 'enum ofpraw'. */

struct raw_info {

    /* All possible instantiations of this OFPRAW_* into OpenFlow headers. */

    struct raw_instance *instances; /* 这个是一个数组,其数组大小是min_version - max_version + 1. */

    uint8_t min_version; /* 当前实例支持的最小版本号 最小是1*/

    uint8_t max_version; /* 当前实例支持的最大版本号 最大是255*/


    unsigned int min_body; /* 消息体最小大小 */

    unsigned int extra_multiple;/* 这个字段不是很明白是什么意思 */

    enum ofptype type;/* openflow消息类型,例如OFPTYPE_HELLO,OFPTYPE_PACKET_IN等 */

    const char *name;/* 字符描述 */

};


/* A mapping from OpenFlow headers to OFPRAW_*.  */

struct raw_instance {

    struct hmap_node hmap_node; /* In 'raw_instance_map'. Hash节点*/

    struct ofphdrs hdrs;        /* Key. Hash-key*/

    enum ofpraw raw;            /* Value. */

    unsigned int hdrs_len;      /* ofphdrs_len(hdrs). */

};


我们来分析两个两个消息,一个是hello消息,一个是flow_mod消息。

static struct raw_info raw_infos[] = {

    {

        ofpraw_ofpt_hello_instances, /* 实例定义 */

        1, 255,/* 最小版本号1说明hello消息是从openflow1.0开始, 最大版本号是255说明,这个hello消息在各个版本中都支持。*/

#line 109 "./lib/ofp-msgs.h"

        0,/* 最小消息体长度是0,表明没有消息体 */

#line 109 "./lib/ofp-msgs.h"

        sizeof(uint8_t),

#line 1620 "lib/ofp-msgs.inc"

        OFPTYPE_HELLO,/* openflow消息类型,消息类型是hello消息 */

        "OFPT_HELLO", /* 字符描述 */

    },

...

{

   ofpraw_ofpt10_flow_mod_instances,/* openflow1.0中flow_mod */

   1, 1, /* 最小和最大版本号都是1,表明这个flow_mod消息支持1.0 */

#line 175 "./lib/ofp-msgs.h"

        sizeof(struct ofp10_flow_mod),

#line 175 "./lib/ofp-msgs.h"

        sizeof(uint8_t[8]),

#line 1884 "lib/ofp-msgs.inc"

        OFPTYPE_FLOW_MOD,

        "OFPT_FLOW_MOD",

},

{

   ofpraw_ofpt11_flow_mod_instances, /* openflow1.1协议中flow_mod */

   2, 6, /* 最小版本号是2,最大版本号是6,表明这个flow_mod支持openflow1.1到openflow1.5。 */

#line 177 "./lib/ofp-msgs.h"

   sizeof(struct ofp11_flow_mod),/* 标准openflow中flow_mod结构大小 */

#line 177 "./lib/ofp-msgs.h"

   sizeof(struct ofp11_instruction), /*扩展结构,即instruction结构*/

#line 1895 "lib/ofp-msgs.inc"

   OFPTYPE_FLOW_MOD,

   "OFPT_FLOW_MOD",

},

}

我们再来看一下ofpraw_ofpt11_flow_mod_instances的定义:


static struct raw_instance ofpraw_ofpt11_flow_mod_instances[] = {

    { {0, NULL}, {2, 14, 0, 0x0, 0}, OFPRAW_OFPT11_FLOW_MOD, 0 },

    { {0, NULL}, {3, 14, 0, 0x0, 0}, OFPRAW_OFPT11_FLOW_MOD, 0 },

    { {0, NULL}, {4, 14, 0, 0x0, 0}, OFPRAW_OFPT11_FLOW_MOD, 0 },

    { {0, NULL}, {5, 14, 0, 0x0, 0}, OFPRAW_OFPT11_FLOW_MOD, 0 },

    { {0, NULL}, {6, 14, 0, 0x0, 0}, OFPRAW_OFPT11_FLOW_MOD, 0 },

};

其中红色字体就是函数ofpraw_from_ofphdrs最终返回的raw类型,数组大小是6-2+1=5。
下面这个两个函数就是根据返回的raw,获取对应实例raw_instance,在定义的时候成员变量hdrs_len,定义成0。当在初始化hashmap的时候,会对这个成员进行初始化,可以参考函数ofpmsgs_init。


static const struct raw_info *

raw_info_get(enum ofpraw raw)

{

    ofpmsgs_init();/* 这个函数只会被调用一次。 */


    ovs_assert(raw < ARRAY_SIZE(raw_infos));

    return &raw_infos[raw]; /* 返回raw_info */

}


static struct raw_instance *

raw_instance_get(const struct raw_info *info, uint8_t version)

{

    ovs_assert(version >= info->min_version && version <= info->max_version);

    return &info->instances[version - info->min_version];/* 返回raw_instance */

}

有了这个上面分析基础,我们再回过头来看一下这个最外部函数ofpraw_pull。


enum ofperr

ofpraw_pull(enum ofpraw *rawp, struct ofpbuf *msg)

{

    static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);


    const struct raw_instance *instance;

    const struct raw_info *info;

    struct ofphdrs hdrs;


    unsigned int min_len;

    unsigned int len;


    enum ofperr error;

    enum ofpraw raw;


    /* Set default outputs. */

    msg->header = msg->data;

    msg->msg = msg->header;

    *rawp = 0;


    len = msg->size;

    error = ofphdrs_decode(&hdrs, msg->data, len);/* 解析openflow头部消息 保存在hdrs中 */

    if (error) {

        return error;

    }


    error = ofpraw_from_ofphdrs(&raw, &hdrs); /* 根据hdrs,从hmap中获取raw */

    if (error) {

        return error;

    }

/* 获取实例对象 */

    info = raw_info_get(raw);

instance = raw_instance_get(info, hdrs.version);


/* 根据实例对象配置,进行数据分割。 */

    msg->header = ofpbuf_pull(msg, instance->hdrs_len);

    msg->msg = msg->data;

min_len = instance->hdrs_len + info->min_body;



    switch (info->extra_multiple) {

    case 0:

        if (len != min_len) {

            VLOG_WARN_RL(&rl, "received %s with incorrect length %u (expected "

                         "length %u)", info->name, len, min_len);

            return OFPERR_OFPBRC_BAD_LEN;

        }

        break;


    case 1:

        if (len < min_len) {

            VLOG_WARN_RL(&rl, "received %s with incorrect length %u (expected "

                         "length at least %u bytes)",

                         info->name, len, min_len);

            return OFPERR_OFPBRC_BAD_LEN;

        }

        break;


    default:

        if (len < min_len || (len - min_len) % info->extra_multiple) {

            VLOG_WARN_RL(&rl, "received %s with incorrect length %u (must be "

                         "exactly %u bytes or longer by an integer multiple "

                         "of %u bytes)",

                         info->name, len, min_len, info->extra_multiple);

            return OFPERR_OFPBRC_BAD_LEN;

        }

        break;

    }


    *rawp = raw; /* 返回从实例中获取raw类型。 */

    return 0;

}

通过上面这一系列的分析,我们梳理清楚raw是怎么操作的,下面我们返回到这个最开始的函数:


enum ofperr

ofptype_decode(enum ofptype *typep, const struct ofp_header *oh)

{

    enum ofperr error;

    enum ofpraw raw; /* 枚举类型 */


    error = ofpraw_decode(&raw, oh); /* 解析openflow消息头并保存在raw中 */

    *typep = error ? 0 : ofptype_from_ofpraw(raw); /* 根据raw中返回类型 */

    return error;

}

我们现在看一下函数ofptype_from_ofpraw,这个函数也非常简单,我们跟踪代码可以得知,返回来的类型,其实就是文件ofp-msg.inc中定义的数组结构体struct raw_info raw_infos,里面某个成员(raw是数组下标)。

这样我们就比较清楚的梳理出,openvswitch是如何进行各个版本兼容的。我们总结一下:
1、OpenvSwitch版本兼容核心技巧,在于这个数组定义,raw_info raw_infos,其中min_version,max_version是关键,通过这个两个变量做到了版本兼容。

2、虽然版本能做到兼容,但是各个版本还有差异,那么Open vSwitch是如何做到呢?是通过raw_instance数组定义,也是定义在文件Ofp-msgs.inc中。

只有充分理解上面这个两个数组,我们就能清楚知道Open vSwitch是何如做到版本兼容,当我们基于Open vSwitch进行二次开发的时候,就能够知道在哪些地方增加对应的消息啦。


上一篇:2 AI论文笔记--Rethinking the Inception Architecture for Computer Vision


下一篇:SparkSQL使用之JDBC代码访问Thrift JDBC Server