目录
数据简介
提交要求
评测标准
数据简介
比赛链接:https://www.datafountain.cn/competitions/494
本赛题提供在4发送天线4接收天线(4T4R)的MIMO信道环境下生成的信道信息数据集,期望选手们能够通过具体的模型设计与实验,获得较高的信道信息反馈增益、较低的信道信息反馈开销、较好的复杂信道下的模型泛化能力。
赛题数据来自多小区多用户的4T4R 的MIMO信道,数据通过H_4T4R.mat文件提供,数据样本数量为60万例样本,每例样本大小为768,按照24*16*2的顺序排列,其中分别对应24条传输径,4*4的收发天线对,以及实部和虚部。 赛题选手可以充分利用上述各个维度信息之间的相关特性,以期获得更好的比赛成绩。
训练集为H_4T4R.mat,对外发布用于选手训练模型,线上测试集(共计8万例)不对外发布。
本次大赛不允许使用外部数据集,评测结束后,拟获奖团队在作品审核阶段需说明训练过程,必要情况下需复现训练过程。
数据集和官方给的示例:
链接:https://pan.baidu.com/s/12tNolcqAfpHuaaiDrEQ5Gg
提取码:akey
注:如果失效请及时联系我。
提交要求
各参赛选手请按以下要求完成方案设计,并将结果的压缩包文件上传至竞赛平台评分系统:
1.编程语言版本参考: Python 3.6;
2.调用宏包版本参考: tensorflow 2.1.0;pytorch > 1.0.0;Numpy 1.18.1;matplotlib 3.1.2;h5py 2.10.0 ;Sklearn 0.23.2;
3.上传文件大小限制: 文件大小(压缩上传之前)不得超过100M。
评测机器配置为16GB显存Tesla-T4显卡,限定评测推理时间不超过400s。
本赛题支持TensorFlow及Pytorch两种版本结果的提交,大赛提供二者的结果模板作为基线供选手参考,两类版本均提供modelTrain.py、modelDesign.py 文件,其中:
1. modelTrain.py:
用于搭建模型及进行训练,其中数据导入地址为‘./channelData/H_4T4R.mat’;训练模型存储地址为‘./modelSubmit/*.h5’(TensorFlow版本) 或 ‘./modelSubmit/*.pth.tar’(Pytorch版本);
2. modelDesign.py:
用于网络结构的设计,其中Encoder函数(TensorFlow版本)或类(Pytorch版本)定义发送端编码器模型,即输入为全信道信息,输出为压缩后的比特流向量;Decoder函数(TensorFlow版本)或类(Pytorch版本)定义接收端解码器模型,即输入为接收到的比特流向量,输出为重构的信道信息;Encoder与Decoder耦合成Autoencoder模型,选手通过对Encoder及Decoder模型进行优化设计以提高性能比分;
进一步地,选手需将:
1. modelDesign.py
2. encoder.h5(TensorFlow版本)或 encoder.pth.tar(Pytorch版本)
3. decoder.h5(TensorFlow版本)或 decoder.pth.tar(Pytorch版本)
上传至平台评分系统,具体压缩打包规则见【提交示例】。
提交示例
TensorFlow版本需提交modelDesign.py、encoder.h5以及decoder.h5,请将文件以如下结构进行压缩打包,并以【submit_tf】命名压缩包并上传,例如:submit_tf.zip
submit_tf(文件夹,压缩后上传)
┣━ modelDesign.py
┗━ modelSubmit(文件夹)
┣━ encoder.h5
┗━ decoder.h5
Pytorch版本需提交modelDesign.py、encoder.pth.tar以及decoder.pth.tar,请将文件以如下结构进行压缩打包,并以【submit_pytorch】命名压缩包并上传,例如:submit_pytorch.zip
submit_pytorch(文件夹,压缩后上传)
┣━ modelDesign.py
┗━ modelSubmit(文件夹)
┣━ encoder.pth.tar
┗━ decoder.pth.tar
评测标准
1. 对有效成绩的定义: 反馈比特数不大于给定阀值1000比特,且性能增益不低于给定阀值NMSE<=0.1(信道恢复程度大于等于90%),则此次提交的成绩有效,否则为无效成绩。
2. 对于有效成绩: 反馈比特数小的提交 优于 反馈比特数大的提交
例如:选手甲和选手乙均取得有效成绩,选手甲反馈比特数为100bit,选手乙反馈比特数为200bit,则甲成绩优于乙
3. 同等反馈比特数时,对于有效成绩: 反馈性能高的提交 优于 反馈性能低的提交
例如:选手丙和选手丁均取得有效成绩,选手丙反馈比特数为100bit,性能增益评估为98%信道恢复度,选手丁反馈比特数为100bit,性能增益评估为96%信道恢复度,则丙成绩优于丁
综合得分可表述为: (1000 -反馈比特数N)/1000 + (1/1000) * (1-NMSE)
注意:
1. 选手可在提交记录中查询每次提交的反馈比特数、NMSE、以及提交分数
2. 对于有效成绩、无效成绩均占用当日提交次数
3. 对于无效成绩,提交分数显示为0.000001
4. encoder输出必须是一维的0/1比特流,比特数不超过1000bit。
5. 提供线上评测系统的encoder/decoder推理代码,供选手排查提交文件潜在的运行错误问题。
6. 排行榜上的“有效提交次数”指提交后顺利评测出分的次数,包含有效成绩和无效成绩的提交次数。
7. 排行榜的分数按照四舍五入保留至小数点后8位。