飞象网讯(易欢/文)随着5G时代的来临,各种应用场景层出不穷,网络环境也变的更加复杂,尤其是今年疫情黑天鹅的突袭,使得在线会议、在线教育、网络直播等实时通信需求激增,对底层的网络基础提出了巨大挑战,用AI技术来应对当下前所未有的复杂网络成为业界共识。
“然而,真正要推动AI在网络研究中的应用与发展却并非易事”,微软亚洲研究院常务副院长周礼栋对飞象网表示:“网络本身的分布式架构和其开放、共享的特性决定了网络新范式的研究不可能单点进行,而是需要大家齐心协力、共建平台,共享数据,才能更好地利用人工智能提升网络研究水平。”
基于此,微软亚洲研究院宣布联合清华大学、北京大学、南京大学、兰州大学、新加坡国立大学、首尔国立大学等多所亚洲地区高校,成立OpenNetLab开放网络平台联盟。通过为研究人员提供通用的分布式网络测试平台,以及真实的网络评测数据集,来助力AI加速网络研究。
直击AI在网络应用的痛点
截至目前,AI在视觉、语音、自然语言等领域的应用已如火如荼,而上层不断发展变化的各种应用,则需要底层网络架构的稳固支撑才能得以实现。如何挖掘AI技术的潜力来提升网络领域的研究,是目前学术界和工业界共同关注的焦点。
“然而,AI技术在网络领域的应用也面临诸多挑战。”周礼栋讲到,“一方面,网络AI模型的训练和验证需要大量的数据,真实且有代表性的网络数据能提升模型的准确性和适用性,但研究人员获取大规模真实网络数据具有较大难度。另一方面,由于网络结构的多样性,以及网络设备、连接方式的异构性,如果希望一个网络模型适用于不同的场景,那么一次性离线训练的模型显然远远不够,而适合于此的强化学习模型对训练环境和场景要求很高。”
“OpenNetLab的诞生正是为了应对这些挑战,为研究人员提供基于现实网络的真实数据,并能实地训练和验证网络模型。”周礼栋说。
南京大学计算机科学与技术系副教授田臣也很认同OpenNetLab的价值。“我们做相关实验往往很难获得资源,即使获取了也很难基于真实的数据做研究。而OpenNetLab平台通过真实的实验平台和测量数据,可以极大地降低该领域新进入者的实验门槛,并树立一个可信的评价标杆。”
据介绍,OpenNetLab开放网络平台可以通过构建分布式节点收集不同区域、形态、场景的网络数据。现阶段,微软亚洲研究院计划将与合作高校一起在亚洲范围内建设40多个分布式异构节点。
周礼栋称:“每个节点将由服务器、笔记本电脑、智能设备等组件构成,同时提供有线宽带、无线局域网和4G/5G移动网络的接入能力,数据存储、集成、分享的标准化接口,以及适用于不同网络环境的AI模型运行、训练和验证工具,帮助研究人员专注于网络AI算法和模型。”
他进一步表示,今后,这些节点将在平台用户同意的情况下,实时收集网络状态、数据包跟踪等非隐私/非敏感数据,为各类网络AI模型的训练及验证提供支持。
多所合作高校已基于平台展开相关研究
据悉,OpenNetLab开放网络平台联盟的主要发起机构为微软亚洲研究院、清华大学、南京大学和北京大学,其它合作成员还包括兰州大学、新加坡国立大学、首尔国立大学、韩国科学技术院、南方科技大学、上海交通大学等亚洲范围内的高校。
目前,该平台已经完成了多个节点的建设及小规模部署测试,并且正在逐步进入大规模测试阶段。OpenNetLab平台的真实数据集不仅为高校提供了丰富的实验资源,也使得相关课程教学及实验更加接近现实世界的网络应用情况。多所合作高校已基于该平台展开了相关研究。
以南京大学为例,田臣表示,现在正在做的是针对更广范围的内容分发,包括网页、文件下载类的静态内容以及单向视频,点播和直播拥塞控制的研究。此外,田臣透漏:“下一步首先会在OpenNetLab平台上把之前基于AI的拥塞控制配合其他学校共同搭建起来,在此基础上再去评估基于AI的拥塞控制协议。此外,我们将利用假期更新课程里的实验设计,把基于OpenNetLab做广域网的实验平台搭建起来。”
“我们期望与微软亚洲研究院一起为该平台建立更多的节点,覆盖更多的典型网络地域和接入场景,通过为协议研究提供充分可信的资源,消弭广域网学术研究与产业应用之间的距离。”田臣讲到。
谈及与其他高校的合作情况,周礼栋进行了补充说明。北京大学做了很多关于机器学习的网络测量;清华大学针对异构网络带宽的测量做了很多研究;首尔国立大学则更偏重系统方面的研究实验;新加坡国立大学方面更多针对的是硬件加速的研究等。“我们希望利用技术非常系统化地在底层解决可能存在的问题,让我们感受不到网络的存在。”
最后,周礼栋透漏,未来,OpenNetLab平台的网络状态数据集将在GitHub上发布,为网络研究提供日渐丰富的训练数据和验证数据。OpenNetLab平台的节点覆盖区域也计划逐步扩展至亚洲以外地区。“OpenNetLab开放网络平台联盟面向网络、多媒体、人工智能等多领域的科研组织和研究人员开放,希望更多志同道合的科研工作者加入,一起推动网络研究的发展。”