农企新闻网

搜狗搜索助力世界最快计算机 推出超算图计算零碎

发布者:何俊华
导读2018年3月,搜狗搜索结合清华大学计算机系、国度超级计算无锡中心、数学工程与先进计算国度重点实验室、卡塔尔计算研讨所、国度并行计算机工程技术研讨中心等国度级科研单位,共同研发推出了世界上首个基于超级计算机的超大规模图计算零碎——神图。神图零碎大幅提升了图计算零碎所可以支持的最大数据量和计算复杂度,这标志着超大规模图数据的计算才能完成了宏大的飞跃,同时,也为搜索范畴的用户体验创始了新的篇章。神图零

   2018年3月,搜狗搜索结合清华大学计算机系、国度超级计算无锡中心、数学工程与先进计算国度重点实验室、卡塔尔计算研讨所、国度并行计算机工程技术研讨中心等国度级科研单位,共同研发推出了世界上首个基于超级计算机的超大规模图计算零碎——神图。神图零碎大幅提升了图计算零碎所可以支持的最大数据量和计算复杂度,这标志着超大规模图数据的计算才能完成了宏大的飞跃,同时,也为搜索范畴的用户体验创始了新的篇章。

神图零碎的运转环境是神威·太湖之光国产超级计算机,2016年6月至今,神威·太湖之光已延续4次取得世界高功能计算机排行榜第一名,是目前世界上最快的计算机。基于神威·太湖之光超级计算机的先进架构,神图攻克了大规模图计算零碎面临的多项中心技术难题,针对超级计算机的运转特点停止了深度优化,充沛发掘了神威·太湖之光的超宽并行架构的计算才能,将真实义务的使用功能提升了两个数量级。

搜狗搜索一直着力于对前沿技术效果的推进、创新,努力于为用户带来便捷、丰厚的特性化搜索体验,满足用户的多元化搜索需求。搜狗搜索智能的用户剖析零碎为神图零碎的研发提供了不可或缺的、全方位多角度的用户适用场景。

搜狗搜索助力世界最快计算机 推出超算图计算系统

 

神威·太湖之光超级计算机 ©搜狗百科

过来,超级计算机次要用于迷信与工程计算,聚焦消费升级、多维视频、家庭场景、数字营销、新零售等创新领域,为用户提供更多元、更前沿、更贴心的产品,满足用户日益多样化、个性化的需求。还比拟缺乏面向超大规模数据剖析的非数值计算使用。图(Graph)可以表达丰厚关联的关系,是搜索和人工智能范畴中常用的数据构造之一。基于图的数据发掘算法曾经普遍使用于搜索零碎的网页链接关系剖析、文档主题建模、用户点击行为剖析、实体与关系发掘、搜索意图了解等义务中。互联网使用的数据规模和用户运用频度均在继续疾速增长,这对图计算零碎的横向扩展才能提出了全新应战。现有散布式图计算零碎普遍采用按点划分或按边划分的散布计算形式,但由于互联网环境下数据散布服从幂律散布,顶点度数存在极大的不均衡性,两种方式都面临严重的功能成绩。超级计算机先进的体系架构和超高的计算才能为超大规模图计算义务既带来了机遇,也提出了应战。

搜狗搜索助力世界最快计算机 推出超算图计算系统

 

例:网页链接图 © Marcel Salathe

从2017年开端,搜狗搜索结合清华大学计算机系等单位,共同研发了面向超大规模图计算的神图零碎。研发团队经过深化剖析神威·太湖之光的零碎大容量的内存、抢先的通讯才能、以及大容量且能疾速拜访的外存零碎的优势,并同时充沛结合超大规模图算法的实践需求,创新性地提出分化的音讯传达技术、基于分组的音讯分发技术、无锁数据分发技术、基于内存反省点的高可用零碎等多项新技术,成功研收回可支持BFS/WCC/PageRank等中心图计算算法的神图零碎,计算规模可以扩展到神威·太湖之光全部4万个节点。在实践使用中,神图可以充沛应用上千万核的运算才能和各节点之间通讯网络,在12万亿条边的真实中文网页图上完成PageRank算法的一轮计算迭代仅需21秒,与文献中报道的业界最先进程度零碎相比,(如微软的GraM零碎处置1.2万亿条边的分解图每轮PageRank迭代需求140秒),所处置图数据规模添加了一个数量级,计算耗时反而延长了一个数量级,综合功能提升超越百倍,完成了图计算节点规模、图数据规模以及运转速度上的宏大打破。

神图零碎的研发成功,在扩展了国产超级计算机在大数据剖析范畴的使用才能的同时,提供了愈加迅捷的实验、优化超大规模图算法的运算环境。神图零碎愈加弱小的计算才能给人工智能等相关范畴提供了更宽广的探究空间。

搜狗搜索研发团队曾经将神图零碎集成、浸透到搜索大数据平台中,新零碎将为搜狗搜索继续优化提供强无力的技术支撑和零碎保证,为用户完成更精准便捷的搜索体验。同时,搜狗搜索作为人工智能范畴的领跑者,将持续努力于推进国产超级计算机和国产处置器产业,减速改变我国计算机范畴中心技术和信息平安上受制于人的场面。


引荐阅读

   全速旗舰一加6将至 骁龙845+8GB+256GB奢华配置

  4月3日,一加手机官方正式宣布一加6将至,新机定位“全速旗舰”,搭载高通骁龙845顶级处置器,初次采用了8GB超大内存+256GB存储空间的奢华配置。早在此前,刘作虎>>> 详细阅读


本文标题: 搜狗搜索助力世界最快计算机 推出超算图计算零碎

地址:http://www.lgo100.com/a/05/305712.html

  1 / 2     1   2   下一页