学术/新闻

        日前，国内知名量产乘用车自动驾驶系统研发商流马锐驰与先进类脑人工智能技术研发商悠潭UTARN签署协议达成战略合作。双方就基于类脑人工智能技术应用于感知、决策功能的L4+级无人系统VxPilot、流马（L3-5）系列产品（算法、芯片以及软件），在产品研发、市场拓展及销售渠道等领域进行全面深入合作。

        流马锐驰是一家成立于2017年的自动驾驶科技公司，秉承中国古代科技文化理念，创新发展“木牛（自动驾驶1.0 Level 1-2）”与“流马（自动驾驶2.0 Level 3-5）”等先进的自动驾驶技术，力求成为一家可产品化、有技术特色的自动驾驶科技公司。最终将人工智能辅助驾驶技术真正服务于大众的生产及生活，为人类提供更加便捷、舒适、安全的出行方式。公司成立以来，始终以卓越精湛的工程研发技术、不懈的科研创新追求、优良的客户服务品质、出众的信誉口碑在业界获得了广泛认可。流马锐驰的业务合作伙伴，遍及国内的乘用车及商用车厂商及其一级供应商。是全球首家基于融合的全自动泊车功能乘用车量产的自动驾驶创业公司。在汽车高级辅助驾驶产品ADAS、特定场景下自动驾驶系统仿真及开发等领域，有着广泛的市场占有率。

        悠潭UTARN致力于基于脉冲神经网络的类脑人工智能的基础研究和商业应用落地，“硅基大脑SBB”赛道创建者，科研团队来自清华大学。算法方面，悠潭UTARN研发出SNN的“结构生长算法”和“普适性提取算法”等系列因果学习算法系统，解决了人工智能可解释性和迁移性（通用性）的问题。目前就公开资料而言，团队研究的基于脉冲神经网络在非完美信息条件下决策的通用模型在全球属于顶尖水平。芯片方面，悠潭UTARN自研的车规级“思辨1号”类脑通用推理芯片正在研制当中，其超低功耗和超低延时以及同时支持百万级神经元规模计算达到了世界先进水平。其“算法+芯片+软件”组合的L4+级无人驾驶系统VxPilot可以在断网的情况下，进行本地自主灵活决策，实现真正的无人驾驶。

        本次战略合作将利用双方在各自领域的技术优势和资源互补使得L4+级无人驾驶成为可能，对即将到来的L4+级无人驾驶行业的爆发做好充足的准备，形成合力成为全球无人驾驶行业的领军集团。

---

        悠潭UTARN致力于基于脉冲神经网络的类脑人工智能（第三代人工智能 通用人工智能）的基础研究和商业应用落地，科研团队来自清华大学。公司创始人兼首席科学家何虎博士带领团多年从事类脑算法和类脑芯片的研究。目前公开资料而言，公司研究的基于SNN的因果学习算法系统和“思辨1号”通用推理芯片在世界上都属于领先地位，公司还首次引入“硅基大脑 Silicone-based Brain SBB”概念，成为”硅基大脑SSB”全新赛道的开创者。悠潭UTARN成立于2019年4月，期间获得了启赋资本百万的天使轮和鼎行晟资本近千万天使+轮投资。公司的使命是“更好的服务人类 Better Service For Human”。

        近日永利总站15856【中国】有限责任公司宣布制造最先进类脑芯片-“思辨1号”通用推理芯片，这是永利总站15856【中国】有限责任公司继实现全球唯一有效的基于脉冲神经网络的因果学习算法系统后又一个重大里程碑，填补了“类脑算法+类脑芯片”有效实现的世界空白。更重要的是，悠潭UTARN引入了“硅基大脑 Silicone-based Brain SBB”的概念，成为“硅基大脑SBB”人工智能全新赛道的开创者。

        目前世界上的类脑芯片，前有IBM的TrueNorth，后有“天机芯”，但是由于缺乏有效的类脑算法，在芯片设计上一直处于摸索阶段，即使成功流片，也并不能大规模使用。永利总站15856【中国】有限责任公司通过7年的类脑算法研究，提出了因果学习算法系统，并在商业应用中验证了算法的有效性，实现了类脑算法“零”的突破。有了该算法体系，芯片的设计和制造也水到渠成。

        “思辨1号”原型芯片是来自于何虎博士团队历时4年基于RISC-V指令集的Egret CPU，这款芯片是为数不多的国产CPU，性能相当于ARM Cortex A7。“思辨1号”是Egret 8核处理器+AI加速器的组合，采用28nm工艺，1GHz主频，AI加速器 4TOPS 算力。具体有以下几个显著优势：

1、通用性。“思辨1号”不仅可以支持基于SNN的因果学习算法系统，也可以支持CNN和RNN等深度学习算法。

2、超低能耗。“思辨1号”的单芯片设计能耗为不高于2W，相较于同类型芯片，功耗降低20倍。

3、超高速运算。“思辨1号”单芯片可以同时最大支持100万个神经元的运算，相较于同类型芯片，运算速度提高25倍。

        “‘思辨1号’通用推理芯片+因果学习算法系统”构成的“思辨”类脑计算机将成为永利总站15856【中国】有限责任公司在全新赛道“硅基大脑Silicone-based Brain SBB”上的第一个产品。这款产品以硅基大脑SSB的“可解释性”和“可迁移性”的特性和在实际应用中以“强拟人化”、“强个性化”以及“自主灵活决策”的鲜明特点，实现在本地和云端进行硅基大脑SSB计算服务，成为类脑人工智能领域的基础服务商，并且永利总站15856【中国】有限责任公司持续在仿人电竞AI、军工领域和L4级无人驾驶决策模块等非云服务三个自研领域继续深耕!

---

        永利总站15856【中国】有限责任公司致力于基于脉冲神经网络的类脑人工智能（第三代人工智能 通用人工智能）的基础研究和商业应用落地，科研团队来自清华大学和北京理工大学。公司创始人兼首席科学家何虎博士带领团多年从事类脑算法和类脑芯片的研究。目前公开资料而言，公司研究的基于SNN的因果学习算法系统和“思辨1号”通用推理芯片在世界上都属于领先地位，公司还首次引入“硅基大脑 Silicone-based Brain SBB”概念，成为”硅基大脑SSB”全新赛道的开创者。永利总站15856【中国】有限责任公司成立于2019年4月，期间获得了启赋资本百万的天使轮和鼎行晟资本近千万天使+轮投资。公司的使命是“让AI更好的服务人类 Better Service For Human”。

​      经过七年的科学研究积累和两年的应用研发测试，继2021年1月29日开源发布世界首个因果学习框架SnnGrow“生长”（snngrow.utarn.com)之后，并在公司成立两周年之际，悠潭UTARN研制的UtarnGS“智玩”斗地主B型机器人日前在某知名斗地主游戏平台通过测试并且全面商用，实现了公司的又一个里程碑。
      该机器人的神经网络构建于悠潭UTARN核心专利技术–基于脉冲神经网络在非完美信息条件下决策的通用模型HumanMate；在智能博弈上采用悠潭UTARN另一项核心专利–基于脉冲神经网络多智能体博弈的方法。同时，该机器人采用了悠潭UTARN先进的“网络结构生长算法”和“普适性场景提取算法”。

      悠潭UTARN在斗地主B型机器人研发过程中，通过小样本学习，实现了非完美信息决策的学习算法有效构建，使用具有生物可解释性的脉冲神经网络搭建整体框架并设计受生物启发的基于因果关系的“结构生长算法”，重点解决了非完美信息环境下的普适性场景提取问题和非完美信息决策的强化学习问题，实现了斗地主游戏中非完美信息决策。

            本次成功商用的UtarnGS“智玩”斗地主B型机器人通过107个人类个体样本不严谨图灵测试，拟人化程度超过30%，通过人类个体样本训练，个性化程度达到了85%。在此基础上，斗地主B型3级机器人胜率达到46%左右，斗地主B型4级机器人胜率达到49%左右，实现了“像人一样玩游戏”的目标，完全符合商用标准。
      接下来，在科技研发上，悠潭UTARN将不断优化算法，提高斗地主机器人智能，在拟人化、个性化、胜率三个维度上不断提升，并且在斗地主B型机器人的基础上推出玩家自己可以边玩边训练的个性化斗地主C型机器人。随后，团队将进行策略类SLG游戏B、C型机器人的研制。在商业应用上，悠潭UTARN将复制成功模式，加快与更多的斗地主和SLG游戏CP和GS合作，连续推出更高级的B型和C型机器人，实现更大的商业价值。
      通过基于脉冲神经网络在非完美信息条件下决策的通用模型HumanMate和基于脉冲神经网络多智能体博弈的方法，采用先进的“网络结构生长算法”“普适性场景提取算法”的UtarnGS“智玩”斗地主B型机器人成功商用，标志着脉冲神经网络技术应用在世界上实现了零的突破，对于类脑人工智能领域是一个重要的里程碑。悠潭UTARN将在此技术积累和基础上研发公司战略级产品–UtarnEYE“远见”仿人眼认知技术平台，该平台由【因果学习算法系统+类脑芯片集】组成，在可预见的将来，UtarnEYE“远见”仿人眼认知技术平台将会出现在自主驾驶、人形服务机器人、军工等应用领域,从一个胜利到另一个胜利。

      悠潭UTARN致力于基于脉冲神经网络的类脑人工智能（第三代人工智能 通用人工智能）的基础研究和商业应用落地，科研团队来自清华大学和北京理工大学。公司创始人兼首席科学家何虎博士带领团队从2014年开始研究具有前沿科技的第三代人工智能（脉冲神经网络），于2018年12月在Frontiers发表全球首次基于脉冲神经网络的多层训练算法，并在2021年3月在Science Direct期刊上发表在脉冲神经网络上构建记忆系统的方法。目前公开资料而言，团队研究的基于脉冲神经网络在非完美信息条件下决策的通用模型在全球属于尖端水平。悠潭UTARN成立于2019年4月，期间获得了启赋资本百万的种子轮和鼎行晟资本天使+轮近千万投资。公司的愿景是“让机器拥有智慧 Make Machine Wise”。

　　“成立一年有余，目前优质已累计获得两轮融资，分别是启赋资本领投数百万元种子轮融资，以及鼎行晟资本领投的近千万元天使+轮投资。”

　　投资界：永利总站15856【中国】有限责任公司开源发布全球首个因果学习框架Beta版
　　https://news.pedaily.cn/202101/466024.shtml

　　1月29日，全球领先的类脑人工智能技术研发商「永利总站15856【中国】有限责任公司」（以下简称：优质）开源发布了全球首个基于脉冲神经网络（第三代人工智能）的因果学习框架平台SnnGrow“生长”Beta版—— snngrow.utarn.com。

　　据悉，脉冲神经网络是第三代类脑方向的人工智能技术，相比于第二代技术，第三代技术赋予了人工智能以“智慧”，可以使其模拟人类大脑，完成因果学习推理和非完美信息决策。

　　此次优质开源发布的SnnGrow“生长”Beta版便是基于以上技术的底层开发平台和工具集合，可面向全球1000多万名开发者用户提供技术开源服务。从底层基础设施架构、前研科技共享、行业标准制定维度来看意义非凡，且符合国家倡导的“新基建”目标。

　　永利总站15856【中国】有限责任公司成立于2019年，是一家专注于研发脉冲神经网络的科技型公司，致力于将类脑人工智能技术商业应用落地。其科研团队大部分来自清华大学和北京理工大学。

　　公司首席架构师杨旭博士介绍，SnnGrow“生长”因果学习框架是利用计算机网络模拟构建的结构（神经元、突触连接和脉冲信号）进行小样本学习的组合工具。不仅可为全球开发者免费提供基础知识、技术资料、训练工具和技术社区，使得全球开发者可以参考丰富多样的技术落地场景，打开开发思路，还可提供多种相关工具的免费下载服务，比如：SnnGrow“生长”的OVA版本下载（用于运行在windows系统）、docker镜像（用于Linux系统快速安装运行）、源码下载、训练学习仿真工具下载。

　　其最大的亮点是在模拟计算神经元学习并生长突触的过程中不需要GPU等外部算力，但是学习速度却能达到普通深度学习的10000倍，比起同类型的仿生物大脑模拟器，效率也同步提升60~80%。

　　更值得一提的是，由于SnnGrow“生长”是根据人类大脑的特性构造的计算机网络，其工作原理和输出结果更趋向于人类，因此其在提高效率和节省能耗方面，也相比深度学习框架进步很多。同时，其可运用场景也涵盖多个领域，包括文创、游戏、自主驾驶、各类服务型机器人、军工等。

　　目前据公开数据而言，优质团队研究的基于脉冲神经网络在非完美信息条件下决策的通用模型已在全球范围内处于领先水平，可帮助企业客户制定行业标准、免受欧美技术限制，并且积极响应国家“新基建”号召。

　　此次新品发布后，优质在商业应用落地层面再做精细化调整，聚焦于一个系统两个平台，即UtarnGS类脑游戏AI整体解决方案系统，目前首款UtarnGS类脑斗地主B型机器人正在商业测试，不久将运用于各大斗地主游戏平台；SnnGrow“生长”基于脉冲神经网络因果学习框架平台，于2021年1月份开源发布Beta版，进行全球公测；UtarnEYE“远见”仿人眼认知技术平台，作为公司未来3~5年的战略级技术平台已经开始架构底层模块。该系列产品和平台具有小样本学习、自适应学习以及低算力、高效率和拟人化程度高的特点，可以广泛服务于大文娱、服务型机器人、自主驾驶和军工等领域。

　　成立一年有余，目前优质已累计获得两轮融资，分别是启赋资本领投数百万元种子轮融资，以及鼎行晟资本领投的近千万元天使+轮投资。未来，优质的愿景是“让机器拥有智慧 Make Machine Wise”。

来源：智源研究院，https://mp.weixin.qq.com/s/ptyeazXXRa-8ilH3V-GkCQ

近日，世界华人数学家联盟最佳论文奖于2020世界华人数学家联盟年会期间颁布。智源研究员邓柯作为第一作者的学术论文“On the unsupervised analysis of domain-specific Chinese texts”获“2020世界华人数学家联盟最佳论文奖-银奖”。
另附论文链接：

邓柯
清华大学统计学研究中心副教授，智源研究员
中国现场统计研究会计算统计分会理事长、中国青年统计学家协会副会长、中国人工智能学会智慧医疗专业委员会副主任委员、国际计算统计学会亚太地区分会理事、国际统计学知名杂志Statisca Sinica副主编，并获得“2016科学中国人年度人物”荣誉称号。
研究兴趣包括贝叶斯统计与计算、生物医学统计、人工智能理论与方法等领域，主要研究方向是将统计学理论和方法与生物医学、数字人文、人工智能研究中重要的理论和实际问题相结合，开发适用于弱训练场景、具有良好可解释性的智能模型和算法。一系列论文发表在国际统计学顶级期刊JASA、JRSS-B、Biometrika等，以及顶级综合性期刊PNAS、Nature Communications等。

该论文由邓柯与美国哈佛大学Peter Bol教授、哈佛大学刘军教授和萨福克大学李佳漪副教授共同完成，论文发表于美国科学院院刊PNAS杂志。

文章提出运用统计学模型和原理进行无指导中文文本分析的新方法——TopWORDS，可对特定领域中文文本进行词语发现和中文分词。此方法还可以结合其他文本分析工具，如词嵌入、主题模型、关联规则挖掘等，可提取文本中的主要特征和信息，是中文文本挖掘领域的重要突破。

来源：智源研究院，https://www.baai.ac.cn/news_article?content_id=57&type=news

在12月31日，智源研究院发布了2020年十大AI进展。新的一年，人工智能又将走向何处？

2021年开年，全体智源学者经过深入研讨，从人工智能的基础理论、算法、类脑计算、算力支撑等方面进行预测，提出2021年人工智能十大技术趋势，共同展望人工智能的未来发展方向。

我们相信，随着人工智能技术的逐渐成熟，将能够更好地帮助人类应对后疫情时代的各种不确定性，助力构建充满希望与变化的世界。

趋势1：科学计算中的数据与机理融合建模

趋势2：深度学习理论迎来整合与突破

趋势3：机器学习向分布式隐私保护方向演进

趋势4：大规模自监督预训练方法进一步发展

趋势5：基于因果学习的信息检索模型与系统成为重要发展方向

趋势6：类脑计算系统从“专用”向“通用”逐步演进

趋势7：类脑计算从散点独立研究向多点迭代发展迈进

趋势8：神经形态硬件特性得到进一步的发掘并用于实现更为先进的智能系统

趋势9：人工智能从脑结构启发走向结构与功能启发并重

趋势10：人工智能计算中心成为智能化时代的关键基础设施

下面是十大趋势概要介绍，报告全文详见：https://baai.org/view/dNpXk

趋势1：科学计算中的数据与机理融合建模

机器学习与科学计算的结合，即数据和机理的融合计算，为科学研究提供了新的手段和范式，成为了前沿计算的典型代表。从机理出发的建模以基本物理规律为出发点进行演绎，追求简洁与美的表达；从数据出发的建模从数据中总结规律，追求在实践中的应用效果。这两方面的建模方法都在科学史中发挥了重要作用。

近年来，科学计算发展的一个重要趋势是由单纯基于机理或数据的范式向数据与机理的融合建模与计算发展。众多前沿科学领域中的许多重要问题常常涉及多个发生在不同时空尺度上相互耦合的物理过程，具有高度的各向异性、奇异性、非均匀性以及不确定性等特征。人类只能知道部分原理和数据，此时机理与数据结合的方式将成为研究这些问题的有力手段。

趋势2：深度学习理论迎来整合与突破

深度学习在应用领域取得了令人瞩目的成功，但其理论基础仍十分薄弱，研究者对深度学习为何表现出比传统机器学习方法更优越的性能背后存在的机理尚不清楚。深度学习的理论分析需要从数学、统计和计算的不同角度，以及表示能力、泛化能力、算法收敛性和稳定性等多个方面进行探索和创新。当前对深度学习理论碎片式的理解，将进一步迎来整合与突破，从对浅层网络和局部性质的理解向深度网络和全局性质不断深化，最终能够完整解答关于深度学习能力与极限的重大理论问题。

趋势3：机器学习向分布式隐私保护方向演进

当前，全球多个国家和地区已出台数据监管法规，如HIPAA（美国健康保险便利和责任法案）、GDPR（欧盟通用数据保护条例）等，通过严格的法规限制多机构间隐私数据的交互。分布式隐私保护机器学习通过加密、分布式存储等方式保护机器学习模型训练的输入数据，是打破数据孤岛、完成多机构联合训练建模的可行方案。

趋势4：大规模自监督预训练方法进一步发展

GPT-3的出现激发了研究人员在视觉等更广泛的范围内，对大规模自监督预训练方法继续开展探索和研究，未来，基于大规模图像、语音、视频等多模态数据，以及跨语言的自监督预训练模型将进一步发展，研究人员也将持续探索解决当前大规模自监督预训练模型不具有认知能力等问题的方法。

趋势5：基于因果学习的信息检索模型与系统成为重要发展方向

人工智能算法是推荐系统、搜索引擎等智能信息检索系统的核心技术，深刻地影响着亿万互联网产品用户的工作和生活。当前基于人工智能算法的信息检索模型大多关注给定数据中变量间相关性的建立，而相关性与更为本源的因果关系并不等价，导致当前信息检索的结果存在较为严重的偏差，对抗攻击的能力不佳，且模型往往缺乏可解释性。

为了实现真正智能化的信息检索系统，基于因果学习的检索模型是必然要迈过的一道坎。因果学习能够识别信息检索中变量间的因果关系，厘清事物发展变化的前因后果，全面认识用户需求和检索方法的本质，修正检索模型中的偏差，提升检索系统的可解释性、可操作性和可溯源性。

趋势6：类脑计算系统从“专用”向“通用”逐步演进

以类脑计算芯片为核心的各种类脑计算系统，在处理某些智能问题以及低功耗智能计算方面正逐步展露出优势。但从设计方法角度看，类脑芯片往往根据目标应用要求通过归纳法来确定其硬件功能与接口，并定制化工具链软件，导致软硬件紧耦合、目标应用范围受限等问题。

类脑计算芯片设计将从现有处理器的设计方法论及其发展历史中汲取灵感，在计算完备性理论基础上结合应用需求实现完备的硬件功能。同时类脑计算基础软件将整合已有类脑计算编程语言与框架，提出与具体芯片无关的高层次编程抽象与统一开发框架，针对目标芯片研发类脑计算编译优化与映射优化技术，实现类脑计算系统从“专用”向“通用”的逐步演进。

趋势7：类脑计算从散点独立研究向多点迭代发展迈进

类脑计算在诸多方面已经取得了大量基础性研究成果，但目前的研究仍呈现相对独立狭窄的纵向分布特点，尚未形成相互促进的横向贯通局面。未来的类脑计算将更加注重在单点独立研究的同时与其他层面研究的结合，推动类脑计算的基础理论算法、芯片硬件平台、评估测试基准、编程编译工具以及系统应用的相互协同和促进，构建更具全栈性的类脑计算迭代发展生态，进入良性前进的轨道。

趋势8：神经形态硬件特性得到进一步的发掘并用于实现更为先进的智能系统

新型神经形态器件，如RRAM（可变电阻式存储器）、PCM（相变存储器）等，目前已经在人工智能领域发挥了重大作用，基于这些器件构建的智能硬件系统已经能够有效地提升智能算法执行的速度和能效，并保持算法的性能。

然而当前大部分硬件智能系统仅仅利用了神经形态器件的部分特性，如非易失性、线性等，缺乏对器件更丰富特性，如易失性、非线性、随机性等特性的应用。通过对器件的全面探究，下一代智能系统将会把算法的各种需求同器件的丰富特性紧密结合起来，从而进一步拓展智能系统的功能和应用范围，提升系统的性能和效率。

趋势9：人工智能从脑结构启发走向结构与功能启发并重

脑启发的人工智能在强调对脑结构和神经形态模仿的同时，还需要了解人类神经元和神经回路的功能与机制。这是因为脑结构与脑功能并不存在简单的一一对应的关系，即类似的结构可能有着不同的功能。

例如，作为古老结构的海马体在人和动物的大脑上有着类似的结构，但是它们采用了不同的记忆编码方式。动物的海马体在编码记忆时，采用的是“模式分离”的方式，即神经元形成不同的神经元群组来存储记忆，以避免记忆的混淆。但是，人类的海马体则采用了“概念和联想”的编码方式，即同样的一组神经元可以储存多个不同的记忆。人类这种独特的记忆编码方式可能是人类智能脱颖而出的一个关键因素，有助于解释人类相比于其它物种所具备的独特的认知能力，如人类的抽象思维能力和创造性思维能力。

趋势10：人工智能计算中心成为智能化时代的关键基础设施

近年来，人工智能对算力的需求迅猛增长，并成为最重要的计算算力资源需求之一。AI计算是智能时代发展的核心动力，以人工智能算力为主的人工智能计算中心应运而生。

人工智能计算中心基于最新人工智能理论，采用领先的人工智能计算架构，是融合公共算力服务、数据开放共享、智能生态建设、产业创新聚集的“四位一体”综合平台，可提供算力、数据和算法等人工智能全栈能力，是人工智能快速发展和应用所依托的新型算力基础设施。未来，随着智能化社会的不断发展，人工智能计算中心将成为关键的信息基础设施，推动数字经济与传统产业深度融合，加速产业转型升级，促进经济高质量发展。

来源：智源研究院，https://mp.weixin.qq.com/s/bMH1GFFTRt5bBYWiwbdspg

跌宕起伏的2020年，似乎如梦如幻。但这一转折之年，对于AI领域却无比关键，世界各地先后出现了诸多颠覆性的进展，让人如痴如醉。譬如5月份出现的GPT-3，让人们突然看到了通用人工智能的希望；再如12月初AlphaFold2的出道，让人惊叹“它将改变一切”，人们意识到AI正在以及将要颠覆传统学科。

年终岁尾，AI热潮仍然汹涌，应用前景依然广阔。在这样一个时间节点，全体智源学者经过商讨复盘，从科学、系统、算法等层面总结出AI领域的十大进展，分别如下：

• 进展1：OpenAI发布全球规模最大的预训练语言模型GPT-3
• 进展2：DeepMind的AlphaFold2破解蛋白质结构预测难题
• 进展3：深度势能分子动力学研究获得戈登·贝尔奖
• 进展4：DeepMind等用深度神经网络求解薛定谔方程促进量子化学发展
• 进展5：美国贝勒医学院通过动态颅内电刺激实现高效“视皮层打印”
• 进展6：清华大学首次提出类脑计算完备性概念及计算系统层次结构
• 进展7：北京大学首次实现基于相变存储器的神经网络高速训练系统
• 进展8：MIT仅用19个类脑神经元实现控制自动驾驶汽车
• 进展9：Google与Facebook团队分别提出全新无监督表征学习算法
• 进展10：康奈尔大学提出无偏公平排序模型可缓解检索排名的马太效应问题

01、GPT-3
进展1：OpenAI发布全球规模最大的预训练语言模型

2020年5月，OpenAI发布了迄今为止全球规模最大的预训练语言模型GPT-3。GPT-3具有1750亿参数，训练所用的数据量达到45TB，训练费用超过1200万美元。
对于所有任务，应用GPT-3无需进行任何梯度更新或微调，仅需要与模型文本交互为其指定任务和展示少量演示，即可使其完成任务。GPT-3在许多自然语言处理数据集上均具有出色的性能，包括翻译、问答和文本填空任务，还包括一些需要即时推理或领域适应的任务等，已在很多实际任务上大幅接近人类水平。       

NLP预训练模型参数对比

相关链接：https://openai.com/blog/openai-api/

02、AlphaFold2
进展2：DeepMind的AlphaFold2破解蛋白质结果预测难题

2020年11月30日，Google旗下DeepMind公司的AlphaFold2人工智能系统在第14届国际蛋白质结构预测竞赛（CASP）中取得桂冠，在评估中的总体中位数得分达到了92.4分，其准确性可以与使用冷冻电子显微镜（CryoEM）、核磁共振或X射线晶体学等实验技术解析的蛋白质3D结构相媲美，有史以来首次把蛋白质结构预测任务做到了基本接近实用的水平。

《自然》杂志评论认为，AlphaFold2算法解决了困扰生物界“50年来的大问题”。

       蛋白质折叠

相关链接：https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology

03、分子动力学
进展3：深度势能分子动力学研究获得戈登·贝尔奖

2020年11月19日，在美国亚特兰大举行的国际超级计算大会SC20上，包括智源学者王涵（北京应用物理与计算数学研究院）在内的“深度势能”团队，获得了国际高性能计算应用领域最高奖项“戈登·贝尔奖”。“戈登·贝尔奖”设立于1987年，由美国计算机协会（ACM）颁发，被誉为“计算应用领域的诺贝尔奖”。

该团队研究的“分子动力学”，结合了分子建模、机器学习和高性能计算相关方法，能够将第一性原理精度分子动力学模拟规模扩展到1亿原子，同时计算效率相比此前人类最好水平提升1000倍以上，极大地提升了人类使用计算机模拟客观物理世界的能力。美国计算机协会（ACM）评价道，基于深度学习的分子动力学模拟通过机器学习和大规模并行的方法，将精确的物理建模带入了更大尺度的材料模拟中，将来有望为力学、化学、材料、生物乃至工程领域解决实际问题(如大分子药物开发)发挥更大作用。

论文地址：https://arxiv.org/abs/2005.00223

04、薛定谔方程
进展4：DeepMind等用深度神经网络求解薛定谔方程，促进量子化学发展

作为量子力学的基本方程之一，薛定谔方程提出已经有90多年的时间，但如何精确求解薛定谔方程，却一直困扰着许多科学家。
 DeepMind开发的费米神经网络（Fermionic neural networks，简称FermiNet）来近似计算薛定谔方程，为深度学习在量子化学领域的发展奠定了基础，2020年10月，DeepMind开源了FermiNet，相关论文发表在物理学期刊Physical Review Research上。FermiNet是利用深度学习来从第一性原理计算原子和分子能量的尝试，在精度和准确性上都满足科研标准，且是目前在相关领域中较为精准的神经网络模型。

另外，2020年9月，德国柏林自由大学的几位科学家也提出了一种新的深度学习波函数拟设方法，它可以获得电子薛定谔方程的近乎精确解，相关研究发表在Nature Chemistry上。该类研究所展现的，不仅是深度学习在解决某一特定科学问题过程中的应用，也是深度学习能在生物、化学、材料以及医药领域等各领域科研中被广泛应用的一个远大前景。 论文地址：https://deepmind.com/blog/article/FermiNet

05、视皮层打印
进展5：美国贝勒医学院通过动态颅内电刺激实现高效“视皮层打印”

对于全球4000多万盲人来说，重见光明是一个遥不可及的梦想。2020年5月，美国贝勒医学院的研究者利用动态颅内电刺激新技术，用植入的微电极阵列构成视觉假体，在人类初级视皮层绘制W、S和Z等字母的形状，成功地能够让盲人“看见”了这些字母。

结合马斯克创办的脑机接口公司Neuralink发布的高带宽、全植入式脑机接口系统，下一代视觉假体有可能精准刺激大脑初级视觉皮层的每一个神经元，帮助盲人“看见”更复杂的信息，实现他们看清世界的梦想。

论文地址：https://doi.org/10.1016/j.cell.2020.04.033

06、类脑计算完备性
进展6：清华大学首次提出类脑计算完备性概念及计算系统层次结构

2020年10月，包括智源学者张悠慧、李国齐、宋森等在内的清华大学研究团队首次提出“类脑计算完备性”概念以及软硬件去耦合的类脑计算系统层次结构，通过理论论证与原型实验证明该类系统的硬件完备性与编译可行性，扩展了类脑计算系统应用范围使之能支持通用计算。
该研究成果发表在2020年10月14日的《自然》（Nature）期刊。《自然》周刊评论认为，“‘完备性’新概念推动了类脑计算”，对于类脑系统存在的软硬件紧耦合问题而言这是“一个突破性方案”。       

       论文地址：https://www.nature.com/articles/s41586-020-2782-y

07、神经网络高速训练系统
进展7：北京大学首次实现基于相变存储器的神经网络高速训练系统

2020年12月，智源学者、北京大学杨玉超团队提出并实现了一种基于相变存储器（PCM）电导随机性的神经网络高速训练系统，有效地缓解了人工神经网络训练过程中时间、能量开销巨大并难以在片上实现的问题。

该系统在误差直接回传算法（DFA）的基础上进行改进，利用PCM电导的随机性自然地产生传播误差的随机权重，有效降低了系统的硬件开销以及训练过程中的时间、能量消耗。该系统在大型卷积神经网络的训练过程中表现优异，为人工神经网络在终端平台上的应用以及片上训练的实现提供了新的方向。该文章发表在微电子领域的顶级会议IEDM 2020上。
文章：Yingming Lu, Xi Li, Longhao Yan, Teng Zhang, Yuchao Yang*, Zhitang Song*, and Ru Huang*, Accelerated Local Training of CNNs by Optimized Direct Feedback Alignment Based on Stochasticity of 4 Mb C-doped Ge2Sb2Te5 PCM Chip in 40 nm Node. IEDM Tech. Dig. 36.3, 2020.

08、19个类脑神经元实现自动驾驶
进展8：MIT仅用19个类脑神经元实现控制自动驾驶汽车

受秀丽隐杆线虫等小型动物脑的启发，来自MIT计算机科学与人工智能实验室（CSAIL）、维也纳工业大学、奥地利科技学院的团队仅用19个类脑神经元就实现了控制自动驾驶汽车，而常规的深度神经网络则需要数百万神经元。此外，这一神经网络能够模仿学习，具有扩展到仓库的自动化机器人等应用场景的潜力。这一研究成果已发表在2020年10月13日的《自然》杂志子刊《自然·机器智能》（Nature Machine Intelligence）上。

论文地址：https://www.nature.com/articles/s42256-020-00237-3

09、全新无监督表征学习算法
进展9：Google与Facebook团队分别提出全新无监督表征学习算法

2020年初，Google与Facebook分别提出SimCLR与MoCo两个算法，均能够在无标注数据上学习图像数据表征。两个算法背后的框架都是对比学习（contrastive learning）。对比学习的核心训练信号是图片的“可区分性”。
模型需要区分两个输入是来自于同一图片的不同视角，还是来自完全不同的两张图片的输入。这个任务不需要人类标注，因此可以使用大量无标签数据进行训练。尽管Google和FaceBook的两个工作对很多训练的细节问题进行了不同的处理，但它们都表明，无监督学习模型可以接近甚至达到有监督模型的效果。

SimCLR 框架示意图

论文地址：https://ai.googleblog.com/2020/04/advancing-self-supervised-and-semi.html

10、无偏公平排序模型
进展10：康奈尔大学提出无偏公平排序模型，可缓解检索排名的马太效应问题

近年来，检索的公平性和基于反事实学习的检索和推荐模型已经成为信息检索领域重要的研究方向，相关的研究成果已经被广泛应用于点击数据纠偏、模型离线评价等，部分技术已经落地于阿里和华为等公司的推荐及搜索产品中。 2020年7月，康奈尔大学Thorsten Joachims教授团队发表了公平无偏的排序学习模型FairCo，一举夺得了国际信息检索领域顶会SIGIR 2020最佳论文奖。该研究分析了当前排序模型普遍存在的位置偏差、排序公平性以及物品曝光的马太效应问题等，基于反事实学习技术提出了具有公平性约束的相关度无偏估计方法，并实现了排序性能的提升，受到了业界的广泛关注和好评。

 论文地址：https://arxiv.org/abs/2005.14713