i黑马导语
“如果整个物理学研究的是外宇宙的机制，那么整个大脑研究的就是内宇宙的原理。”
自ChatGPT出现后，人工智能已发展成为一种新型“重工业”，其重资产特性体现在算力、数据等方面。
全球大模型热潮，让中美各国的算力需求猛增，加上硬件供应量严重不足，就导致了当前的“算力荒”。
近几年研究发现，人类大脑的能量消耗不足20瓦，但人工神经网络消耗的能量至少是大脑的100倍。
用清华大学计算机科学与技术系教授 Carlo Vittorio Cannistraci教授的话来说：
大脑连接是一个稀疏型的形态学，可做到低能耗、高效率；而人工神经网络是完全连接的，虽然能模仿人脑处理信息的方式完成特定任务，但消耗量非常高。
这意味着，如果人工神经网络能可以模仿大脑稀疏型的连接方式，优化计算模型，或许可将人工智能的能耗降低100倍，从而彻底破除“算力荒”的困境。
由此，清华大学默默开启了一项新研究：尝试构建出一个可持续性、高效的人工智能网络科学。这也是Carlo Vittorio Cannistraci教授目前正在研究的方向。
近期，Carlo Vittorio Cannistraci教授在“2024北京城市副中心未来产业发展大会”上，详细介绍了自己的最新研究结果和应用方向。他的演讲主题是《类脑计算：面向下一代的高效和可持续性人工智能》。
以下内容经《i黑马》编辑整理：
01
模仿人脑高效率、低能耗
打造下一代人工智能网络
首先，介绍一下我的背景，我是来自于清华大学脑与智能实验室的复杂网络智能中心。
我的研究方法，是一种跨学科的研究方法。主要整合了信息理论、机器学习和网络科学，来调查不同层面可适应性的复杂系统物理学。包括分子、生态、社会系统，主要关注类脑、类生物计算，以及复杂的大数据等。
我们研究的整个理论背景，涵盖了网络几何学、网络形态、网络自适应模型。此外，我还比较关注神经科学、生物医疗和社会科学。
如果你去我的主页，除了能看到我的研究内容，还会看到这样一句话：“如果整个物理学研究的是外宇宙的机制，那么整个大脑研究的就是内宇宙的原理。”
所以，我的研究是两个跨学科的机制，不但会研究整个大脑，还会关注整个外宇宙之间的工程和复杂系统。
我所在的研究中心，目前研究的是复杂网络。我们能看到（如下图），大脑连接是一个稀疏型的生态学，且是非常高效，它的能量消耗不足20瓦。但现在人工神经网络是完全连接的，消耗的能量非常高，是大脑消耗能量的100倍。
所以，我的研究方向是：模仿大脑去创造一个稀疏的形态学，进而打造下一代人工智能网络，能模仿大脑的高效率和节能性。这也是当下我们正面临的一大挑战。
这里我提议，中国未来应该投资更高效的人工智能来应对各种挑战，否则有可能在新一轮竞争中丧失已有优势。
02
读硕士期间我经常思考：
为什么大脑连接是稀疏的？
2002年，我在米兰理工大学读生物工程硕士。当时，我就在想：
为什么大脑连接是稀疏的？
从这张图可以看到，大脑连接的神奇之处在于，大脑的连接是稀疏的，这也是为什么大脑可以如此高效。
于是，我又想到，这能给人工神经网络发展带来哪些积极影响？如何让人工神经网络模仿大脑去创造一个稀疏的形态学？这就是我们研究领域常说的“拓扑学”。
我当时找到一个计算机科学的教授，问他是否能将拓扑学应用到人工神经网络呢？但我的提案被教授们拒绝了，原因是他们认为拓扑理论应用在人工智能神经网络是不好的。
所以，你就能够理解当时人工智能神经网络领域的研究为什么不成功，因为当时的人工神经网络的研究方向并不符合未来人工智能的发展。
或许，我们需要打造一个新的大语言模型，更好的模仿大脑去创造一个稀疏的形态学。
03
我打造出一个新原理
“网络自动机”
为此，我选择了继续读博，研究生物神经网络，我就想知道什么是神经网络，进而研究了不同的质体。
比如，人脑不同的神经元之间是怎样互动的？图形和网络有什么差别？图形是单个点，而神经网络是各个节点和线条连接起来。
从生物工程学来说，我们可以看到不同图形连接的情况，看到各种动物在生态系统中是如何相互关联、相互作用的，以及人类可以通过互动可以打造一个社群。
所有这些都显示了：神经网络能够帮助我们去研究各种复杂系统，包括整个生态系统、社会系统等。
当时我的想法是：我们大脑中的原理，与宇宙中不同尺度上存在的其他复杂系统所使用的原理非常相似。
比如，在计算机科学中应用到的网络学习，我们当时还研究了为什么神经元打造的神经网络可以进行深度学习？
从这个研究中我发现，通过训练我们可以进行网络学习和连接。我们想研究的是学习和功能如何改变整个网络的连接形态，以及如何连接网络的不同部分。这也是我整个研究的重点。
此外，我还提出了“复杂网络智能”的概念。这个概念的要点在于，研究网络连接性的修改如何与智能复杂系统中的功能性修改相关联。比如，使用网络的连接性影响不同复杂系统的功能，尤其是学习和智能。
我最初的想法是：我有一个网络，可能是各个神经元、社会系统中的各个人，或是整个蛋白质等，我进行预测之后，可以改变成右边的图片。也就是，去打造更多的互联性或者连接性。
给大家举个例子，我们看一下这种当代社区的范式，从左边这张图可以看到，连接的形状会影响新连接出现的位置。
再比如，在日常社交中，如果悦和英涛两个人互不相识，但有三个共同朋友，他们之间产生互动的可能性会比没有共同朋友时更高。然而，如果这三个共同朋友之间有连接（他们彼此认识），那么悦和英涛之间产生互动的可能性会更高。
所以这一理论来讲，我们不同人之间的交互，可以增加个体的交互总量。当然，要确保的一点是，人们之间能够相互打招呼、相互互动。
大脑神经元也以这种方式相互作用。我发现并用数学公式描述的这种机制，在社会、大脑、经济以及许多其他复杂系统中都有相似的表现。
所以，我打造出一个新原理——网络自动机。这个新原理，能够预测更多复杂系统。
关于这一理论，我和同事共同发表了一篇论文，使用建模方法预测不同蛋白质之间的相互作用模式，独立地证实了我的理论的有效性。
电子科技大学的周涛教授在一项独立研究中证实，我的理论在基于二阶或三阶路径连接的网络预测中表现最好。
04
中国未来应加强这一方向的投资
接下来，跟大家介绍一下我研究的应用领域，第一个是应用于蛋白质相互作用的预测。
我们知道，Alphafold是谷歌提出来的一个方法，这个方法的新版本能够预测生物分子的相互作用，也让人工智能有了全新发展。
在这篇研究文章中，我们使用了网络自动机的方法，对分子的相互作用进行了预测，结果我们的方法比Alphafold的表现更好。
这张图向大家展示了，Alphafold和我们模型的结果对比，看得出，我们的预测结果更好，我们预测的性能也是更高的。
下面这张图可以看出，我们的方法要比Alphafold快大概50分钟，这也让我们在未来更具竞争力。
大家知道，我在2002年读研时，就提出这样一个问题：如何去利用大脑的连接稀疏性？
这几年，我们已经看到，训练AI大模型的成本非常高，这样下去是不可持续的，因此我们要打造一个新的网络方法。
可以看这张图，显示了稀疏的AI芯片开发商，他们在A轮中融到了数千亿美元的资金，也让我读硕士期间的提议变成了现实。这也是美国比中国发展更快的一个点。
目前，中国有一家公司（Moffett AI ）投资了稀疏化的训练，而美国已有很多公司投资了稀疏训练。因此中国需要加大对稀疏训练的投资。
在这项研究中，我们引入了一种创新的类脑稀疏训练方法。
这张图向大家展示了我们发明的训练算法。最终执行之后，我们发现整体性能提高了，同时网络中的交互和节点数量减少了。
在测试中，我们将网络连接起来后，只有1%的连接，这个网络是非常稀疏的，我们的模型性能比整个完全连接的网络的速度要更高一些。
目前，谷歌的一些网络无法完全达到这样的性能，所以从这一点看，到我们的类脑研究已经有非常大的进展了。
这张图向大家介绍下清华团队，未来我们的研究：
第一点是生物医学建模的复杂系统和网络科学；第二点是利用脑网络神经科学研究来发展人工智能稀疏训练，这是中国需要加速研究的；第三点是研究高效人工智能的神经形态计算。
［本文作者i黑马，i黑马原创。如需转载请联系微信公众号（ID:iheima）授权，未经授权，转载必究。］
友情提示
本站部分转载文章，皆来自互联网，仅供参考及分享，并不用于任何商业用途；版权归原作者所有，如涉及作品内容、版权和其他问题，请与本网联系，我们将在第一时间删除内容！
联系邮箱：1042463605@qq.com