香农信道容量极限与基于人工智能的语义通信(Semantic Communication)架构

香农定律

当今的通信是以香农定律(Shannon's Law)为基础发展起来的。它是求解网络通信极限的理论,而此前各种努力都旨在提高后文公式中信道容量的最大值。例如MIMO(Multiple Input Multiple Output)等技术便是如此。这些技术都是基于香农的理论,为获得更高信道容量而付出的努力的一部分。

香农定律以下列计算信道容量的公式表示。

这些分别代表信道容量(Channel Capacity)、带宽(Bandwidth)、信噪比(Signal-to-Noise Ratio)。用通俗的语言来解释,最大通信速率(C) 是系统可用物理频率资源的总量(B)乘以效率(log₂(1 + S/N)),该效率表示根据信号质量(S/N),每1Hz资源能够承载多少比特的信息。

随着这一计算信道容量的定律出现,通信行业开始全力提升信道容量。此后大约七十余年间,通信的革新大多是在信道容量的改进中实现的。

然而到了当今时代,处理资源已经高度发展。通信已经从传输文本的时代发展到如今传输空间矢量的程度。要将所有这些数据可靠地分割传输,开始出现局限。例如自动驾驶汽车产生的数据一天可达数TB,用现有通信网络承载这些数据几乎是不可能的。仅靠铺设更多线路、布置更多天线来解决,则会触及经济和物理上的极限。

于是,研究开始出现一种范式:摆脱以准确传输全部比特为目标的既有范式,通过在通信中引入智能,转而致力于传输上下文。(*该概念本身早在数十年前就已存在)这一变化也是由于近期智能模型的强大发展,以及对更大规模数据通信的需求日益增长所带来的。

这被称为传递意义的通信,因此称为Semantic Communication。

语义通信(Semantic communication)

语义通信的目标是:以往传输的是完整数据,而现在只传输其中蕴含的核心意义,即上下文。

这一问题早已在香农与韦弗的通信模型中被提出,他们将通信的成熟度划分为三个层次。

技术问题:能够多准确地传输符号(Symbol)?(这是我的理论的核心领域。)
语义问题:所传输的符号能够多准确地传达所期望的"意义"?
效果性问题:所传达的意义能够多有效地影响接收者的行为?

迄今为止,通信的发展已基本解决了技术问题,现在的任务则是处理语义问题和效果性问题。

成熟度第1级与第2、3级(语义通信)之间的差异,通常以燃烧的房屋为例加以说明。

有一座房屋正在燃烧。

在当前的通信范式中,会将这一场景逐一数据化,并以照片的形式进行传输。

在语义通信中,则不是像"窗户冒出黑烟,可以看到火焰"这样传输所有数据,而是仅传达"发生火灾,需要立即出动"这一核心"意义"。其目的在于果断省略不必要的信息,并促使接收者采取特定行动(出动)。

若通信双方处于消防这一类别下,拥有相同的知识库,那么仅传输用于掌握情况所需的数据量便可以大幅减少。

这种语义通信的核心编码/解码逻辑属于通信范式,但运行于应用层之上。在发送端,通过语义编码器将给定数据转换为语义数据;在接收端,通过语义解码器将其加工为后端来源可以使用的形式。两者将成为拥有相同知识库的推理模型等形式,由此即使不进行庞大的数据传输,也能够实现语义的交换。

理所当然地,这一切都以现有通信范式的完备性为前提。首先必须在技术上能够准确地传输符号,而这一成熟度层级已经实现。如今的主要课题在于:所传输的符号能够多好地传达并解释信息的语义,而这方面的研究才刚刚开始。

然而,与传统的句法通信体系不同,这种基于语义上下文的通信体系将**可靠性(reliability)**寄托于AI等,因此极有可能产生问题。即使具有相同的Knowledge Based,在模型的黑箱区域中也可能涌现出不同的解释。

后记

据称在6G(第六代)移动通信中,这种语义通信将被应用,从而形成智能互联网体系,但对于为何运行于应用层之上的范式会成为移动运营商的研究课题,我心存疑问。依我的直觉,运营商的作用是保证第1级成熟度,即符号与比特被准确传输,而语义通信的运行时点已属于应用程序的领域。

另一方面,在必须以可靠性作为基本价值的通信技术中,这是否会成为新的范式,也存在疑问。我同样怀有这一疑问,个人立场则较为偏向否定。

尽管如此,之所以撰写此文,是因为我认为移动通信的下一范式正以相当有趣的形式展开。为扩展信道容量而引入卫星互联网,已因Project Kuiper、Starlink等的出现而成为既成事实,而试图以新形式突破香农定律所限制的局限,则相当新奇。