Shannons kanaalcapaciteitsgrens en de structuur van op AI gebaseerde semantische communicatie (Semantic Communication)

Shannon's Wet

De telecommunicatie van vandaag is ontwikkeld op basis van Shannon's Law (Shannon's Law). Dit is een theorie die de grenzen van netwerkcommunicatie bepaalt, en het waren pogingen om de maximale kanaalcapaciteit van de formule die hierna wordt besproken te verhogen. Denk bijvoorbeeld aan technologieën zoals MIMO (Multiple Input Multiple Output). Deze technologieën zijn een onderdeel van de inspanningen om op basis van Shannons theorie een hogere kanaalcapaciteit te bereiken.

De wet van Shannon wordt uitgedrukt in de volgende formule voor het berekenen van de kanaalcapaciteit.

Deze staan respectievelijk voor kanaalcapaciteit (Channel Capacity), bandbreedte (Bandwidth) en signaal-ruisverhouding (Signal-to-Noise Ratio). In gewone woorden uitgedrukt is de maximale communicatiesnelheid (C) het totale volume van de fysieke frequentiebronnen die het systeem kan gebruiken (B), vermenigvuldigd met de efficiëntie (log₂(1 + S/N)), die aangeeft hoeveel bits aan informatie per 1 Hz van die bron kunnen worden overgebracht, afhankelijk van de signaalkwaliteit (S/N).

Met de komst van de wet die de kanaalcapaciteit berekent, begon de telecomsector krachtig te werken aan het vergroten van de kanaalcapaciteit. Zo is de innovatie in de telecommunicatie gedurende ongeveer 70 jaar grotendeels tot stand gekomen door verbeteringen van de kanaalcapaciteit.

Tegenwoordig is de verwerkingscapaciteit echter enorm toegenomen. De communicatie is verschoven van het verzenden van tekst naar het verzenden van ruimtelijke vectoren. Het betrouwbaar opsplitsen en verzenden van al deze data begint de grenzen te bereiken. Zo kan de data die een zelfrijdende auto per dag genereert oplopen tot enkele terabytes, en het is vrijwel onmogelijk om dit met de huidige communicatienetwerken te verwerken. Simpelweg meer kabels leggen en meer antennes plaatsen om het probleem op te lossen, brengt economische en fysieke grenzen met zich mee.

Vanwege deze situatie is er onderzoek gestart naar een paradigma dat zich losmaakt van het oude paradigma van het nauwkeurig verzenden van alle bits, en dat door de introductie van intelligentie in de communicatie uitsluitend de overdracht van context beoogt. (*Het concept zelf bestaat al tientallen jaren.) Dit is een verandering die voortvloeit uit de recente sterke ontwikkeling van intelligente modellen en de noodzaak om steeds grotere datavolumes te communiceren.

Dit wordt semantische communicatie genoemd, omdat het een communicatie is waarin betekenis wordt uitgewisseld, en wordt daarom Semantic Communication genoemd.

Semantische communicatie (Semantic communication)

Waar semantische communicatie voorheen de volledige data verzond, is het doel nu om alleen de kernbetekenis, oftewel de context, die daarin besloten ligt, te verzenden.

Dit vraagstuk werd al door Shannon en Weaver in hun communicatiemodel aangekaart, en zij verdeelden de volwassenheid van communicatie in drie niveaus.

1. Technisch probleem: Hoe nauwkeurig kunnen symbolen (Symbol) worden verzonden? (Dit is het kerngebied van hun eigen theorie.)
2. Semantisch probleem: Hoe nauwkeurig brengen de verzonden symbolen de gewenste 'betekenis' over?
3. Effectiviteitsprobleem: Hoe effectief beïnvloedt de overgebrachte betekenis het gedrag van de ontvanger?

Tot nu toe heeft de ontwikkeling van communicatie het technische probleem grotendeels opgelost, en nu is de taak om de semantische en effectiviteitsproblemen aan te pakken.

Het verschil tussen het volwassenheidsniveau 1 en de niveaus 2 en 3 (semantische communicatie) wordt meestal geïllustreerd aan de hand van het voorbeeld van een brandend huis.

Er brandt een huis.

In het huidige communicatieparadigma wordt deze scène stuk voor stuk gedigitaliseerd en als foto verzonden.

Bij semantische communicatie wordt in plaats van alle data te verzenden, zoals "er is zwarte rook uit het raam en vlammen zijn zichtbaar", alleen de kernbetekenis overgebracht: "Brand, onmiddellijke uitruk vereist". Hierbij worden onnodige details bewust weggelaten, en het doel is dat de ontvanger een specifieke handeling (uitrukken) uitvoert.

Wanneer zender en ontvanger end-to-end dezelfde kennisbasis hebben binnen het domein van de brandweer, kan de hoeveelheid data die nodig is om de situatie te begrijpen aanzienlijk worden verminderd.

De kern van de encodering/decodering van semantische communicatie is een communicatieparadigma, maar het werkt bovenop de applicatielaag. Aan de zendzijde wordt de aangeleverde data door een semantische encoder omgezet in semantische data, en aan de ontvangerzijde wordt deze door een semantische decoder bewerkt tot een vorm die de downstream-bron kan gebruiken. Beide zullen de vorm aannemen van bijvoorbeeld inferentiemodellen die over dezelfde kennisbasis beschikken, en hierdoor wordt het mogelijk om die semantiek uit te wisselen zonder grote datatransmissies.

Vanzelfsprekend is dit gegarandeerd op basis van de volwassenheid van het bestaande communicatieparadigma. Allereerst moeten symbolen technisch nauwkeurig kunnen worden verzonden, en dit volwassenheidsniveau is al bereikt. Nu is de belangrijkste uitdaging geworden hoe goed de verzonden symbolen de semantiek van de informatie overbrengen en interpreteren, en dit onderzoek is pas net begonnen.

Maar communicatiesystemen die op semantische context zijn gebaseerd, leunen voor hun betrouwbaarheid (reliability) op AI en dergelijke, in tegenstelling tot de traditionele syntactische communicatiesystemen, waardoor de kans op problemen zeer groot is. Zelfs wanneer ze dezelfde knowledge base hebben, kunnen in het black-boxgedeelte van het model verschillende interpretaties naar voren komen.

Nawoord

Men zegt dat in 6G (zesde generatie mobiele communicatie) semantische communicatie zal worden toegepast en zo een intelligent internetsysteem zal ontstaan, maar ik heb vraagtekens bij waarom een paradigma dat op de applicatielaag werkt een onderzoeksopdracht van mobiele providers wordt. Naar mijn intuïtie is de rol van de providers het waarborgen van het niveau 1, waarbij symbolen en bits technisch correct worden verzonden, en is het moment waarop semantische communicatie werkt al een domein van applicaties.

Aan de andere kant bestaat de vraag of er wel een nieuw paradigma kan ontstaan in communicatietechnologie die betrouwbaarheid als basiswaarde moet hanteren. Ook ik heb deze vraag en sta persoonlijk eerder sceptisch tegenover.

Toch schrijf ik dit stuk omdat ik vind dat het volgende paradigma van mobiele communicatie zich op een behoorlijk interessante manier ontwikkelt. Dat satellietinternet wordt ingezet om de kanaalcapaciteit te vergroten, is door de opkomst van Project Kuiper en Starlink vrijwel een vaststaand feit, en de pogingen om de grenzen die door de wet van Shannon werden opgelegd op een nieuwe manier te doorbreken, vond ik vrij verrassend.