Den amerikanske matematiker Claude Elwood Shannon udformede i 1948 en matematisk teori for overførelse af signaler eller informationsmængder i tekniske systemer. Som ansat ved Bell Laboratories interesserede Shannon sig for generelle principper for konstruktion af telegrafi og telefoni, bl.a. spørgsmålet om kodning og afkodning af de signaler, der sendes igennem en informationskanal.
Kommunikationssystemet består af følgende kæde:
- en kilde, der afgiver budskabet;
- en sender (transmitter), der koder budskabet i et signal og afsender det;
- en kanal (som altid rummer en vis støj);
- en modtager, der afkoder budskabet; og
- en destination, fx den person, der til sidst forsynes med den overførte information.
Hele systemet er så generelt, at det passer til et utal af situationer, fx telefonsamtaler og radiotransmissioner. Shannons informationsteori beskriver de tekniske betingelser, under hvilke information kan overføres mest effektivt, så den modtagne information adskilles fra den ydre støj. Man kan bl.a. sikre overførelse af det korrekte budskab ved at øge redundansen, dvs. de signaler i kommunikationen, som gentager sendt information; fx indeholder ytringen "der står en bænk i haven, i haven står en bænk" en del redundans.
Det er en basal idé i matematisk informationsteori, at den ikke beskriver informationens betydning eller mening (semantik), men behandler den som en fysisk kvantitet, i stil med stof og energi. Informationen i en meddelelse er da den mængde, der svarer til det antal ja/nej-spørgsmål (også kaldet antal bit), man skal besvare for at kunne bestemme meddelelsen præcist. Jo flere spørgsmål dette kræver, jo mere information indeholder meddelelsen.
Information anskues som bestemmelse af en oplysning (eller hændelse) ud fra et givet antal mulige. Slår man plat og krone med en mønt, er der to mulige udfald, hver med sandsynligheden 1/2. Kastes en mønt tre gange, er der 2∙2∙2 = 8 mulige udfald, hver med sandsynligheden 1/8, og der skal tre bit til at specificere et givet udfald, svarende til de tre ja/nej-spørgsmål: "blev første kast plat?", "blev andet kast plat?" og "blev tredje kast plat?". Oplysningen "jeg slog 3 gange og fik krone, krone, plat" kan kodes i tre bit, fx i binære cifre som 001.
Mere alment: Hvis der er N muligheder, der alle er lige sandsynlige, er informationsmængden H, målt i enheden bit, der skal til for at specificere én af disse, lig med totalslogaritmen til N, dvs. H = log2N. Fx for N = 8 er H = log28 bit = 3 bit. Er de enkelte hændelser eller oplysninger ikke lige sandsynlige, er den informationsmængde, der er forbundet med den enkelte oplysning (fx oplysning nr. x med sandsynligheden px), lig med totalslogaritmen til dennes inverse sandsynlighed, Hn = log2(1/px). Man ser, at jo mere usandsynlig en oplysning er (jo mindre p er), jo større bliver informationsværdien af at få den pågældende meddelelse. Intuitivt er det klart, at en oplysning om, at det i dag sner i Grønland, indeholder mindre informationsværdi end en oplysning om, at det i dag sner i Egypten.
Man kan sammenligne informationskanalen med et transportsystem og måle den hastighed, R (i bit/s), hvormed der produceres signaler ved kilden, og den kapacitet, C (i bit/s), hvormed kanalen kan føre signalerne videre. Hvis signalerne pakkes effektivt, og C er større end eller lig med R, kan kanalen udnyttes optimalt. Shannon fandt et støj-kanalkapacitet-teorem, som siger, at hvis informationsproduktionen er mindre end kanalkapaciteten, kan der altid konstrueres en kode (til brug ved indkodning og afkodning), så kildens output genskabes ved destinationen med så lille en fejlsandsynlighed som ønsket.
Shannon definerede et mål for det gennemsnitlige informationsindhold pr. signal, nemlig den negative sum af produkterne af de enkelte signalers sandsynligheder og totalslogaritmen til disse: H = -Σpilog2pi, og kaldte dette for entropi. Det måler, hvor megen information en iagttager kan forvente at få pr. signal. Denne mængde bliver større, jo mere ensartede de enkelte signalers sandsynligheder er. Det svarer til, at hvis en "tekst" fremkommer ved tilfældige slag på tastaturet, vil dens entropi nærme sig det maksimale, da de enkelte tegn er lige sandsynlige. I en ekstremt ordnet "tekst" dannet af gentagelse af et eller ganske få bogstaver vil entropien derimod nærme sig nul. I en normal tekst med meningsfulde sætninger vil entropien være der imellem, fordi de grammatiske (og andre) bånd på kombinationen af bogstaver vil trække bort fra en ensartet sandsynlighedsfordeling med maksimal entropi.
Det har givet anledning til forvirring, at Shannon anvendte ordet entropi, som er hentet fra termodynamikken, hvor det betegner et mål for uorden. Selvom termodynamisk entropi og informationsteoretisk entropi har samme matematiske formulering, er det to helt forskellige begreber. Kun i visse situationer, fx hvis termodynamik anskues ved hjælp af informationsteori, kan der etableres sammenfald.
Det teoretisk tiltrækkende i matematisk informationsteori er, at det enkelte signal (oplysning, hændelse osv.) sættes i forhold til sættet af de mulige og gennem denne relation tilskrives informationsværdi, for så vidt man kan beskrive mulighedsfeltet og angive sandsynligheden for det enkelte signal. Imidlertid sætter forudsætningen, at man forud skal kunne fastlægge sættet af mulige hændelser, ret snævre grænser for teoriens gyldighed. Radikalt ny og uforudsigelig information kan ikke beskrives af teorien. Desuden beskriver teorien informationens kvantitet, ikke dens kvalitet, mening eller værdi i nogen kvalitativ forstand. Tidligere næredes der store forhåbninger til anvendelsen af informationsteori til at give forenende beskrivelser af komplekse sproglige og psykiske fænomener, men bortset fra visse begrænsede anvendelser i lingvistik og biologi er teorien i dag gledet ind som simpel grunddisciplin i datalogi og ingeniørvidenskab.
Kommentarer
Kommentarer til artiklen bliver synlige for alle. Undlad at skrive følsomme oplysninger, for eksempel sundhedsoplysninger. Fagansvarlig eller redaktør svarer, når de kan.
Du skal være logget ind for at kommentere.