WikiFox

Entropi (informationsteori)



For andre betydninger, se Entropi (flertydig)
Der er for få eller ingen kildehenvisninger i denne artikel, hvilket er et problem. Du kan hjælpe ved at angive troværdige kilder til de påstande, som fremføres i artiklen.

I informationsteori er entropi (også informationsentropi eller Shannon-entropi) en måde at betegne og give værdi til evolution og vækst i viden. Især KI-applikationer gør brug af entropi til at læse informationer. De sammenligner simpelthen systemets dele og vælger det stykke data med mindst (~0) entropi.

Entropien \({\displaystyle S}\) er givet ved en sum over alle mulige tilstande:

\({\displaystyle S=-\sum _{i}P_{i}\log _{2}P_{i}}\)

hvor \({\displaystyle P_{i}}\) er sandsynligheden for tilstanden \({\displaystyle i}\).[1]

Entropien opnås være at tage gennemsnittet af informationsmængden for hvert udfald:

\({\displaystyle I_{i}=-\log _{2}P_{i}}\)

For et system med forskellige udfald \({\displaystyle i}\) er entropien altså den gennemsnitlige informationsmængde, der opnås ved en måling. Jo højere entropien er, jo større usikkerhed er der omkring udfaldet.[2]

Inden for fysikken kaldes den tilsvarende ligning for Gibbs' entropiformel.[3]

Indholdsfortegnelse


Simpelt eksempel

I det følgende gives eksempler på beregning af entropi.

Møntkast

To bit entropi: For to ærlige møntkast er der 4 mulige udfald, og informationsentropien er to-tals-logaritmen til 4, hvilket giver 2 bit. For \({\displaystyle N}\) møntkast er entropien \({\displaystyle N}\) bit.

Når en ærlig mønt bruges til at slå plat eller krone, har den 50 % - dvs. \({\displaystyle {\tfrac {1}{2}}}\) - sandsynlighed for at lande på krone og 50 % sandsynlighed for at lande på plat. Informationsmængden for hver udfald er derfor:

\({\displaystyle I=-\log _{2}{\frac {1}{2}}=\log _{2}2=1{\text{ bit}}}\)

Den gennemsnitlige informationsmængde - entropien - for ét mønstkast er derfor også 1:

\({\displaystyle S_{1}=-\left[{\frac {1}{2}}\log _{2}\left({\frac {1}{2}}\right)+{\frac {1}{2}}\log _{2}\left({\frac {1}{2}}\right)\right]=-\log _{2}{\frac {1}{2}}=\log _{2}2=1{\text{ bit}}}\)

For to mønter fordobles informationsmængden ,og derfor bliver entropien 2. Der er nemlig 4 mulige udfald med to mønter, og hvert udfald har 25 % sandsynlighed, så:

\({\displaystyle S_{2}=-4\left[{\frac {1}{4}}\log _{2}\left({\frac {1}{4}}\right)\right]=\log _{2}4=\log _{2}2^{2}=2\log _{2}2=2{\text{ bit}}}\)

Da antallet af mulige udfald fordobles med hver mønt, må antallet af mulige udfald for et arbitrært antal \({\displaystyle N}\) mønter være \({\displaystyle 2^{N}}\). Sandsynligheden per udfald \({\displaystyle i}\) er derfor:

\({\displaystyle P_{i}={\frac {1}{2^{N}}}}\)

Og derfor er entropien:

\({\displaystyle S_{N}=-2^{N}\left[{\frac {1}{2^{N}}}\log _{2}\left({\frac {1}{2^{N}}}\right)\right]=\log _{2}\left(2^{N}\right)=N\log _{2}2}\)

Entropien for \({\displaystyle N}\) møntkast er altså simpelthen \({\displaystyle N}\).

\({\displaystyle S_{N}=N{\text{ bit}}}\)

Så jo flere mønter, jo højere entropi, da hvert udfald bliver mere og mere usandsynligt, og informationen omvendt bliver større og større.

Bernoulli-proces

Entropi som funktion af sandsynligheden for udfald 1. For en Bernoulli-proces er entropien maksimal, når begge udfald er lige sandsynlige, mens entropien er nul, når kun ét af udfaldene er muligt.[2]

En Bernoulli-proces er en måling, hvor der er to mulige udfald med sandsynlighederne \({\displaystyle p}\) og \({\displaystyle 1-p}\)

\({\displaystyle {\begin{aligned}P_{1}&=p\\P_{2}&=1-p\end{aligned}}}\)

hvor \({\displaystyle p}\) er konstant. Dette er en generalisering af den ærlige mønt, hvor \({\displaystyle p={\tfrac {1}{2}}}\). Entropien er:

\({\displaystyle S(p)=-p\log _{2}(p)-(1-p)\log _{2}(1-p)}\)

For \({\displaystyle p={\tfrac {1}{2}}}\) er entropien 1 som før, men for \({\displaystyle p=0}\) - dvs. hvis udfald 1 er umuligt - bliver entropien:

\({\displaystyle S(0)=-0\log _{2}(0)-1\log _{2}(1)=0{\text{ bit}}}\)

Entropien ville også være 0 bit, hvis kun udfald 2 var muligt. Hvis kun ét udfald er muligt, er der ikke længere nogen usikkerhed, mens usikkerheden er størst, hvis begge udfald er lige sandsynlige (se figur).[2]


Kildehenvisninger

  1. ^ Pathria, R. K.; Beale, Paul (2011). Statistical Mechanics (Third Edition) . Academic Press. s. 51. ISBN 978-0123821881. Arkiveret fra originalen 17. juni 2020. Hentet 16. december 2019.
  2. ^ a b c Blundell, Stephen J.; Blundell, Katherine M. (2006). "15.1 Information and Shannon entropy". Concepts in Thermal Physics (engelsk) (1. udgave). Oxford University Press. s. 153 -155. ISBN 978-0-19-856770-7.
  3. ^ Blundell, Stephen J.; Blundell, Katherine M. (2006). "14.8 Entropy and probability". Concepts in Thermal Physics (engelsk) (1. udgave). Oxford University Press. s. 146 -148. ISBN 978-0-19-856770-7.
Spire
Denne artikel er en spire som bør udbygges. Du er velkommen til at hjælpe Wikipedia ved at udvide den .




Kilde


Oplysninger pr.: 16.10.2021 02:50:06 CEST

Kilde: Wikipedia (Forfattere [Historie])    Licens af teksten: CC-BY-SA-3.0. Ophavsmænd og licenser til de enkelte billeder og medier kan enten findes i billedteksten eller vises ved at klikke på billedet.

Ændringer: Designelementer blev omskrevet. Wikipedia-specifikke links (som "Redlink", "Edit-Links"), kort og navigationsbokse blev fjernet. Også nogle skabeloner. Ikoner er blevet erstattet med andre ikoner eller fjernet. Eksterne links har fået et ekstra ikon.

Bemærk venligst: Da det givne indhold automatisk er hentet fra Wikipedia på det givne tidspunkt, var og er det ikke muligt at foretage en manuel kontrol. WikiFox.org garanterer derfor ikke for nøjagtigheden og aktualiteten af det erhvervede indhold. Hvis der er en information, som er forkert på nuværende tidspunkt eller har en ukorrekt visning, er du velkommen til at kontakte os: e-mail.
Se også: Juridisk meddelelse & Fortrolighedspolitik.