Informasjonsendring

I statistikk og sannsynsteori er informasjonsendring (òg kalla Kullback–Leibler divergens, informasjonsdivergens eller relativ entropi) eit ikkje-symmetrisk mål på forskjellen mellom to sannsynsfordelingar P og Q. Informasjonsendring gir forventinga av kor mange ekstra bits du treng for å kode utval frå P når du nyttar ein kode frå Q, heller enn ein kode frå P. Vanlegvis skal P representere den «sanne» datafordelinga, observasjonar, eller ei presist utrekna teoretisk fordeling. Q skal vanlegvis representere teorien, modellen, skildringa eller tilnærminga mot P.

Definisjon

Der sannsynsfordelingane P og Q kjem frå ein diskret tilfeldig variabel definerer vi informasjonsendring av Q frå P som

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\sum _{i}P(i)\log \frac{P(i)}{Q(i)}.$

Der utvala P og Q kjem frå ein kontinuerleg tilfeldig variabel må me ha integral i staden for sum:

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(x)\log \frac{p(x)}{q(x)}dx,$

kor p og q gir sannsynstettleiken til P og Q.

Logaritmane her har grunntal 2 om du måler informasjon i bit, grunntal e viss du måler i naturlege einingar. Dei fleste formlane held uavhengig av grunntal.