Entropy = ketidakpastian= Informasi
Teori Hartley (1928)
jika M = 1maka pasti
jika M > 1 maka tidak pasti
maka log M
M=1 , log M=0
M>1, log M >0
Kelemahannya: mengabaikan probabilitas outcome.
Diperbaharui oleh Shannon (1948) bahwa: ketidakpastian tidak mungkin negatif, Events yang pasti memiliki 0 ketidakpastian, Ketidakpastian harus independent secara statistik.
Shannon information content: I(p) = log 1/pi
contoh:
jika personal computer memiliki kemampuan untuk menampilkan gambar berupa pixel beresolusi 1024 colom dan 768 rows. maka berapaShannon Information Contentnya?
Pixel memiliki 256 = 2^8 warna. maka totalnya adalah 2 ^ 8x1024x768 = 2^6291456 maka informasi yang terkandung dalam 1 picture adalah log 2^6291456 = 6291456 bits.
thx banget infonya yah….