Information Theory n’Source Coding

Entropy = ketidakpastian= Informasi

Teori Hartley (1928)

jika M = 1maka pasti

jika M > 1 maka tidak pasti

maka log M

M=1 , log M=0

M>1, log M >0

Kelemahannya: mengabaikan probabilitas outcome.

Diperbaharui oleh Shannon (1948) bahwa: ketidakpastian tidak mungkin negatif, Events yang pasti memiliki 0 ketidakpastian, Ketidakpastian harus independent secara statistik.

Shannon information content: I(p) = log 1/pi

contoh:

jika personal computer memiliki kemampuan untuk menampilkan gambar berupa pixel beresolusi 1024 colom dan 768 rows. maka berapaShannon Information Contentnya?

Pixel memiliki 256 = 2^8 warna. maka totalnya adalah 2 ^ 8x1024x768 = 2^6291456 maka informasi yang terkandung dalam 1 picture adalah log 2^6291456 = 6291456 bits.

 

One thought on “Information Theory n’Source Coding

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s