ინფორმაციის რაოდენობა

ინფორმაციის რაოდენობა ინფორმაციის თეორიაში არის ზომა იმისა თუ რამდენად ბევრი ინფორმაცია მივიღეთ, როდესაც შევიტყვეთ მოცემული მოვლენის მოხდენის შესახებ. ინფორმაციის რაოდენობა დამოკიდებულია მხოლოდ მოცემული მოვლენის ალბათობა p-ზე და იგი გამოისახება შემდეგი სახით: $I=-log(p),$ სადაც I ინფორმაციის რაოდენობაა.

ინფორმაციის რაოდენობა იზომება ბიტებში. ერთი ბიტი ინფორმაცია ტოლია ინფორმაციის, რომელიც შეესაბამება 1/2 ალბათობის მქონე მოვლენის მოხდენას.

თუ არ ვიცით რამდენიმე მოვლენიდან რომელი მოხდება ვართ გაურკვევლობის წინაშე. როდესაც გავიგებთ ამ მოვლენებიდან რომელი მოხდა მივიღებთ რაღაც რაოდენობის ინფორმაციას. ეს ინფორმაცია შეიძლება იყოს ცვლადი, იმის მიხედვით რომელი მოვლენა მოხდება, რადგან მათ შეიძება სხვადასხვა ალბათობა ჰქონდეთ. ინფორმაციის საშუალო რაოდენობას, რომელსაც მივიღებთ როდესაც გავიგებთ მოვლენებიდან რომელი მოხდა, გაურკვევლობასთან დაკავშირებული ენტროპია ეწოდება.

ინფორმაციის რაოდენობის ფორმულის ინტუიციური გამოყვანა

ინტუიციურად გასაგებია, რომ ინფორმაცია იმის შესახებ რომ ხვალ მზე არ ამოვა ბევრად უფრო დიდი ინფორმაციაა იმასთან შედარებით რომ ხვალ ღრუბლიანი ამინდი იქნება. (იგულისხმება რომ ორივე სანდო ფაქტია). ეს იმიტომ არის, რომ პირველი ფაქტი ძალიან მოულოდნელი იყო და მისი გაგებით ჩვენს ცოდნას ბევრი შეემატა, მეორე კი - არც თუ ისე მოულოდნელი.

მათემატიკურად ეს მოულოდნელობა ალბათობის თეორიის ენაზე ასე აღიწერება: რაც უფრო მცირეა მოვლენის ალბათობა მით მეტ ინფორმაციას ვიძენთ, თუ გავიგეთ რომ ეს მოვლენა მოხდება.

აქვე ერთი შენიშვნა: ინფორმაციის თეორია დაინტერესებულია მხოლოდ ინფორმაციის რაოდენობით და არა მისი ხარისხით. მაგალითად, თუ კი გავიგეთ, რომ ხვალ მზიანი ამინდი იქნება, რასაც მოველოდით ალბათობით 1/2 და გავიგეთ რომ თუ ჩვენ მონეტას ავაგდებთ იგი ღერბით ზემოთ დაეცემა (ასევე 1/2 ალბათობის მოვლენა) ჩვენ თანაბარი რაოდენობის ინფორმაციას ვიღებთ. მიუხედავად იმისა, რომ შეიძლება ერთ-ერთი უფრო საჭირო იყოს ჩვენთვის. მაგალითად გასეირნებას ვაპირებდეთ და ამინდი გვაინტერესებდეს, და მონეტა საერთოდ არ გვაინტერესებს. ან პირიქით, შეიძება მონეტა გვაინტერესებდეს, რადგან მონეტის ერთ-ერთი მხარის მოსვლაზე ფული გვაქვს დადებული. ეს ინტერესი ინფორმაციაში არ არის ინფორმაციის თეორიის განხილვის საკითხი.

რაც შეეხება ინფორმაციის გაზომვას. ასევე არ იქნება გასაკვირი, რომ თუ ჩვენ გავიგეთ ორი მონეტის აგდებიდან თითოეულზე რა შედეგი მოვა, ჩვენ გავიგებთ 2-ჯერ მეტ ინფორმაციას ვიდრე ერთი მონეტის აგდების შედეგი რომ გაგვეგო. ანალოგიურად n მონეტისთვის. რადგან თითოეული კონმინაციის ალბათობა n მონეტის შემთხვევაში $2^{-n}$ -ის ტოლია შეგვიძლია დავასკვნათ, რომ $2^{-n}$ ალბათობის მოვლენის შესაბამისი ინფორმაციის რაოდენობა არის n-ჯერ 1/2 ალბათობის მოვლენის შესაბამისი ინფორმაცია.

1/2 ალბათობის მოვლენის შესაბამის ინფორმაციას ვუწოდებთ ერთ ბიტს. შესაბამისად $2^{-n}$ ალბათობის მოვლენის მოხდენის შემთხვევაში ვიგებთ n ბიტ ინფორმაციას. ეს შეგვიძია გავნვაზოგადოდ არა 1/2-ის ხარისხ ალბათობებზეც. რადგან $n=-log(2^{-n})$ ამიტომ ზოგადად ვიღებთ. $I=-log(p)$. სადაც ლოგარითმები აღებულია 2-ს ფუძით. ხოლო I არის ინფორმაციის რაოდენობა ბიტებში.

ინფორმაციის რაოდენობის ერთეულები

მიუხედავად იმისა, რომ ინფორმაციის რაოდენობის ერთეულად ყველაზე ხშირად ბიტი გვხვდება ხოლმე არსებობს რამდენიმე სხვა ერთეული. მათ შორის არიან:

• ნატი (ასევე ნიტი) - 1/e ალბათობის მოვლენის შესაბამისი ინფორმაცია. სადაც e ნეპერის რიცხვი ანუ ნატუირალური ლოგარითმის ფუძეა.(დაახლოებით 1.44 ბიტი)
• ბანი (ასევე ჰარტლი) - 1/10 ალბათობის მოვლენის შესაბამისი ინფორმაციის რაოდენობა. (დაახლოებით 3.32 ბიტი)