Сколько информации в сообщении — и почему на этот вопрос есть два разных ответа.
10 класс, урок 8. Алфавитный подход · единицы измерения · содержательный подход.
«Завтра контрольная» и «ЖЩЛЫЪЭ ЬГЁФЦУОПМЩШ» — одинаковой длины. В каком больше информации?
Смысл не важен. Считаем, сколько бит нужно, чтобы записать сообщение. Так считает компьютер: объём файла, скорость канала. Здесь сообщения равны.
Важно, насколько сообщение уменьшило неопределённость у получателя. Новость — много, известное заранее — ноль.
| алфавит | символов N |
|---|---|
| двоичный: 0, 1 | 2 |
| буквы ДНК: A, C, G, T | 4 |
| десятичные цифры | 10 |
| латинские буквы | 26 |
| русские буквы | 33 |
Мощность алфавита N — число символов в нём. Вес символа i — сколько бит несёт один символ:
N = 2i
Предполагаем, что все символы появляются одинаково часто (равновероятны) — иначе формула неверна.
| i, бит | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
|---|---|---|---|---|---|---|---|---|
| N = 2i | 2 | 4 | 8 | 16 | 32 | 64 | 128 | 256 |
1 бит — информационный вес символа двоичного алфавита: N = 2 = 21.
Русский алфавит, 33 буквы: 25 = 32 — мало, 26 = 64 — хватит. Вес буквы — 6 бит. Если N не степень двойки, берём наименьшее i, при котором 2i ≥ N.
Сообщение из K символов, каждый весит i бит — всего I = K · i бит.
ПРИВЕТМИР — 9 букв русского алфавита. N = 33 → i = 6 бит. I = 9 · 6 = 54 бита.
Тот же текст цифрами 0–9 (i = 4) или двоичным кодом (i = 1) — другой объём: объём зависит от алфавита, а не только от длины.
| 1 байт | = 8 бит | = 23 бит |
|---|---|---|
| 1 Кбайт | = 1024 байт | = 210 байт |
| 1 Мбайт | = 1024 Кбайт | = 220 байт |
| 1 Гбайт | = 1024 Мбайт | = 230 байт |
К мелкой единице — умножаем, к крупной — делим. Ступень за ступенью: × 8, × 1024, × 1024…
1 Кбайт — не 1000 байт. Приставка «кило» у байта — 210 = 1024.
i = I : K, потом N = 2i
K = I : i
Сначала объём — в биты, и только потом делить: 30 байт на 48 символов — это 240 : 48 = 5 бит, а не 30 : 48.
Задумано число от 1 до 16. Сколько вопросов «да/нет» нужно, чтобы угадать наверняка?
«Больше 8?» — нет. «Больше 4?» — да. «Больше 6?» — нет. «Больше 5?» — да. Это 6.
16 → 8 → 4 → 2 → 1 — четыре вопроса, каждый
делит выбор пополам.
Сообщение, которое уменьшает неопределённость вдвое, несёт 1 бит. Ответ на каждый такой вопрос — 1 бит, число из 16 — 4 бита.
Выбор сузился с 64 до 8 — в 8 = 23 раз: сообщение несёт 3 бита, а не 8 и не 6.
Знал заранее — неопределённость не изменилась — 0 бит, какой бы длинной ни была фраза.
Что больше: 1000 байт или 1 Кбайт? 9000 бит или 1 Кбайт?
| величина | в битах |
|---|---|
| 1000 байт | 8000 |
| 1 Кбайт | 8192 |
| 9000 бит | 9000 |
Голые числа 1000, 1 и 9000 ничего не говорят — переводим всё в биты.
IM-.