Алфавитный подход, мощность алфавита и вес символа, объём сообщения, единицы измерения, содержательный подход — и расчёт для своего сообщения
Алфавитный (объёмный) — смысл не важен, считаем символы: сколько бит нужно, чтобы записать сообщение. Содержательный (вероятностный) — важно, насколько сообщение уменьшило неопределённость у получателя.
Мощность алфавита N — число символов в нём. Вес символа i — сколько бит несёт один символ: N = 2i (символы считаем равновероятными). Если N не степень двойки, берём наименьшее i, при котором 2i ≥ N: 33 буквы → 6 бит. 1 бит — вес символа двоичного алфавита.
| i | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
|---|---|---|---|---|---|---|---|---|
| 2i | 2 | 4 | 8 | 16 | 32 | 64 | 128 | 256 |
Объём сообщения из K символов: I = K · i бит. Обратно: i = I : K, K = I : i.
| 1 байт = 8 бит | 1 Кбайт = 1024 байт = 213 бит |
| 1 Мбайт = 1024 Кбайт | 1 Гбайт = 1024 Мбайт |
К мелкой единице — умножаем, к крупной — делим, ступень за ступенью. Сравнивать величины можно только в одной единице: 1000 байт меньше, чем 1 Кбайт.
Сообщение, которое вдвое уменьшает неопределённость, несёт 1 бит. Об одном из N равновероятных событий — i бит, N = 2i: монета — 1 бит, одна из 8 карт — 3 бита. Выбор сузился в 2k раз — сообщение несёт k бит. Угадать число от 1 до N вопросами «да/нет» — столько вопросов, сколько раз N делится пополам до одного.
Алфавитный подход, мощность алфавита и вес символа, объём сообщения, единицы измерения, содержательный подход — и расчёт для своего сообщения
Алфавитный (объёмный) — смысл не важен, считаем символы: сколько бит нужно, чтобы записать сообщение. Содержательный (вероятностный) — важно, насколько сообщение уменьшило неопределённость у получателя.
Мощность алфавита N — число символов в нём. Вес символа i — сколько бит несёт один символ: N = 2i (символы считаем равновероятными). Если N не степень двойки, берём наименьшее i, при котором 2i ≥ N: 33 буквы → 6 бит. 1 бит — вес символа двоичного алфавита.
| i | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
|---|---|---|---|---|---|---|---|---|
| 2i | 2 | 4 | 8 | 16 | 32 | 64 | 128 | 256 |
Объём сообщения из K символов: I = K · i бит. Обратно: i = I : K, K = I : i.
| 1 байт = 8 бит | 1 Кбайт = 1024 байт = 213 бит |
| 1 Мбайт = 1024 Кбайт | 1 Гбайт = 1024 Мбайт |
К мелкой единице — умножаем, к крупной — делим, ступень за ступенью. Сравнивать величины можно только в одной единице: 1000 байт меньше, чем 1 Кбайт.
Сообщение, которое вдвое уменьшает неопределённость, несёт 1 бит. Об одном из N равновероятных событий — i бит, N = 2i: монета — 1 бит, одна из 8 карт — 3 бита. Выбор сузился в 2k раз — сообщение несёт k бит. Угадать число от 1 до N вопросами «да/нет» — столько вопросов, сколько раз N делится пополам до одного.