Информация, данные и знания, дискретное представление, равномерные и неравномерные коды, условие Фано — и свой неравномерный код для слова
Данные — информация, записанная знаками в форме, удобной для хранения, передачи и обработки. Знания — информация, которую человек понял, проверил и умеет применять. Любую информацию — текст, звук, изображение — можно записать дискретно, конечным набором знаков, а значит, и двоичным кодом из 0 и 1.
Все кодовые слова одной длины i. Слов длины i ровно 2i. Для N знаков нужно наименьшее i, при котором 2i ≥ N: 33 буквы → 6 знаков (25 = 32 мало, 26 = 64 хватит).
| i | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
|---|---|---|---|---|---|---|---|---|
| 2i | 2 | 4 | 8 | 16 | 32 | 64 | 128 | 256 |
Сигналы длиной от 1 до 4 знаков: 2 + 4 + 8 + 16 = 30 — каждую длину считаем отдельно. Сообщение в равномерном коде режут подряд кусками по i знаков.
Слова разной длины: частым буквам — короткие, тогда запись короче. Условие Фано: ни одно кодовое слово не является началом другого. Тогда сообщение расшифровывается однозначно: читаем слева и отрезаем кусок, как только он совпал с кодом буквы.
Пример плохого кода: А – 0, Б – 01, В – 10. Сообщение 010 — это АВ или БА? Слово 0 — начало слова 01.
0 — влево, 1 — вправо, кодовое слово — путь от корня. Условие Фано выполняется, когда каждая буква — лист: ниже буквы ничего не растёт.
Сумма «сколько раз встречается буква × длина её кода». Равномерным кодом: букв в слове × i.
Информация, данные и знания, дискретное представление, равномерные и неравномерные коды, условие Фано — и свой неравномерный код для слова
Данные — информация, записанная знаками в форме, удобной для хранения, передачи и обработки. Знания — информация, которую человек понял, проверил и умеет применять. Любую информацию — текст, звук, изображение — можно записать дискретно, конечным набором знаков, а значит, и двоичным кодом из 0 и 1.
Все кодовые слова одной длины i. Слов длины i ровно 2i. Для N знаков нужно наименьшее i, при котором 2i ≥ N: 33 буквы → 6 знаков (25 = 32 мало, 26 = 64 хватит).
| i | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
|---|---|---|---|---|---|---|---|---|
| 2i | 2 | 4 | 8 | 16 | 32 | 64 | 128 | 256 |
Сигналы длиной от 1 до 4 знаков: 2 + 4 + 8 + 16 = 30 — каждую длину считаем отдельно. Сообщение в равномерном коде режут подряд кусками по i знаков.
Слова разной длины: частым буквам — короткие, тогда запись короче. Условие Фано: ни одно кодовое слово не является началом другого. Тогда сообщение расшифровывается однозначно: читаем слева и отрезаем кусок, как только он совпал с кодом буквы.
Пример плохого кода: А – 0, Б – 01, В – 10. Сообщение 010 — это АВ или БА? Слово 0 — начало слова 01.
0 — влево, 1 — вправо, кодовое слово — путь от корня. Условие Фано выполняется, когда каждая буква — лист: ниже буквы ничего не растёт.
Сумма «сколько раз встречается буква × длина её кода». Равномерным кодом: букв в слове × i.