Попробую объяснить.
Количество информации в большинстве предлагаемых задач оценивается по способу, предложенному Р. Хартли. Если имеется некоторый алфавит из m символов (иногда говорят, такой алфавит имеет мощность m), и из этого алфавита строится последовательность длины n, то количество информации а битах, содержащейся в такой последовательность, можно найти по формуле Хартли:
.[/tex]
На практике потребность находить логарифм встречается нечасто, обычно в заданиях n является какой-то степенью двойки, поэтому значение логарифма равно показателю степени.
Рассмотрим несколько примеров.
1. Какое количество информации несет фраза длиной 50 символов, если алфавит содержит 64 символа? Тут n=64, m=50. По формуле Хартли:
. (бит)
"Для себя" можно было решать так: 64 - это два в шестой степени, умножаем 6 на длину фразы 50, ответ 300 бит.. Задача получается устной.
2. Какова мощность алфавита, если слово длиной 10 символов несет 30 бит информации?
Записываем формулу Хартли: .
Дано: I=30, m=10. Найти n. Из приведенной формулы находим:
(символов)
На практике: делим количество информации на количество символов в слове (фразе, сообщении) и возводим двойку в степень, равную полученному числу.
3. "Из ящика с 32 пронумерованными шарами вынули шар номер 17". Сколько информации в этом сообщении? Рассуждаем так:
Шанс достать шар номер 17 равен 1 из 32 - ведь можно достать любой шар. Следовательно, сообщение о шаре №17 уменьшило неопределенность в наших знаниях по этому вопросу в 32 раза. Снова формула Хартли. n=32, m=1, найти I. Почему так? Шары - это наш алфавит, их 32. Вынутый шар - это наше слово, он один. А дальше мы уже умеем решать: 32 - это два в пятой степени, поэтому I=1x5=5 бит.
4. В коробке 5 красных карандашей, 4 зеленых, 3 синих и 4 желтых. Какое количество информации несет сообщение о том, что был вынут зеленый карандаш? Можно рассуждать так: наш алфавит - это цвета карандашей, а слово - количество карандашей. В алфавите 4 символа, т.е. два во второй степени. Вынули один карандаш, количество информации по формуле Хартли: 1х2=2 бита. Простое но абсолютно неверное решение!.
Дело в том, что формула Хартли имеет свои границы применения: все символы в алфавите равноправны и шанс выбора каждого символа одинаков. В нашем случае в коробке лежат 5+4+3+4=16 карандашей, среди них 4 зеленых. Шанс достать зеленый карандаш равен 4 из 16, т.е. 1/4. Следовательно, сообщение о зеленом карандаше уменьшает неопределенность в 4 раза и вот теперь можно воспользоватся формулой Хартли при m=1 и получить ответ I=2 бита. Почему два? 4 - это два во второй степени.
Общий совет по решению задач с вероятностью: находим вероятность совершения события в виде простой дроби, а потом ищем степень, в которую надо возвести двойку, чтобы получить знаменатель этой дроби.
более месяца назад
