Что показывает симуляция
Игра «угадай число», N = 2ⁱ, алфавитный подход, задача про пароли и формула Шеннона.
Ответ «да» или «нет» на вопрос, делящий варианты пополам, несёт 1 бит информации. Чтобы выбрать одно из N = 16 чисел, нужно i = log₂16 бит: N = 2ⁱ — это формула Хартли. Здесь i = 4, потому что 24 = 16.
Другие режимы
- Алфавитный подход. Алфавитный подход: каждый символ алфавита мощностью N кодируют одинаковым числом бит i — наименьшим, при котором 2ⁱ ≥ N. Объём сообщения из K символов: I = K · i. Смысл текста при этом не важен — считают только символы.
- Пароли. Типичная ошибка — округлить не там. Сначала биты на символ (i = 4), затем длина пароля в битах (60), и только её округляют вверх до целого числа байт: 8. Ответ: 800 байт.
- Формула Шеннона. Сообщение о событии с вероятностью p несёт i = log₂(1/p) бит: чем реже событие, тем больше информации. Самое редкое здесь — «достали зелёный шар»: p = 2/16, i = log₂8 = 3 бита.