Измерение информации

В качестве единицы измерения информации Клод Шеннон предложил использовать 1 бит (от английского binary digit - двоичная цифра).

Для удобства измерения информации введены величины, большие, чем один бит. Это байт, равный 8 битам (длине машинного слова, состоящего из 8 двоичных знаков). 1024 байта - это 1 килобайт (Kb), 1024 килобайта равны 1 мегабайту (Mb) и так далее.

Само понятие информации, как мы уже успели убедиться, является довольно сложным. Но при работе с информацией у человека возникает вполне законная потребность измерить количество этой информации. И здесь можно выделить два подхода к решению этой проблемы. Это вероятностный или кибернетический подход, который был создан Клодом Шенноном (одним из основоположником кибернетики) в конце 40-х годов 20 века. Второй подход по измерению информации был изобретен при создании ЭВМ, он получил название объемного или алфавитного подхода.

Если рассмотреть объемный подход, то здесь все достаточно просто. Всем известно, что в ЭВМ данные представлены в двоичном виде, с помощью 0 и 1, поскольку с физической точки зрения данный принцип легко реализовать аппаратно. Например, конденсатор может быть заряжен или разряжен, или диод может быть открыт или закрыт. И объем информации в некотором сообщении, равен количеству этих самых бит. При этом количество информации - целая (не дробная) величина.

Необходимо помнить, что компьютер использует только объемный подход к измерению информации.

Теперь рассмотрим кибернетический (вероятностный) подход к измерению информации. Для этого необходимо рассмотреть два примера. При бросании монетки может выпасть либо орел, либо решка, и мы получим определенное количество информации в результате бросания. А если бросить игральные кости, то выпадение шести очков также означает сообщение какого-то количества информации.

Количество информации, полученной при выполнении данных действий можно вычислить по следующей формуле: I = log 2 N, где I - это количество информации, а N - это количество равновероятных возможностей совершения какого-либо действия, в нашем случае это вероятность выпадения орла или шести очков. Данную формулу вывел Р.Хартли в 1928 году. Таким образом, на примере бросания монетки, мы получили одну единицу измерения информации, при выборе одной из двух равновероятных возможностей, то есть 1 (бит) = log 2 2.

В том случае, если вероятность событий неодинакова, применяется формула Шеннона, она аналогична формуле Хартли, но там учитывается сумма вероятностей событий. Поскольку эти формулы не используются в работе ЭВМ, то особой необходимости в их подробном рассмотрении нет. Эти формулы в основном применяются при решении задач из теории вероятности.

При этом надо запомнить, что количество информации, полученной объемным и кибернетическим способом может не совпасть. Информацию не всегда можно измерить вероятностным способом, но всегда можно объемным.

<<<<<     >>>>>