Теория информации
Теория информации исследует математические описания и оценки качества передачи, хранения, извлечения и классификации информации.
В 1948 году К. Шеннон (К. Shannon) обосновал целесообразность использования количественной меры информации, что позволило ему сформулировать фундаментальную теорему о нахождении скорости передачи информации по каналам связи, которую можно достичь при некотором оптимальном методе кодирования и декодирования, обеспечив при этом сколь угодно малую вероятность ошибки. Количественная мера информации энтропия является мерой степени неопределенности случайной величины. Пусть некоторая случайная величина принимает значения с распределением вероятностей В этом случае энтропия случайной величины с, определяется формулой
При передаче сообщений в каналах связи применяются различные методы кодирования информации, которые строятся с использованием комбинаторных методов.
Учет вероятностей ошибок типа 0--->1 и 1---> 0 и энтропийная оценка позволяют сравнивать различные методы кодирования и декодирования по достоверности получаемых сообщений.
