Вероятностный подход к измерению дискретной и непрерывной информации
В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной сл.в., относительно другой сл.в., Этот способ приводит к выражению количества информации числом.
Для д.с.в. и , заданных законами распределения , и совместным распределением , количество информации, содержащейся в относительно , равно
Для непрерывных сл.в., и , заданных плотностями распределения вероятностей , и , аналогичная формула имеет вид
Очевидно, что
и, следовательно,
Энтропия д.с.в. в теории информации определяется формулой
Свойства меры информации и энтропии:
- , и независимы;
- ;
-
- константа;
- , где ;
- . Если , то - функция от . Если - инъективная функция1) от , то .
- Логарифмированием из очевидного для всех
неравенства (равенство устанавливается только при ) получается неравенство или
т.е. только при для всех и , т.е. при независимости и . Если и независимы, то
и, следовательно, аргументы логарифмов равны 1 и, следовательно, сами логарифмы равны 0, что означает, что ;
- Следует из симметричности формул относительно аргументов;
- Если , то все члены суммы, определяющей , должны быть нули, что возможно тогда и только тогда, когда - константа;
- Из четырех очевидных соотношений
получается
- Нужно доказать или .
но , а значит аргументы у всех логарифмов не больше 1 и, следовательно, значения логарифмов не больше 0, а это и значит, что вся сумма не больше 0.
Если , то для каждого
равно либо , либо 0. Но из
следует , что возможно только в случае, когда - функция от .
При независимости сл.в., и одна из них ничем не описывает другую, что и отражается в том, что для таких сл.в., .
Рассмотрим пример измерения количества информации при подбрасывании двух игральных костей.
Пусть заданы д.с.в. , и . и - количества очков, выпавших соответственно на 1-й и 2-й игральной кости, а . Найти , , .
Законы распределения вероятностей для д.с.в. и совпадают, т.к. кости одинаковые и без изъянов.
Закон распределения вероятностей для д.с.в. ,
вследствие того, что , - независимы и поэтому
Forekc.ru
Рефераты, дипломы, курсовые, выпускные и квалификационные работы, диссертации, учебники, учебные пособия, лекции, методические пособия и рекомендации, программы и курсы обучения, публикации из профильных изданий