о двух случаях из 36,
будет
Таблицы, определяющие :
Закон совместного распределения вероятностей д.с.в. и будет например,
В общем случае получится
Тогда
Здесь , что соответствует свойствам информации.
Подчеркнутый член в расчете соответствует информации о двух случаях из 36, когда и , которые однозначно определяют . Шесть случаев, когда , не несут никакой информации об , что соответствует подчеркнутому члену .
Расчеты можно проводить, используя 4-е свойство информации, через энтропию.
Расчет количества информации с использованием 4-го свойства, а не определения, обычно требует меньше вычислений.
Рассмотрим более простой пример. Пусть д.с.в. равна количеству очков, выпавших на игральной кости, а д.с.в. равна 0, если выпавшее количество очков нечетно, и 1, если выпавшее количество очков четно. Найти и .
Составим законы распределения вероятностей д.с.в. и .
Таким образом, при и, соответственно, при .
Составим также закон совместного распределения вероятностей этих д.с.в.
Таким образом,
Точное количество выпавших очков дает точную информацию о четности, т.е. 1бит. Из бит/сим и 3-го свойства информации следует, что информация об полностью определяет , но не наоборот, т.к. бит/сим. Действительно, функционально зависит от , а от
функционально не зависит.
Расчеты через энтропию будут следующими
Упражнение 5
Найти энтропию д.с.в. , заданной распределением
Упражнение 6
Значения д.с.в. и определяются подбрасыванием двух идеальных монет, а д.с.в. равна сумме количества "гербов", выпавших при подбрасывании этих монет. Сколько информации об содержится в ?
Упражнение 7
Сколько информации об содержится в д.с.в. , где независимые д.с.в. и могут с равной вероятностью принимать значение либо 0, либо 1? Найти и . Каков характер зависимости между и ?
Упражнение 8
д.с.в. , - зависимы и распределены также как и соответствующие д.с.в. из предыдущей задачи. Найти , если совместное распределение вероятностей и
описывается законом
Упражнение 9
д.с.в. и определяются подбрасыванием двух идеальных тетраэдров, грани которых помечены числами от 1 до 4.
Forekc.ru
Рефераты, дипломы, курсовые, выпускные и квалификационные работы, диссертации, учебники, учебные пособия, лекции, методические пособия и рекомендации, программы и курсы обучения, публикации из профильных изданий