Как определяется понятие энтропии в информатике. Энтропия как мера информации

О.БУЛАНОВА

Четвертого февраля 1921 года, в поселке Новханы в интеллигентной семье, где отец был журналистом, а мать - врачом-педиатром, родился гений мировой науки Лютфи Рагим оглу Алескерзаде (4 февраля, 1921 – 6 сентября, 2017). Такое имя было у него в паспорте, но весь мир знает его как Лютфи Заде.

Он доктор математических наук, профессор, основатель теории нечетких множеств и нечеткой логики. Его революционная теория разрушила двузначную логику Аристотеля, существовавшую более двух тысяч лет. В общей же сложности он подарил мировой науке пять фундаментальных теорий. Этим теориями использовались в экономике, психологии, лингвистике, политике, философии, социологии, религиозных вопросах, в конфликтных ситуациях. Т.е. в сферах, весьма далеких от математики.

Несколько лет Лютфи Заде учился в бакинской русской школе. В 1931 году в силу определенных причин его семья перебралась в Иран. В Тегеране Лютфи Заде окончил сначала Американский колледж (Колледж Альборц), а затем Тегеранский университет, получив степень бакалавра по специальности «электротехника». Еще учась в колледже, Лютфи Заде встречает свою первую и пожизненную любовь Фаню Занд (в замужестве Фэй Заде), которая спустя много лет напишет о нем автобиографическую книгу «Моя жизнь и путешествия с отцом нечеткой логики».

Фей была из семьи двинских евреев, бежавших из Германии в Тегеран после прихода к власти нацистов. Лютфи и Фэй были вместе со школьной скамьи. Сам Лютфи Заде говорил, что у него две любимых женщины - наука и Фэй. В 1944 году Лютфи Заде уехал в Соединенные Штаты, в 1946 году со степенью магистра окончил знаменитый Массачусетский технологический институт по специальности «электротехника».

В 1949 году (в 28 лет) получил докторскую ученую степень Ph.D, в 1957 году стал профессором. Первой значительной научной работой Лютфи Заде стала диссертация, посвященная вопросам частотного анализа нестационарных цепей. В ней он ввел понятие нестационарной передаточной функции, которое впоследствии получило многочисленные приложения в анализе нестационарных линейных систем. Это принесло Лютфи Заде первое международное признание.

В 1950 года совместно с Дж.Рагазини им было предложено интересное обобщение винеровской теории предсказания. Данная работа нашла применение в проектировании фильтров с конечной памятью и сегодня считается классической. Затем в 1952 году снова вместе с Дж.Рагазини он разработал метод z-преобразования для дискретных систем.

Этот метод также стал классическим. В 1953 году Лютфи Заде осуществил разработку нового подхода к нелинейной фильтрации и построил иерархию нелинейных систем, основанную на представлении Вольтерра-Винера. Таким образом были заложены основы проектирования оптимальных нелинейных процессоров для обнаружения полезных сигналов в шуме.

В 1959 году Лютфи Заде переехал в Калифорнию и начал работать на кафедре электротехники Калифорнийского университета в Беркли. В это время его научные интересы были сосредоточены, главным образом, на теории линейных систем и теории автоматического управления. Важным результатом стала изданная в 1963 году в соавторстве с Ч.Дезоером книга «Теория линейных систем (метод пространства состояний)», в которой изложен качественно новый подход в теории линейных систем. Идеи из этого труда стали источником многих современных подходов к анализу систем и автоматическому управлению.

В 1963-1968 годах Лютфи Заде заведовал кафедрой электротехники Калифорнийского университета. К этому времени он уже был известным специалистом в области теории систем, теории автоматического управления и их приложений. Однако присущий ему дух новаторства не позволил почивать на лаврах, и в 1965 году в возрасте сорока четырех лет он публикует в журнале Information and Control главный труд своей жизни - основополагающую статью по нечетким множествам: Fuzzy Sets. Эта, имеющая большое историческое значение, работа дала толчок новому научному направлению, которое вызвало мощный резонанс во всем мире.

Основная идея Лютфи Заде состояла в том, что реальные человеческие рассуждения, опирающиеся на естественный язык, не могут быть описаны в рамках традиционных математических формализмов. Введение нечетких множеств - классов с неточно определенными границами, описываемых функциями принадлежности (обобщающих характеристические функции обычных множеств) - обеспечило основу для развития более гибкого подхода к анализу рассуждений и моделированию сложных гуманистических систем, поведение которых описывается скорее лингвистическими, чем числовыми переменными.

Толчком к этому открытию послужило осознание разрыва между точностью математики и неточностью реального мира. Лютфи Заде доказал, что в отличие от математики, где предполагается, что классы имеют четкие границы, человек безграничен в своих чувствах и восприятии мира. Это понимание позволило ему создать математику безграничности и многообразия.

Так наряду с алгеброй Эл-Харезма появляется нечеткая алгебра - алгебра Лютфи Заде. Эта теория открыла новую эпоху в истории развития математики, кибернетики, информатики и вычислительной техники. Статья вызвала огромный поток публикаций в области нечеткой математики. В 60-70-е годы неортодоксальные идеи Лютфи Заде встретили весьма настороженный, а порой и холодный прием в различных научных кругах, особенно в среде «чистых» математиков.

Однако практический потенциал теории нечетких множеств и нечеткой логики, их способность моделировать гибкие и неточные ограничения, частичное проявление свойств, плавный переход из одной ситуации в другую привлекли в эту область целую армию прикладников.

Особенно в моделях нечеткого управления, которые нашли широчайшее промышленное применение, начиная от бытовой техники (пылесосы, стиральные машины с нечеткой логикой) и заканчивая управлением сложными технологическими процессами (управление доменным процессом, атомными энергоблоками) и динамическими объектами (поезда метро, автомобили, вертолеты, роботы и пр.). В дальнейшем теория нечетких множеств и нечеткая логика получили поистине всемирное признание. Большая заслуга в этом принадлежит самому Лютфи Заде.

Помимо своей постоянной работы в Беркли он многие годы работал в качестве приглашенного профессора в Массачусетском технологическом институте, в научно-исследовательской лаборатории корпорации IBM в Сан-Хосе, в Стэнфордском университете. Выступал с чтением лекций во Франции, Англии, Канаде, Германии, Японии, Китае, Италии, Испании, Португалии, Швеции, Швейцарии, Австрии, Румынии, Венгрии, Югославии, СССР, Польше, Турции, Индии, Бразилии, Сингапуре, Саудовской Аравии и в других странах.

Лютфи Заде входил в когорту весьма немногочисленных ученых-первооткрывателей, которые генерировали оригинальные научные идеи и формировали новые научные направления. Почти каждая его публикация становилась событием в научном мире. Среди самых знаменитых работ Лютфи Заде 70-х годов следует отметить «Основы нового подхода к анализу сложных систем и процессов принятия решений», «Понятие лингвистической переменной и его применение к принятию приближенных решений», «Нечеткие множества как основа теории возможности».

В первых двух работах им было введено и описано понятие лингвистической переменной, рассмотрены пути его применения в интеллектуальных системах и управлении, сформулированы идеи управления на основе нечеткой логики, которые затем были воплощены в технологии нечетких регуляторов. В третьей статье, открывшей первый номер международного журнала «Нечеткие множества и системы», Лютфи Заде предложил вариант исчисления неопределенностей, опирающийся на неаддитивную меру возможности, и, в частности, интерпретацию нечеткого множества как функции распределения возможностей.

В отличие от нечеткого множества, выражающего неточность оценки некоторого атрибута, мера возможности описывает неопределенность, неполноту информации, связанную с появлением того или иного четкого события. По сути, это способ количественного описания (представления смысла) экспертных суждений, который является обобщением интервального анализа и теории ошибок.

В 80-е годы Лютфи Заде продолжает активно работать над проблемами развития нечеткой логики и теории возможностей, а также их применения в интеллектуальных системах.

Так, в статье «Роль нечеткой логики в управлении неопределенностью в экспертных системах» им описан способ применения нечеткой логики в интересах представления неточной информации и построен ряд правил вывода на основе комбинирования свидетельств. Затем он пишет ряд работ, посвященных вопросам моделирования рассуждений здравого смысла, мягких вычислений.

Помимо мягких вычислений, в 90-е годы интересы Лютфи Заде были связаны с разработкой методологии вычислений со словами, а также вычислительной теории перцептивных оценок. Жизнеспособность любой теории во многом определяется ее эволюционным потенциалом, возможностью расширения ее основных понятий и конструкций, а также появлением новых подходов, примыкающих к этой теории, а порой и конкурирующих с ней.

Лютфи Заде – всемирно известный ученый, пожизненный профессор Университета Беркли, член IEEE, Американской ассоциации искусственного интеллекта AAAI, ACM, Австрийского общества кибернетических исследований, член и почетный член множества академий, почетный доктор множества университетов самых разных стран. Его имя вписано золотыми буквами в мировую историю научных открытий.

Лютфи Заде - лауреат целого созвездия престижнейших международных премий, обладатель самых высоких наград, в том числе азербайджанских.

Как человек Лютфи Заде был очень скромным, обладал редким умением посмеяться над собой - на двери его кабинета висел шарж, сделанный на него самого. Его скромность не распространялась только на науку: в науке был он смел и дерзок.

Лютфи Заде прославил Азербайджан, и как бы ни пафосно это звучало, но Азербайджан может по праву гордиться тем, что у него есть такой сын.

*Все фото и изображения принадлежат их законным владельцам. Логотип - мера против несанкционированного использования.

ранее, всемирно известный ученый Лютфи Заде завещал похоронить себя в Азербайджане. Его письмо-завещание было представлено его доверенному лицу, близкому другу семьи ученого, профессору Азербайджанского технического университета Шахназ Шахбазовой.

Находящаяся в настоящее время в американском городе Беркли Шахназ Шахбазова ответила на вопросы Vzglyad.az :

- Что написано в представленном вам письме-завещании?

В письме говорится, что Лютфи Заде завещал, чтобы после наступления этого тяжелого дня (его кончины - ред.), тело его было похоронено в Азербайджане. Письмо подписал сын профессора Лютфи Заде - Норман Заде. В письме также отмечается, что профессор завещал мне все свои награды, ордена, медали и книги. Письмо-завещание уже у меня. Я доверенное лицо, на которое возложено исполнение воли профессора Лютфи Заде касательно его похорон в Азербайджане после кончины. В прошлом году он дал своему сыну Норману и мне такой наказ. В настоящее время все эти дела поручены мне.

В будущем мы хотим создать в Азербайджане дом-музей Лютфи Заде. Мы планируем выставить в этом музее личные вещи профессора.

Профессор Лютфи Заде обратился с письмом в Администрацию президента, с просьбой провести свои похороны в Азербайджане. Кроме того, Лютфи Заде еще год назад попросил президента Ильхама Алиева, чтобы после кончины его похоронили в Азербайджане.

- Каковы ваши отношения с сыном Лютфи Заде?

Мы с Норманом - как сестра с братом. Я каждый день прихожу в дом к профессору, навещаю его. Он иногда отказывается от дневных обедов. Но когда видит меня - ест. Часто я сама кормлю Лютфи Заде. Я уговариваю его словно ребенка, говорю: «Вы должны это поесть». Мы очень хотим, чтобы он жил. Его помощник каждый день приходит к нему. Он сообщает ему о самых важных поступивших электронных письмах.

Некоторые распространили ложную информацию о том, что профессор, якобы, умер. Но это полная ложь. Он просто изъявил желание быть похороненным в Азербайджане и направил в связи с этим письмо президенту Азербайджана.

- Всем интересно, что письмо-завещание передано вам. С чем связано то, что доверенным лицом выбрали вас?

В 2009 году я работала в лаборатории Лютфи Заде. Покойная супруга Лютфи Заде была мне очень близка. И Нормана я очень люблю. Эта любовь взаимная. Но с Лютфи Заде мы еще более близки. Он мне как отец, а я ему как дочь. Он даже отдал мне 4 года назад рисунки своих родителей. Я часто хожу к нему, интересуюсь его состоянием.

- К сожалению, было немало и тех, кто раскритиковал завещание Лютфи Заде. Хотелось бы узнать, что вы думаете по этому поводу.

Сейчас ему 97 лет. Он живет здесь (в США - ред.) с 23-летнего возраста. Как можно говорить ему, почему ты не жил в Азербайджане? Ему этого говорить нельзя. Он - человек-логика. В каждом шаге, в каждом поступке он ищет логику. У нас были с ним интересные беседы, связанные с нашей страной. Лютфи Заде очень сильно любит Азербайджан. Он гордится тем, что он азербайджанец. Во всех своих выступлениях он всегда упоминал, что родился в Баку. Лютфи Заде никогда не забывал свою Родину!

- Вы отметили в нашей беседе, что Лютфи Заде обратился к главе государства.

Да, он направил письмо главе государства. В письме он выразил желание быть похороненным в Азербайджане.
Со вчерашнего дня живущие в Америке азербайджанцы пишут мне письма, в которых говорят, что не верят в эти новости. Люди очень беспокоятся за здоровье Лютфи Заде.

- Каково сейчас состояние здоровья Лютфи Заде?

Когда разговаривает, он испытывает трудности. Состояние нормальное. В неделю четыре раза занимается спортом. В настоящее время я тоже принимаю там участие. Он мне говорит: «Шахназ, видишь, я могу поднять руку, занимаюсь спортом». Лютфи Заде не может принять свою болезнь. Он хочет жить. Я спрашиваю его, чего бы ему хотелось? Он отвечает: «Апельсин». Мы делаем все, что он пожелает. Я верю, что он еще долго проживет. Поверьте, что на его лице не видно и тени смерти.

- Сын Норман тоже рядом с отцом?

Иногда раз в три, а иногда раз в шесть месяцев он навещает отца. Он очень занят. Я виделась с ним две недели назад. Адвокат Нормана занимается оформлением необходимых документов. По этому поводу я говорила и с нашим консулом в Америке (США - ред.). Я сказала ему, что профессор пока жив.

Еще отмечу один момент. Лютфи Заде первый раз попросил меня приготовить ему русский суп, и я исполнила это его желание.

Понятие Энтропи́и впервые введено в 1865 Р. Клаузиусом в термодинамике для определения меры необратимого рассеяния энергии. Энтропия применяется в разных отраслях науки, в том числе и в теории информации как мера неопределенности какого-либо опыта, испытания, который может иметь разные исходы. Эти определения энтропии имеют глубокую внутреннюю связь. Так на основе представлений об информации можно вывести все важнейшие положения статистической физики. [БЭС. Физика. М: Большая российская энциклопедия, 1998].

Информационная двоичная энтропия для независимых (неравновероятных) случайных событий x с n возможными состояниями (от 1 до n , p - функция вероятности) рассчитывается по формуле Шеннона :

Эта величина также называется средней энтропией сообщения. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины .
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других.
В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки теории информации, которая использует понятие вероятности. Понятие энтропии, как меры случайности, введено Шенноном в его статье «A Mathematical Theory of Communication», опубликованной в двух частях в Bell System Technical Journal в 1948 году.

В случае равновероятных событий (частный случай), когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов и формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, как один из научных подходов к оценке сообщений:

, где I – количество передаваемой информации, p – вероятность события, N – возможное количество различных (равновероятных) сообщений.

Задание 1. На равновероятные события.
В колоде 36 карт. Какое количество информации содержится в сообщении, что из колоды взята карта с портретом “туз”; “туз пик”?

Вероятность p1 = 4/36 = 1/9, а p2 = 1/36. Используя формулу Хартли имеем:

Ответ: 3.17; 5.17 бит
Заметим (из второго результата), что для кодирования всех карт, необходимо 6 бит.
Из результатов также ясно, что чем меньше вероятность события, тем больше информации оно содержит. (Данное свойство называется монотонностью )

Задание 2. На неравновероятные события
В колоде 36 карт. Из них 12 карт с “портретами”. Поочередно из колоды достается и показывается одна из карт для определения изображен ли на ней портрет. Карта возвращается в колоду. Определить количество информации, передаваемой каждый раз, при показе одной карты.

1. Введение.

2. Что измерил Клод Шеннон?

3. Пределы эволюционной изменчивости информационных систем.

4. Ограниченность адаптации биологических видов.

5. Этапы развития теории энтропии.

6. Методы исчисления количества структурной информации и информационной энтропии текстов.

7. Информационно-энтропийные соотношения процессов адаптации и развития.

8. Информация и энергия.

9. Заключение.

10. Список литературы.

ВВЕДЕНИЕ

Во второй половине XX века произошли два события, которые, на наш взгляд, в значительной мере определяют дальнейшие пути научного постижения мира. Речь идет о создании теории ин­формации и о начале исследований механизмов антиэнтропийных процессов, для изучения которых синергетика привлекает все новейшие достижения неравновесной термодинамики, теории ин­формации и общей теории систем.

Принципиальное отличие данного этапа развития науки от предшествующих этапов заключается в том, что до создания перечисленных направлений исследований наука способна была объяснить лишь механизмы процессов, приводящих к увеличению хаоса и возрастанию энтропии. Что касается разрабатываемых со времен Ламарка и Дарвина биологических и эволюционных концепций, то они и по сей день не имеют строгих научных обоснований и противоречат Второму началу термодинамики, согласно которому сопровождающее все протекающие в мире процессы возрас­тание энтропии есть непременный физический закон.

Заслуга неравновесной термодинамики заключается в том, что она сумела выявить механизмы антиэнтропийных процессов, не противоречащих Второму началу термодинамики, поскольку локаль­ное уменьшение энтропии внутри самоорганизующейся системы всегда оплачивается большим по абсолютной величине возрас­танием энтропии внешней среды.

Важнейшим шагом на пути постижения природы и механизмов антиэнтропийных процессов следует введение количественной меры информации. Первоначально эта мера предназначалась лишь для решения сугубо прикладных задач техники связи. Однако последующие исследования в области физики и биологии позво­лили выявить универсальные меры, предложенные К.Шен­ноном, позволяющие установить взаимосвязь между количеством информации и физической энтропией и в конечном счете определить сущность новой научной интерпретации понятия «ин­формация» как меры структурной упорядоченности самых разнообразных по своей природе систем.

Используя метафору, можно сказать, что до введения в науку единой информационной количественной меры представленный в естественно-научных понятиях мир как бы «опирался на двух китов»: энергию и вещество. «Третьим китом» оказалась теперь информация, участвующая во всех протекающих в мире процессах, начиная от микрочастиц, атомов и молекул и кончая функциониро­ванием сложнейших биологических и социальных систем.

Естественно, возникает вопрос: подтверждают или опровергают эволюционную парадигму происхождения жизни и биологических видов новейшие данные современной науки?

Для ответа на этот вопрос необходимо прежде всего уяснить, какие именно свойства и стороны многогранного понятия «ин­формация» отражает та количественная мера, которую ввел в науку К.Шеннон.

Использование меры количества информации позволяет анализировать общие механизмы информационно-энтропийных взаимодействий, лежащих в основе всех самопроизвольно протекающих в окружающем мире процессов накопления информации, которые приводят к самоорганизации структуры систем.

Вместе с тем информационно-энтропийный анализ позволяет выявить и пробелы эволюционных концепций, представляющих собой не более чем несостоятельные попытки сведения к простым механизмам самоорганизации проблему происхождения жизни и биологических видов без учета того обстоятельства, что системы такого уровня сложности могут быть созданы лишь на основе той информации, которая изначально заложена в предшествующий их сотворению план.

Проводимые современной наукой ис­следования свойств информационных систем дают все основания утверждать, что все системы могут формироваться только сог­ласно спускаемым с верхних иерархических уровней правилами, причем сами эти правила существовали раньше самих систем в форме изначального плана (идеи творения).

ЧТО ИЗМЕРИЛ КЛОД ШЕННОН?

В основу теории информации положен предложенный К.Шенноном метод исчислений количества новой (непредска­зуемой) и избыточной (предсказуемой) информации, содержащейся в сообщениях, передаваемых по каналам техничес­кой связи.

Предложенный Шенноном метод измерения количества ин­формации оказался настолько универсальным, что его применение не ограничивается теперь узкими рамками чисто технических приложений.

Вопреки мнению самого К.Шеннона, предостерегавшего ученых против поспешного распространения предложенного им метода за пределы прикладных задач техники связи, этот метод стал находить все более широкое примение в исследованиях и фи­зических, и биологических, и социальных систем.

Ключом к новому пониманию сущности феномена информации и механизма информационных процессов послужила установленная Л.Бриллюэном взаимосвязь информации и физической энтропии. Эта взаимосвязь была первоначально заложена в самый фунда­мент теории информации, поскольку для исчисления количества информации Шеннон предложил использовать заимствованную из статистической термодинамики вероятную функцию энтропии.

Многие ученые (начиная с самого К.Шеннона) склонны были рассматривать такое заимствование как чисто формальный прием. Л.Бриллюэн показал, что между вычисленным согласно Шеннону количеством информации и физической энтропии существует не формальная, а содержательная связь.

В статистической физике с помощью вероятностной функции энтропии исследуются процессы, приводящие к термодинамическому равновесию, при котором все состояния молекул (их энергии, скорости) приближаются к равновероятным, а энтропия при этом стремится к макси­мальной величине.

Благодаря теории информации стало очевидно, что с помощью той же самой функции можно исследовать и такие далекие от сос­тояния максимальной энтропии системы, как, например, пись­менный текст.

Еще один важный вывод заключается в том, что

с помощью вероятностной функции энтропии можно анализировать все стадии перехода системы от состояния полного хаоса, которому соответствуют равные значения вероятностей и максимальное значение энтропии, к состоянию предельной упорядоченности (жесткой детерминации), которому соответствует единственно возможное состояние ее элементов.

Данный вывод оказывается в равной мере справедливым для таких несходных по своей природе систем, как газы, кристаллы, письменные тексты, биологические организмы или сообщества и др.

При этом, если для газа или кристалла при вычислении энтропии сравнивается только микросостояние (т.е. состояние атомов и мо­лекул) и макросостояние этих систем (т.е. газа или кристалла как целого), то для систем иной природы (биологических, интеллекту­альных, социальных) вычисление энтропии может производится на том или ином произвольно выбранном уровне. При этом вычис­ляемое значение энтропии рассматриваемой системы и количество информации, характеризующей степень упорядоченности данной системы и равное разности между максимальным и реальным зна­чением энтропии, будет зависеть от распределения вероятности состояний элементов нижележащего уровня, т.е. тех элементов, ко­торые в своей совокупности образуют эти системы.

Другими словами,

количество сохраняемой в структуре системы ин­формации пропорционально степени отклонения системы от состояния равновесия, обусловленного сохраняемым в структуре системы порядком.

Сам того не подозревая, Шеннон вооружил науку универсальной мерой, пригодной в принципе (при условии выявления значенй всех вероятностей) для оценки степени упорядоченности всех существующих в мире систем.

Опредеделив введенную Шеноном информационную меру как меру упорядоченности движения , можно установить взаимосвязь информации и энергии, считая энергию мерой интенсивности движения . При этом ко­личество сохраняемой в структуре систем информации пропорционально суммарной энергии внутренних связей этих систем.

Одновременно с выявлением общих свойств информации как феномена обнаруживаются и принципиальные различия отно­сящихся к различным уровням сложности информационных систем.

Так, например, все физические объекты, в отличие от биологических, не обладают специальными органами памяти, пере­кодировки поступающих из внешнего мира сигналов, информаци­онными каналами связи. Хранимая в них информация как бы «размазана» по всей их структуре. Вместе с тем, если бы кристаллы не способны были сохранять информацию в определяющих их упо­рядоченность внутренних связях, не было бы возможности создавать искусственную память и предназначенные для обработки информации технические устройства на основе кристаллических структур.

Вместе с тем необходимо учитывать, что создание подобных устройств стало возможным лишь благодаря разуму человека, су­мевшего использовать элементарные информационные свойства кристаллов для построения сложных информационных систем.

Простейшая биологическая система превосходит по своей сложности самую совершенную из созданных человеком ин­формационных систем. Уже на уровне простейших одноклеточных организмов задействован необходимый для их размножения сложнейший информационный генетический механизм. В многокле­точных организмах помимо информационной системы наследствен­ности действуют специализированные органы хранения ин­формации и ее обработки (например, системы, осуществляющие перекодирование поступающих из внешнего мира зрительных и слу­ховых сигналов перед отправкой их в головной мозг, системы обработки этих сигналов в головном мозге). Сложнейшая сеть информационных коммуникаций (нервная система) пронизывает и превращает в целое весь многоклеточный организм.

Информацио́нная энтропи́я - мера неопределённости или непредсказуемости некоторой системы (в статистической физике или теории информации), в частности неопределённость появления какого-либо символа первичного алфавита . В последнем случае при отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения.

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n {\displaystyle n} -го порядка, см. ) встречаются очень редко, то неопределённость уменьшается еще сильнее.

Понятие информационной энтропии можно проиллюстрировать при помощи демона Максвелла . Концепции информации и энтропии имеют глубокие связи друг с другом [какие? ] , но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу [ ] .

Энтропия - это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Энциклопедичный YouTube

1 / 5

✪ Представление об энтропии

✪ Что такое Энтропия?

✪ Информационная энтропия

✪ Энтропия и второй закон термодинамики (видео 3) | Энергия| Биология

✪ Что такое энтропия? Джефф Филлипс #TED-Ed

Субтитры

Итак, мы дали два определения энтропии как переменной состояния. Энтропия обозначается буквой S. Согласно термодинамическому определению, изменения в энтропии равны добавляемому теплу, делённому на температуру, при которой это тепло добавляется. При этом, если температура будет меняться по мере добавления тепла (что обычно и происходит), то нам придётся провести некоторые вычисления. И это вы можете рассматривать как математическое, или статистическое, или комбинаторное определение энтропии. Согласно этому определению, энтропия равняется умноженному на постоянное число натуральному логарифму количества состояний, которые может принимать система. И в подобном случае все состояния имеют одинаковую вероятность. Если мы говорим о невообразимо огромном количестве молекул, которые могут иметь ещё более огромное количество состояний, мы можем предположить, что все они будут отличаться примерно равной вероятностью. Есть и немного более сложное определение – для случаев с вероятностью различного порядка, однако сейчас мы его касаться не будем. Теперь, когда мы рассмотрели эти два определения, самое время рассказать вам о втором законе термодинамики. Вот он. Это довольно простой закон, который в то же время объясняет весьма широкий спектр различных явлений. Согласно этому закону, изменения в энтропии во Вселенной при осуществлении любого процесса всегда будут больше 0 или равны ему. То есть когда во Вселенной что-нибудь происходит, результатом этого становится увеличение энтропии. Это очень важный вывод. Давайте посмотрим, сможем ли мы приложить этот закон к конкретным ситуациям и таким образом понять его смысл. Допустим, у меня есть два связанных друг с другом резервуара. Вот у меня T1. Пусть это будет наш горячий резервуар. А вот у нас T2. Это будет холодный резервуар. Что ж, по опыту мы знаем… Что происходит, если сосуд с горячей водой имеет общую стенку с сосудом с холодной водой? Что происходит в подобном случае? Да, температура воды в них выравнивается. Если мы говорим об одном и том же веществе, то процесс остановится примерно посередине, если они находятся в одной фазе. Таким образом, мы имеем дело с передачей тепла от более горячего вещества к более холодному. У нас есть некое тепло, Q, которое передаётся от более горячего вещества к холодному. Конечно, в повседневной реальности вы не увидите, чтобы тепло передавалось от более холодного вещества к более горячему. Если вы положите кубик льда, скажем, в горячий чай, то, конечно, лёд не станет холоднее, а чай – горячее. Температура обоих веществ станет примерно равной, то есть по сути дела – чай отдаст часть тепла льду. Так же мы говорим о двух резервуарах, и я предполагаю, что их температура остаётся постоянной. Это может произойти только в том случае, если оба они являются бесконечно большими, чего, конечно, в реальном мире не существует. В реальном мире T1 будет снижаться, а T2 – повышаться. Но давайте посмотрим, должно ли это происходить, согласно второму закону термодинамики. Итак, что же происходит здесь? Каково чистое изменение энтропии для T1? Согласно второму закону термодинамики, изменение энтропии для Вселенной больше 0. Но в данном случае оно равно изменению энтропии для T1, плюс изменение энтропии для… хотя не совсем так… вместо T1 давайте назовём это просто 1… для системы 1, то есть, вот для этой горячей системы плюс изменение энтропии для системы 2. Итак, каково же изменение энтропии для системы 1? Она теряет Q1 при высокой температуре. Получается минус Q (потому что система отдаёт тепло), делённое на T1. Затем мы должны учесть тепло, добавленное системе T2. Итак, прибавим Q, делённое на Т2. У нас получится изменение энтропии для системы 2, верно? Этот резервуар, который имеет температуру 1, более высокую, теряет тепло. А резервуар, у которого более низкая температура 2, тепло получает. Не будет ли это выше 0? Давайте немного подумаем. Если мы разделим… позвольте, я перепишу это… Я запишу по-другому: Q, делённое на Т2, минус вот это. Я просто переставляю показатели... Минус Q, делённое на T1. И какой же показатель теперь больше? T2 или T1? Что ж, T1 больше, верно? Теперь, когда у нас есть более высокий показатель… Если мы используем слово «выше», мы имеем в виду определённое сравнение. Итак, T1 выше вот этого. При этом в числителе в обоих случаях мы имеем одно и то же число, так? То есть если я возьму, скажем, 1/2 минус 1/3, то получу показатель больше 0. Этот показатель больше вот этого, потому что этот имеет больший знаменатель. Вы делите на большее число. Над этим стоит поразмыслить. Вы делите Q на вот это число, а затем вычитаете Q, делённое на большее число. Таким образом, вот эта дробь будет иметь более низкое абсолютное значение. И она будет больше 0. Соответственно, второй закон термодинамики подтверждается нашим наблюдением, согласно которому тепло переходит от горячего тела к холодному. Теперь вы можете сказать – эй, Сэл, я могу доказать, что ты неправ. Вы можете сказать, если я поставлю кондиционер в комнату… Вот комната, а вот, что снаружи. И вы скажете – посмотрите, что делает кондиционер! В комнате уже холодно, а на улице уже жарко. Но что делает кондиционер? Он делает холодное ещё более холодным, а горячее – ещё более горячим. Он забирает некое Q и движется вот в этом направлении. Верно? Он забирает тепло из холодной комнаты и выпускает его в горячий воздух. И вы говорите – это нарушает второй закон термодинамики. Вы только что опровергли его. Вы заслуживаете Нобелевской премии! Но я скажу вам – вы забываете один маленький факт. Внутри этого кондиционера есть компрессор и двигатель, которые активно работают и создают такой результат. И вот этот двигатель, я выделю его розовым, тоже выпускает тепло. Давайте назовем его Q двигателя. Таким образом, если вы хотите рассчитать общую энтропию, создаваемую для всей Вселенной, это будет энтропия холодной комнаты, плюс изменение энтропии для улицы. Энтропия холодной комнаты плюс изменение энтропии для улицы. Пометим здесь комнату... Вы можете сказать – ладно. Данное изменение энтропии для комнаты, которая отдаёт тепло… допустим, что в комнате на протяжении хотя бы одной миллисекунды сохраняется постоянная температура. Комната отдаёт некоторое Q при определённой температуре T1. И затем… тут надо поставить минус… затем улица получает некоторое тепло при определённой температуре T2. И вы скажете: этот показатель меньше вот этого. Потому что знаменатель выше. Тогда это будет отрицательная энтропия, и вы можете сказать, что это нарушает второй закон термодинамики. Нет! Здесь мы должны учесть ещё один момент: что улица также получает тепло от двигателя. Тепло от двигателя, делённое на уличную температуру. И я гарантирую, что эта переменная, прямо сейчас цифр приводить не буду, сделает всё это выражение положительным. Этот переменная превратит общую чистую энтропию для Вселенной в положительную. А теперь давайте немного подумаем о том, что такое энтропия с точки зрения терминологии. На уроках химии учитель нередко может сказать, что энтропия равна беспорядку. Это не ошибка. Энтропия равна беспорядку. Это не ошибка, ведь энтропия – это действительно беспорядок, но вы должны быть очень осторожны с определением беспорядка. Потому что один из самых частых примеров гласит: возьмём чистую комнату – допустим, ваша спальня чистая, но затем она становится грязной. И они говорят – взгляните, Вселенная стала более беспорядочной. В грязной комнате больше беспорядка, чем в чистой. Но это не увеличение энтропии. Так что это не очень хороший пример. Почему? Да потому, что чистая и грязная – это лишь состояния комнаты. А мы помним, что энтропия – это макропеременная состояния. Вы используете её для описания системы, когда у вас нет настроения сидеть здесь и рассказывать мне, что конкретно делает каждая частица. И это макропеременная, которая показывает, сколько времени потребуется, чтобы рассказать мне о том, что делает каждая частица. Эта переменная указывает на то, сколько состояний существует в данном случае или сколько информации о состояниях я бы хотел от вас получить. В случае с чистой и грязной комнатой у нас есть лишь два различных состояния одной и той же комнаты. Если в комнате держится одинаковая температура и есть одинаковое количество молекул и так далее, то она будет иметь одинаковую энтропию. Итак, когда комната становится более грязной, энтропия не увеличивается. Например, у меня есть грязная холодная комната. Допустим, я вошёл в эту комнату и приложил немало усилий, чтобы убраться в ней. Так я добавляю в систему порцию тепла, и молекулы моего пота разлетаются по всей комнате - соответственно, в ней появляется больше содержимого, и она становится более тёплой, превращаясь в жаркую, чистую комнату с капельками пота. Это содержимое можно скомпоновать большим количеством способов, и поскольку в комнате жарко, то каждая молекула в ней может принять больше состояний, так? Поскольку средняя кинетическая энергия высока, то можно попытаться выяснить, каким количеством кинетических энергий может обладать каждая молекула, а в потенциале это количество может быть достаточно большим. По сути дела это и есть увеличение энтропии. От грязной, холодной комнаты - к жаркой и чистой. И это довольно хорошо согласовывается с тем, что нам известно. То есть когда я вхожу в комнату и начинаю убираться в ней, я приношу в неё тепло. И Вселенная становится более… Полагаю, мы можем сказать, что энтропия увеличивается. Так где же здесь беспорядок? Допустим, у меня есть мяч, и он падает на землю и ударяется об неё. И здесь мы должны задать вопрос, который постоянно задаётся со времён открытия первого закона термодинамики. Как только мяч ударился о землю… Мяч ударяется о землю, верно? Я его бросил: в его верхней части есть определённая потенциальная энергия, которая затем превращается в кинетическую энергию, и мяч ударяется о землю, и затем останавливается. Вот тут-то и возникает вполне закономерный вопрос – а что же произошло со всей этой энергией? Закон сохранения энергии. Куда она вся подевалась? Прямо перед тем, как удариться о землю, мяч обладал кинетической энергией, а затем остановился. Кажется, что энергия исчезла. Но это не так. Когда мяч падает, у него очень много… как известно, у всего есть своё тепло. А что же насчет земли? Её молекулы вибрировали с определённой кинетической энергией и потенциальной энергией. А затем и молекулы нашего мяча стали немного вибрировать. Но их движение было, в основном, направлено вниз, так? Движение большинства молекул мяча было направлено вниз. Когда же он ударяется о землю, то… позвольте, я нарисую поверхность мяча, соприкасающуюся с землёй. Молекулы мяча в его передней части будут выглядеть вот таким образом. И их довольно много. Это твёрдое тело. Вероятно – с решётчатой структурой. И затем мяч ударяется о землю. Когда это происходит… земля – это ещё одно твёрдое тело… Отлично, вот у нас микросостояние. Что же произойдёт? Вот эти молекулы вступят во взаимодействие с этими и передадут свою кинетическую энергию, направленную вниз… Они передадут её вот этим частицам земли. И столкнутся с ними. А когда, скажем, вот эта частица столкнётся вот с этой, то она может двинуться в этом направлении. А эта частица начнёт колебаться вот так, туда и обратно. Вот эта частица может оттолкнуться от этой и двинуться в этом направлении, а затем столкнуться вот с этой и двинуться вот сюда. А затем, поскольку вот эта частица врезается сюда, вот эта – врезается вот сюда, и поскольку вот эта ударила вот здесь, вот эта – ударяет тут. С точки зрения мяча, происходит относительно направленное движение, но при соприкосновении с молекулами земли он начинает вырабатывать кинетическую энергию и создавать движение в самых различных направлениях. Вот эта молекула сдвинет эту вот сюда, а вот эта – двинется сюда. Теперь уже движение не будет направленным, если у нас будет так много молекул… я обозначу их другим цветом… так вот, если у нас будет много молекул и все они будут двигаться точно в одном и том же направлении, то микросостояние будет выглядеть как макросостояние. Всё тело окажется вот в этом направлении. Если же у нас есть очень много v и все они движутся в разных направлениях, то мой мяч в целом будет оставаться на месте. У нас может быть такое же количество кинетической энергии на молекулярном уровне, но они все будут сталкиваться друг с другом. И в данном случае мы можем описать кинетическую энергию как внутреннюю энергию или как температуру, которая представляет собой среднюю кинетическую энергию. Таким образом, когда мы говорим, что мир становится более беспорядочным, мы думаем, о порядке скоростей или энергий молекул. Перед тем, как они будут упорядочены, молекулы могут немного вибрировать, но, в основном, они будут падать вниз. Но когда они столкнутся с землёй, они все тут же начнут вибрировать в разных направлениях немного больше. И земля тоже начинает вибрировать в разных направлениях. Итак – на уровне микросостояния – всё становится намного более беспорядочным. Есть ещё один довольно любопытный вопрос. Существует ещё одна вероятность… Вы можете подумать: «Смотрите, этот мяч упал и ударился о землю. Почему он просто не… не может ли случиться так, что молекулы земли сами поменяют свой порядок так, чтобы должным образом ударить молекулы мяча? Существует определённая вероятность того, что, благодаря беспорядочному движению, в какой-то момент времени все молекулы земли просто ударят молекулы мяча таким образом, чтобы он опять подпрыгнул вверх». Да, это так. Всегда есть бесконечно малый шанс того, что это случится. Существует вероятность того, что мяч будет просто лежать на земле… и это весьма любопытно… Вам, вероятно, придётся ждать сто миллионов лет, чтобы это произошло, если это вообще когда-нибудь произойдёт… и мяч может просто подпрыгнуть вверх. Существует очень небольшая возможность того, что эти молекулы будут беспорядочно вибрировать таким образом, чтобы упорядочиться на секунду, а затем мяч подпрыгнет. Но вероятность этого практически равняется 0. Итак, когда люди говорят о порядке и беспорядке, беспорядок усиливается, так как теперь эти молекулы будут двигаться в разных направлениях и принимать большее количество потенциальных состояний. И мы это увидели. Как известно, на определённом уровне энтропия выглядит как нечто магическое, но на других уровнях она представляется вполне логичной. В одном ролике… думаю, это был последний ролик… у меня было большое количество молекул, а затем появилось это дополнительное пространство вот здесь, после чего я убрал стенку. И мы увидели, что эти молекулы… понятно, что были какие-то молекулы, которые отталкивались от этой стенки раньше, потому что с этим было связано определённое давление. Затем, как только мы уберём эту стенку, молекулы, которые ударились бы об неё, продолжат двигаться. Остановить их нечему. Движение будет осуществляться в этом направлении. Они могут сталкиваться с другими молекулами и с этими стенками. Но что касается этого направления, то вероятность столкновения, особенно для вот этих молекул, в принципе равняется 0. Поэтому будет происходить расширение и заполнение ёмкости. Так что всё вполне логично. Но что самое главное, второй закон термодинамики, как мы увидели в этом ролике, говорит о том же самом. То есть о том, что молекулы будут двигаться и заполнять ёмкость. И очень мала вероятность того, что они все вернутся в упорядоченное состояние. Конечно, есть определённая возможность того, что беспорядочно двигаясь, они вернутся в это положение. Но эта вероятность очень и очень мала. Более того, и я хочу обратить на это особое внимание, S – это макросостояние. Мы никогда не говорим об энтропии применительно к отдельной молекуле. Если мы знаем, что делает отдельная молекула, мы не должны беспокоиться об энтропии. Мы должны думать о системе в целом. Так что если мы будем рассматривать всю систему и не будем обращать внимания на молекулы, мы не узнаем, что на самом деле произошло. При этом мы можем обратить внимание лишь на статистические свойства молекул. Сколько молекул у нас имеется, какова их температура, их макродинамика, давление… и знаете что? Ёмкость, в которую помещены эти молекулы, имеет больше состояний, чем более мелкая ёмкость со стенкой. Даже если вдруг все молекулы по случайности соберутся вот здесь, мы и не узнаем, что это произошло, потому что мы не смотрим на микросостояния. И это очень важно иметь в виду. Когда кто-то говорит, что грязная комната отличается более высокой энтропией, чем чистая, то мы должны понимать, что они рассматривают микросостояния. А энтропия – это, прежде всего, понятие, связанное с макросостоянием. Вы можете просто сказать, что комната отличается определённым объёмом энтропии. То есть понятие энтропии связано с комнатой в целом, но оно будет полезно только тогда, когда вы точно не знаете, что в ней происходит. У вас есть лишь самое общее представление о том, чем заполнена комната, какая в ней температура, какое давление. Все это общие макросвойства. Энтропия же расскажет нам, сколько макросостояний может иметь эта макросистема. Или сколько информации, ведь существует же понятие информационной энтропии, сколько информации я должен вам предоставить, чтобы вы составили точное представление о микросостоянии системы в соответствующий момент времени. Примерно так. Надеюсь, это обсуждение оказалось хоть немного полезным для вас и прояснило некоторые заблуждения относительно энтропии, а также помогло вам составить представление о том, что это такое на самом деле. До следующего ролика!

Формальные определения

Информационная двоичная энтропия для независимых случайных событий x {\displaystyle x} с n {\displaystyle n} возможными состояниями, распределённых с вероятностями ( i = 1 , . . . , n {\displaystyle i=1,...,n} ), рассчитывается по формуле

H (x) = − ∑ i = 1 n p i log 2 ⁡ p i . {\displaystyle H(x)=-\sum _{i=1}^{n}p_{i}\log _{2}p_{i}.}

Эта величина также называется средней энтропией сообщения . Величина H i = − log 2 ⁡ p i {\displaystyle H_{i}=-\log _{2}{p_{i}}} называется частной энтропией , характеризующей только i {\displaystyle i} -e состояние. В общем случае основание логарифма в определении энтропии может быть любым, большим 1; его выбор определяет единицу измерения энтропии. Так, зачастую (например, в задачах математической статистики) более удобным может оказаться применение натурального логарифма.

Таким образом, энтропия системы x {\displaystyle x} является суммой с противоположным знаком всех относительных частот появления состояния (события) с номером i {\displaystyle i} , умноженных на их же двоичные логарифмы . Это определение для дискретных случайных событий можно формально расширить для непрерывных распределений, заданных плотностью распределения вероятностей , однако полученный функционал будет обладать несколько иными свойствами (см. дифференциальная энтропия).

Определение по Шеннону

Определение энтропии Шеннона связано с понятием термодинамической энтропии . Больцман и Гиббс проделали большую работу по статистической термодинамике, которая способствовала принятию слова «энтропия» в информационную теорию. Существует связь между термодинамической и информационной энтропией. Например, демон Максвелла также противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии.

Определение с помощью собственной информации

Также можно определить энтропию случайной величины, введя предварительно понятия распределения случайной величины X {\displaystyle X} , имеющей конечное число значений:

P X (x i) = p i , p i ⩾ 0 , i = 1 , 2 , … , n {\displaystyle P_{X}(x_{i})=p_{i},\quad p_{i}\geqslant 0,\;i=1,\;2,\;\ldots ,\;n} ∑ i = 1 n p i = 1 {\displaystyle \sum _{i=1}^{n}p_{i}=1} I (X) = − log ⁡ P X (X) . {\displaystyle I(X)=-\log P_{X}(X).}

Тогда энтропия определяется как:

H (X) = E (I (X)) = − ∑ i = 1 n p (i) log ⁡ p (i) . {\displaystyle H(X)=E(I(X))=-\sum _{i=1}^{n}p(i)\log p(i).}

От основания логарифма зависит единица измерения количества информации и энтропии: бит , нат , трит или хартли .

Свойства

Энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Например, кидание монеты имеет энтропию:

− 2 (1 2 log 2 ⁡ 1 2) = − log 2 ⁡ 1 2 = log 2 ⁡ 2 = 1 {\displaystyle -2\left({\frac {1}{2}}\log _{2}{\frac {1}{2}}\right)=-\log _{2}{\frac {1}{2}}=\log _{2}2=1} бит на одно кидание (при условии его независимости), а количество возможных состояний равно: 2 1 = 2 {\displaystyle 2^{1}=2} возможных состояния (значения) ("орёл" и "решка ").

У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю: − ∑ i = 1 ∞ log 2 ⁡ 1 = 0 {\displaystyle -\sum _{i=1}^{\infty }\log _{2}1=0} , а количество возможных состояний равно: 2 0 = 1 {\displaystyle 2^{0}=1} возможное состояние (значение) («А») и от основания логарифма не зависит.
Это тоже информация, которую тоже надо учитывать. Примером запоминающих устройств в которых используются разряды с энтропией равной нулю, но с количеством информации равным 1 возможному состоянию , т.е. не равным нулю, являются разряды данных записанных в ПЗУ , в которых каждый разряд имеет только одно возможное состояние .

Так, например, опытным путём можно установить, что энтропия английского текста равна 1,5 бит на символ, что конечно будет варьироваться для разных текстов. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании.

1. Некоторые биты данных могут не нести информации. Например, структуры данных часто хранят избыточную информацию, или имеют идентичные секции независимо от информации в структуре данных.
2. Количество энтропии не всегда выражается целым числом битов.

Математические свойства

1. Неотрицательность : H (X) ⩾ 0 {\displaystyle H(X)\geqslant 0} .
2. Ограниченность : H (X) = − E (log 2 ⁡ p i) = ∑ i = 1 n p i log 2 ⁡ 1 p i = ∑ i = 1 n p i f (g i) ⩽ f (∑ i = 1 n p i g i) = log 2 ⁡ n {\displaystyle H(X)=-E(\log _{2}p_{i})=\sum _{i=1}^{n}p_{i}\log _{2}{\frac {1}{p_{i}}}=\sum _{i=1}^{n}p_{i}f(g_{i})\leqslant f\left(\sum _{i=1}^{n}p_{i}g_{i}\right)=\log _{2}n} , что вытекает из неравенства Йенсена для вогнутой функции f (g i) = log 2 ⁡ g i {\displaystyle f(g_{i})=\log _{2}g_{i}} и g i = 1 p i {\displaystyle g_{i}={\frac {1}{p_{i}}}} . Если все n {\displaystyle n} элементов из X {\displaystyle X} равновероятны, H (X) = log 2 ⁡ n {\displaystyle H(X)=\log _{2}n} .
3. Если независимы, то H (X ⋅ Y) = H (X) + H (Y) {\displaystyle H(X\cdot Y)=H(X)+H(Y)} .
4. Энтропия - выпуклая вверх функция распределения вероятностей элементов.
5. Если X , Y {\displaystyle X,\;Y} имеют одинаковое распределение вероятностей элементов, то H (X) = H (Y) {\displaystyle H(X)=H(Y)} .

Эффективность

Алфавит может иметь вероятностное распределение далекое от равномерного . Если исходный алфавит содержит n {\displaystyle n} символов, тогда его можно сравнить с «оптимизированным алфавитом», вероятностное распределение которого равномерное. Соотношение энтропии исходного и оптимизированного алфавита - это эффективность исходного алфавита, которая может быть выражена в процентах. Эффективность исходного алфавита с n {\displaystyle n} символами может быть также определена как его n {\displaystyle n} -арная энтропия.

Энтропия ограничивает максимально возможное сжатие без потерь (или почти без потерь), которое может быть реализовано при использовании теоретически - типичного набора или, на практике, - кодирования Хаффмана , кодирования Лемпеля - Зива - Велча или арифметического кодирования .

Вариации и обобщения

b -арная энтропия

В общем случае b -арная энтропия (где b равно 2, 3, …) источника S = (S , P) {\displaystyle {\mathcal {S}}=(S,\;P)} с исходным алфавитом S = { a 1 , … , a n } {\displaystyle S=\{a_{1},\;\ldots ,\;a_{n}\}} и дискретным распределением вероятности P = { p 1 , … , p n } , {\displaystyle P=\{p_{1},\;\ldots ,\;p_{n}\},} где p i {\displaystyle p_{i}} является вероятностью ( p i = p (a i) {\displaystyle p_{i}=p(a_{i})} ), определяется формулой:

H b (S) = − ∑ i = 1 n p i log b ⁡ p i . {\displaystyle H_{b}({\mathcal {S}})=-\sum _{i=1}^{n}p_{i}\log _{b}p_{i}.}

В частности, при b = 2 {\displaystyle b=2} , мы получаем обычную двоичную энтропию, измеряемую в битах . При b = 3 {\displaystyle b=3} , мы получаем тринарную энтропию, измеряемую в тритах (один трит имеет источник информации с тремя равновероятными состояниями). При b = e {\displaystyle b=e} , мы получаем информацию измеряемую в натах .

Условная энтропия

Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а, следовательно, и энтропия), очевидно, меньше. Для учёта таких фактов используется условная энтропия.

Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известны вероятности появления одной буквы после другой (то есть, вероятности двухбуквенных сочетаний):

H 1 (S) = − ∑ i p i ∑ j p i (j) log 2 ⁡ p i (j) , {\displaystyle H_{1}({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}p_{i}(j)\log _{2}p_{i}(j),}

где i {\displaystyle i} - это состояние, зависящее от предшествующего символа, и p i (j) {\displaystyle p_{i}(j)} - это вероятность j {\displaystyle j} при условии, что i {\displaystyle i} был предыдущим символом.

Например, для русского языка без буквы «ё» H 0 = 5 , H 1 = 4,358 , H 2 = 3 , 52 , H 3 = 3 , 01 {\displaystyle H_{0}=5,\;H_{1}=4{,}358,\;H_{2}=3{,}52,\;H_{3}=3{,}01} .

Через частную и общую условные энтропии полностью описываются информационные потери при передаче данных в канале с помехами. Для этого применяются так называемые канальные матрицы . Для описания потерь со стороны источника (то есть известен посланный сигнал) рассматривают условную вероятность получения приёмником символа при условии, что был отправлен символ a i {\displaystyle a_{i}} . При этом канальная матрица имеет следующий вид:

	b 1 {\displaystyle b_{1}}	b 2 {\displaystyle b_{2}}	…	b j {\displaystyle b_{j}}	…	b m {\displaystyle b_{m}}
a 1 {\displaystyle a_{1}}	p (b 1 ∣ a 1) {\displaystyle p(b_{1}\mid a_{1})}	p (b 2 ∣ a 1) {\displaystyle p(b_{2}\mid a_{1})}	…	p (b j ∣ a 1) {\displaystyle p(b_{j}\mid a_{1})}	…	p (b m ∣ a 1) {\displaystyle p(b_{m}\mid a_{1})}
a 2 {\displaystyle a_{2}}	p (b 1 ∣ a 2) {\displaystyle p(b_{1}\mid a_{2})}	p (b 2 ∣ a 2) {\displaystyle p(b_{2}\mid a_{2})}	…	p (b j ∣ a 2) {\displaystyle p(b_{j}\mid a_{2})}	…	p (b m ∣ a 2) {\displaystyle p(b_{m}\mid a_{2})}
…	…	…	…	…	…	…
a i {\displaystyle a_{i}}	p (b 1 ∣ a i) {\displaystyle p(b_{1}\mid a_{i})}	p (b 2 ∣ a i) {\displaystyle p(b_{2}\mid a_{i})}	…	p (b j ∣ a i) {\displaystyle p(b_{j}\mid a_{i})}	…	p (b m ∣ a i) {\displaystyle p(b_{m}\mid a_{i})}
…	…	…	…	…	…	…
a m {\displaystyle a_{m}}	p (b 1 ∣ a m) {\displaystyle p(b_{1}\mid a_{m})}	p (b 2 ∣ a m) {\displaystyle p(b_{2}\mid a_{m})}	…	p (b j ∣ a m) {\displaystyle p(b_{j}\mid a_{m})}	…	p (b m ∣ a m) {\displaystyle p(b_{m}\mid a_{m})}

Очевидно, вероятности, расположенные по диагонали, описывают вероятность правильного приёма, а сумма всех элементов любой строки даёт 1. Потери, приходящиеся на передаваемый сигнал a i {\displaystyle a_{i}} , описываются через частную условную энтропию:

H (B ∣ a i) = − ∑ j = 1 m p (b j ∣ a i) log 2 ⁡ p (b j ∣ a i) . {\displaystyle H(B\mid a_{i})=-\sum _{j=1}^{m}p(b_{j}\mid a_{i})\log _{2}p(b_{j}\mid a_{i}).}

Для вычисления потерь при передаче всех сигналов используется общая условная энтропия:

H (B ∣ A) = ∑ i p (a i) H (B ∣ a i) . {\displaystyle H(B\mid A)=\sum _{i}p(a_{i})H(B\mid a_{i}).}

H (B ∣ A) {\displaystyle H(B\mid A)} означает энтропию со стороны источника, аналогично рассматривается H (A ∣ B) {\displaystyle H(A\mid B)} - энтропия со стороны приёмника: вместо p (b j ∣ a i) {\displaystyle p(b_{j}\mid a_{i})} всюду указывается p (a i ∣ b j) {\displaystyle p(a_{i}\mid b_{j})} (суммируя элементы строки можно получить p (a i) {\displaystyle p(a_{i})} , а элементы диагонали означают вероятность того, что был отправлен именно тот символ, который получен, то есть вероятность правильной передачи).

Взаимная энтропия

Взаимная энтропия или энтропия объединения предназначена для расчёта энтропии взаимосвязанных систем (энтропии совместного появления статистически зависимых сообщений) и обозначается H (A B) {\displaystyle H(AB)} , где A {\displaystyle A} характеризует передатчик, а B {\displaystyle B} - приёмник.