Обсуждение:Информационная энтропия

Ударение на И́

Поставил ударение. Лично у меня просто вызвало вопрос как произносить. www.gramota.ru помогла ... Александр Шугард 19:20, 21 апреля 2007 (UTC)

Использование слова "неопределённость"

Немного смутило слово "неопределённость. Не сразу понял, что имеется ввиду слово "вероятность". Я сам не силён в данной области, поэтому только предлагаю для более удобного чтения текста заменить неопределённость на вероятность. Александр Шугард 19:26, 21 апреля 2007 (UTC)

Это не вполне вероятность. Например, при равной вероятности двух исходов неопределённость максимальна, а при нулевой или единичной вероятности одного из исходов, неопределённость минимальна. Mashiah 20:06, 21 апреля 2007 (UTC)

Спасибо. Буду более глубоко изучать этот вопрос. Александр Шугард 16:41, 23 апреля 2007 (UTC)

В справочнике по математики в формулах информационной энтропии стоит не "-", а "+" Баландина Анастасия — Эта реплика добавлена с IP 78.139.221.35 (о) 09:01, 25 мая 2008 (UTC)

Всё правильно знак минус должен быть читай лучше и несколько источников бери...

Правильно писать неопределённость и синонимы сдесь ни к месту...

188.122.249.144 06:34, 26 января 2010 (UTC)Дмитрий
 

Mashiah Davidson Вопрос1 - ИЭ характеризует информацию или ее источник?! Вопрос2 - Единица измерения ИЭ? 128.68.61.67 20:57, 5 мая 2015 (UTC)Роман

Количество бит на символ естественного текста

Перенесено со страницы Обсуждение участника:Incnis Mrsi.

Если б английский текст был бы случайным (т.е. все буквы большие и маленькие(26*2), символы препенания и пробел(около 10) равновероятны), то его энтропия $H=\log _{2}62=5.96$ бит.

1,5 бита на символ - это максимально достижимая затрата на передачу всего текста поделенные на кол-во символов(букв,знаков), т.е. архиваторы могут тратит примерно такое кол-во бит на один символ. В статье же говориться о энтропии ансамбля. В этом случае, ансамбль представлен буквами и символами из онглийского алфавита. 4 бита - это кол-во информации, которое несет в среднем ОДНА буква или символ. Если брать энтропию от символов в отдельности, а не рассматривать их взаимопривязанность, то 1.5 бита никак получиться не могут. --SanchesSPb 08:40, 8 ноября 2008 (UTC)

В тексте было чётко сказано: «энтропия английского текста равна 1,5 бит на символ». А не отдельной усреднённой английской буквы! tihssiontatxet — не текст на английском языке! Incnis Mrsi 09:15, 8 ноября 2008 (UTC)

А зачем писать про энтропию на букву, если она вообще не была определена (см. en:Entropy rate )?? В данноу статье говориться про энтропию некого источника независимых событий, которые образают полную группу событий. Так и в примере про английский текст также необходимо говорить о событиях, заключающихс в появлении той или иной буквы(знака и т.п.) в тексте. Тогда за вероятность появления буквы $x_{i}$ можно принять отношения появлений этой буква в тексте к общему кол-ву букв в тексте. Тогда подсчитанная энтропия для таких событий будет примерно 4,5 .

--SanchesSPb 10:16, 8 ноября 2008 (UTC)

И почему были убраны математические свойства? Их справедливость можно легко проверить и никаких источников, вдруг, здесь не надо. — Эта реплика добавлена участником SanchesSPb (о • в) 08:47, 8 ноября 2008 (UTC)

После первой же нехорошей правки я снёс весь вклад автора, не разбираясь. Попробую перечитать. Incnis Mrsi 09:15, 8 ноября 2008 (UTC)

---

Небольшой комментарий. Можно говорить об энтропии следующего действия: берём английский текст, и из него случайно выбираем буквы. Что более-менее то же самое -- берём набор английской книги, разбираем его, ссыпаем буквы в мешок, и по одной достаём. Тогда -- будет где-то в районе четырёх.

Можно сделать по-другому. Можно, в каком-то смысле, думать об английском тексте как о цепи Маркова. Например: взять все возможные пары букв, посмотреть, в большом объёме текста какая за какой идёт с какой вероятностью -- и рассмотреть соответствующую цепь Маркова. Потом вместо пар букв взять тройки (какая за какими двумя идёт с какой вероятностью), и так далее. Думаю, если взять достаточно длинную зависимость, то энтропия такой цепи и будет примерно 1,5 бита на символ -- что, в общем-то, должно соответствовать тому, как хороший архиватор пакует английский текст. Burivykh 17:25, 30 октября 2009 (UTC)

Демон Максвелла

Может не поднимать его упоминание, а совсем снести? Это не та вещь, чтобы упоминать походя. Если для понимания он ничего не даёт, то нечего ему делать в начале статьи. Incnis Mrsi 23:24, 25 ноября 2008 (UTC)

Определения

Не мешало бы разобраться с корректностью использования слов "случайное событие", "сообщение", "исход", "состояние", особенно в разделе "Формальные определения". Трурль 15:51, 25 июля 2010 (UTC)

В чем смысл статьи?!!!

Если хотели максимально точно определить понятие ИЭ, то остается только ВЕРИТЬ, что авторам это удалось. НО - если цель статьи - РАЗЪЯСНИТЬ смысл ИЭ неподготовленному читателю, то здесь я с полным основанием утвержаю провал! Совершенно и полностью непонятно ничего! И этим, кстати, страдает большинство статей математтческой тематики. На лицо прямое противоречие - математически безупречная ТОЧНОСТЬ определения, с одной стороны противостоит доступности и понятности обывателю с другой. И не надо требовать от читателя долгих лет подготовки и огромного базиса знаний! Я на личном опыте убедился, что при правильном изложении сложные теории легко излагаются даже новичкам. (Понятие термодинамической энтропии за 1 минуту можно объяснить с помощью бильярда кому угодно!) ИТАК - решите уже для себя - вы хотите, чтобы вас поняли миллионы читателей или вам интереснее признание и рукоплескания десятка таких-же зазнаек. 128.68.63.254 18:17, 5 мая 2015 (UTC)Роман.

Мне кажется что 3й пункт определения (должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.) стоит прояснить (т.е. объяснить подробнее) FeelUs (обс.) 15:20, 22 января 2018 (UTC)