Информационная энтропия

 Е (или Н информационная энтропия по К.  Шеннону (1948) есть средневзвешенное логарифма частоты-вероятности события, содержания компонента состава,

Как количественная оценка любых  разнообразий может быть обобщена понятием   “мера равномерности распределения случайных величин или частот “.

Вклад отдельного компонента в энтропию:    “pilnpi“.

Интервалы значений: minE=0, если в составе один-единственный компонент; MaxE=lnn, если все компоненты имеют содержания p=1/n.

В методе используются натуральные логарифмы.

В современной версии программы рассчитывается “абсолютная” энтропия (в отличие от более ранних версий программы Petros) и обозначается как Е для полных составов и En – для усечённых (обрубленных) до заказанной детальности n.

Возможные аспекты рассмотрения информационной энтропии:

Интуитивный – мера: 1) мера сложности состава, 2) мера близости к  равномерному распределению частот, вероятностей, размеров, сроков, возрастов, видов животных, частей компонентов объекта или системы;

Математический – отрицательная сумма произведений содержаний компонентов на  логарифмы содержаний.

Таблицы вкладов в энтропию:
Robert M. Fano Transmission of Information. A statistical theory of communications. Publ. M.I.T. Press and J. W & S NY-L. 1961

Рус.пер.:  Р.Фано Передача информации. Статистическая теория связи. М.:”Мир” 1965

Теоретико-информационный – мера неопределенности предвидения результата испытания после серии тренировочных испытаний

Статистический – мера равномерности распределения содержаний компонентов

Термодинамический – до постоянного множителя (газовой постоянной) – энтропия смешения

Классификационный – обобщенное количественное представление соотношений преимущественно ведущих по содержаниям компонентов  в ранговой формуле

 Визуальный –  изолинии энтропии, проведённые в правильном треугольнике.

Как видим, минимальную сложность (0.0) имеют свободные от примесей компоненты, Максимально сложные составы располагаются в центре треугольника.

Исторический  

Физико-химическим корнем E  (=Н)  является энтропия смешения, отличающаяся от информационной только множителем – газовой постоянной [Э.А. Мелвин-Хьюз (1962), Л.Д. Ландау (1964) и др.].

Вывод формулы – впоследствии  ставшей (так сложилось исторически) формулой информационной энтропии  К.Шеннона приведён в работе:

Halphen E.. L’analyse intrinseque des distributions de probabilite// Publ. Inst. Stat. Univ. Paris, 1957, 6, 2, 77—159 (Цит. по А.А.Юшкевич.К истории понятий энтропии и информации (Об одном предвосхищении идей К.Шеннона) Историко-математические исследования Вып. 19. М. Наука. 1974 с.158-176. Сообщено мне профессором Горного института Ю.Л. Войтеховским. )

Получение формулы и развёрнутое введение понятия “информационная энтропия”:

Shannon C.E. A Mathematical theory of communication//Bell. System. Tech. J., 1948 27. 379, 623.

Первая публикация об энтропии в геологии:

Ch.R.Pelto Mapping of multicomponent systems//J.of Geology. 1954, V.62, N 5. Pp 501-511

Как мера сложности геохимических систем предложена в статье:

Петров Т.Г. О мере сложности геохимических систем с позиций теории информации.// Доклады АН СССР.- 1970 – Т.191- N4 . – C.1094-1096 1970

Как средство преодоления неразличимости горных пород по ранговым формулам химических составов предложена в статье:

Петров Т.Г. Обоснование варианта общей классификации геохимических систем. // Вестник ЛГУ. – N18. – 1971. С.30–38.

Использование единичных средних при больших разбросах и количестве усредняемых исходных данных есть акт их сверхсжатия, что влечёт возможности как ошибок так и  неограниченного произвола в интерпретациях этого класса величин и, в свою очередь,  необходимость, либо встраивания полученных данных в ряды рейтингов, либо вынесения на 2D или 3D диаграммы.  

Полезные статьи:

Думать трудно

Вернуться на “Картинки И”