Е (или Н) ‒ информационная энтропия по К. Шеннону (1948) есть средневзвешенное логарифмов частот-вероятностей события, содержаний компонентов состава,
Как количественная оценка любых разнообразий может быть обобщена понятием «мера равномерности распределения случайных величин или частот «.
Вклад отдельного компонента в энтропию: «— pilnpi«.
Интервалы значений: minE=0, если в составе один-единственный компонент; MaxE=lnn, если все компоненты имеют содержания p=1/n.
В методе используются натуральные логарифмы, что сближает метод с термодинамикой, но совершенно не принципиально в виду универсальности подхода.
В современной версии программы рассчитывается «абсолютная» энтропия (в отличие от более ранних версий программы Petros) и обозначается как Е для полных составов и En – для усечённых (обрубленных) до заказанной детальности n.
Возможные аспекты рассмотрения информационной энтропии:
Интуитивный – мера: 1) мера сложности состава, 2) мера близости к равномерному распределению частот, вероятностей, размеров, сроков, возрастов, видов животных, частей компонентов объекта или системы;
Математический – отрицательная сумма произведений содержаний компонентов на логарифмы содержаний.
Таблицы вкладов в энтропию:
Robert M. Fano Transmission of Information. A statistical theory of communications. Publ. M.I.T. Press and J. W & S NY-L. 1961
Рус.пер.: Р.Фано Передача информации. Статистическая теория связи. М.:»Мир» 1965
Теоретико-информационный – мера неопределенности предвидения результата испытания после серии тренировочных испытаний
Статистический – мера равномерности распределения содержаний компонентов
Термодинамический – до постоянного множителя (газовой постоянной) – энтропия смешения
Классификационный – обобщенное количественное представление соотношений преимущественно ведущих по содержаниям компонентов в ранговой формуле
Визуальный — изолинии энтропии, проведённые в правильном треугольнике.
Как видим, минимальную сложность (0.0) имеют свободные от примесей компоненты, располагаюзиеся в вершигах треугольника. Максимально сложные составы (A=B=C= 0.333…) располагаются в центре треугольника, или в центре правильного тетраэдра, или в центре любого n-1-мерного правильного симплекса как обобщения послежовательности точи-отрезка-треугольника-тетраэдра.
Исторический –
Физико-химическим корнем E (=Н) является энтропия смешения, отличающаяся от информационной только множителем – газовой постоянной R [Э.А. Мелвин-Хьюз (1962), Л.Д. Ландау, Л.М. Лифшиц (1964).].
Вывод формулы — впоследствии ставшей (так сложилось исторически) формулой информационной энтропии К.Шеннона — приведён в работе:
Halphen E.. L’analyse intrinseque des distributions de probabilite// Publ. Inst. Stat. Univ. Paris, 1957, 6, 2, 77—159 (Цит. по А.А.Юшкевич.К истории понятий энтропии и информации (Об одном предвосхищении идей К.Шеннона) Историко-математические исследования Вып. 19. М. Наука. 1974 с.158-176. Сообщено мне профессором Горного института Ю.Л. Войтеховским. )
Получение формулы и развёрнутое введение понятия «информационная энтропия»:
Shannon C.E. A Mathematical theory of communication//Bell. System. Tech. J., 1948 27. 379, 623.
Первая публикация об энтропии в геологии, по моему мнению, недооценённая:
Ch.R.Pelto Mapping of multicomponent systems//J.of Geology. 1954, V.62, N 5. Pp 501-511
Как мера сложности геохимических систем предложена в статье:
Петров Т.Г. О мере сложности геохимических систем с позиций теории информации.// Доклады АН СССР.- 1970 — Т.191- N4 . — C.1094-1096 1970
Как средство преодоления неразличимости некоторых групп горных пород по ранговым формулам химических составов (например, гранитоиды и «щелочные») предложена в статье:
Петров Т.Г. Обоснование варианта общей классификации геохимических систем. // Вестник ЛГУ. – N18. – 1971. С.30–38.
Использование единичных средних при больших разбросах и количестве усредняемых исходных данных есть акт их сверхсжатия, что влечёт возможности как ошибок, так и произвола в интерпретациях этого класса величин и, в свою очередь, необходимость использования дополнительных характеризаций ( в нашем методе — А и Т) с вынесением результатов на 2D или 3D диаграммы.
Полезная книга: Седов Е.А. Одна формула и весь мир. Книга об энтропии. М.: Знание, 1982. — 178 с
статьи: Думать трудно