Энтропия

 Е (или Н информационная энтропия по К.  Шеннону (1948)

Широкое поле смыслов термина “энтропия” как:  неопределённость результатов испытания, сложность, разнообразие –  может быть обобщено понятием   “мера равномерности распределения случайных величин или частот “.

Вклад отдельного компонента в энтропию:    “pilnpi“.

Интервалы значений: minE=0, если в составе один-единственный компонент; MaxE=lnn, если все компоненты имеют содержания p=1/n.

В методе используются натуральные логарифмы.

В современной версии программы рассчитывается “абсолютная” энтропия (в отличие от более ранних версий программы Petros) и обозначается как Е для полных составов и En – для усечённых (обрубленных) до заказанной детальности n.

Возможные аспекты рассмотрения информационной энтропии:

Интуитивный – мера: 1) мера сложности состава, 2) мера близости к  равномерному распределению частот, вероятностей, размеров, сроков, возрастов, видов животных, частей компонентов объекта или системы;

Математический – отрицательная сумма произведений содержаний компонентов на  логарифмы содержаний.

Таблицы вкладов в энтропию:
Robert M. Fano Transmission of Information. A statistical theory of communications. Publ. M.I.T. Press and J. W & S NY-L. 1961

Рус.пер.:  Р.Фано Передача информации. Статистическая теория связи. М.:”Мир” 1965

Теоретико-информационный – мера неопределенности предвидения результата испытания после серии тренировочных испытаний

Статистический – мера равномерности распределения содержаний компонентов

Термодинамический – до постоянного множителя (газовой постоянной) – энтропия смешения

Классификационный – обобщенное количественное представление соотношений преимущественно ведущих по содержаниям компонентов  в ранговой формуле

 Визуальный – 1) гистограмма с упорядочением величин значимости компонентов по невозрастанию, 2) правильный треугольник с нанесёнными изолиниями энтропии. Пересечение изолиний энтропии и анэнтропии определяет точку в каждом из шести секторов, образуемых тремя медианами треугольника и описываемых шестью ранговыми формулами.

Как видим, минимальную сложность (0.0) имеют свободные от примесей компоненты, Максимально сложные составы располагаются в центре треугольника.

Исторический  

Физико-химическим корнем E  (=Н)  является энтропия смешения, отличающаяся от информационной только множителем – газовой постоянной [Э.А. Мелвин-Хьюз (1962), Л.Д. Ландау (1964) и др.].

Вывод формулы – впоследствии ставшей формулой информационной энтропии:

Halphen E.. L’analyse intrinseque des distributions de probabilite// Publ. Inst. Stat. Univ. Paris, 1957, 6, 2, 77—159 (Цит. по А.А.Юшкевич.К истории понятий энтропии и информации (Об одном предвосхищении идей К.Шеннона) Историко-математические исследования Вып. 19. М.Наука. 1974 с.158-176)

Получение формулы и развёрнутое введение понятия “информационная энтропия”:

Shannon C.E. A Mathematical theory of communication//Bell. System. Tech. J., 1948 27. 379, 623.

Первая публикация об энтропии в геологии:

Ch.R.Pelto Mapping of multicomponent systems//J.of Geology. 1954, V.62, N 5. Pp 501-511

Как мера сложности геохимических систем предложена в статье:

Петров Т.Г. О мере сложности геохимических систем с позиций теории информации.// Доклады АН СССР.- 1970 – Т.191- N4 . – C.1094-1096 1970

Как средство преодоления неразличимости горных пород по ранговым формулам химических составов предложена в статье:

Петров Т.Г. Обоснование варианта общей классификации геохимических систем. // Вестник ЛГУ. – N18. – 1971. С.30–38.