Энтропия является мерой дезорганизации, а информация, передаваемая группой сообщений, является мерой организации. В самом деле, возможно интерпретировать информацию, передаваемую в сообщении, как фактическое отрицание ее энтропии и как отрицательный логарифм ее вероятности. Иными словами, чем более вероятно сообщение, тем меньше информации оно содержит. Например, словесные клише куда менее содержательны, чем великолепные стихи.
Кибернетика и общество (сборник)
·
Норберт Винер
