Als erstes zu unserem begehrten und fleißigen Kommentator CAFF:
Erst mal danke. Deine Kommentare bringe hier Diskussion oft ins „Rollen", doch in letzter Zeit sind sie manchmal etwas „Geschlampe", um es mit deinen Worten zu sagen. Eine liebe Freundin die sehr gewandt in der Kommunikation ist würde zu deinen letzten Kommentaren sagen „Na dann!" und ein älterer Beraterkollege, der ebenfalls sehr gewandt in Worten und Kommunikation ist würde sagen „Tja!"
Ich bin aber nicht so mutig und gewandt in der Kommunikation wie die beiden, deswegen hier ein etwas längerer Kommentar von mir.
Was ich ja erst einmal nicht ganz nachvollziehen kann ist, dass euch der Begriff der Entropie so „fremd" ist. Ich habe in euren Kommentaren gelesen, dass ihr schon viel über Kybernetik und Systemtheorie gelesen habt. Bei CAFF lese ich z.B. raus, dass er „noch nicht alles" von HvF gelesen hat. Ich gehe also davon aus, dass du CAFF schon einiges von HvF gelesen hast und dann ist es einfach unmöglich, dass man an dem Begriff „Entropie" vorbeikommt. Hier einer der bekanntesten Definitionen der Kybernetik:
„Die drei Begriffe der Regelung, der Entropieverzögerung und des Rechnens bilden somit ein in sich verknüpftes Begriffsnetz, das für mich das Wesen der Kybernetik ausmacht."
Wenn dass eine zentrale Definition der Kybernetik von Heinz ist, dann muss man sich einfach über die Physik hinaus mal mit dem Begriff Entropie befasst haben, zumindest muss man Heinz Verständnis davon studiert haben, um überhaupt HvF Werke verstehen zu können.
Es sind auch nicht einfach „Brocken" wie CAFF sagt, die ich euch im letzten Kommentar mitgab. Jeder kann, wenn er meinen letzten Kommentar ließt, einfach mal in Wikipedia den Begriff „Entropie" nachschlagen. Dann wird es sehen, dass wie ich in meinem Kommentar beschrieben habe, es einen Entropiebegriff aus der Physik gibt und einen aus der Informationstheorie, der dort übrigens sehr Zentral ist. Alle modernen Übertragungstechniken kommen ohne den Begriff Entropie nicht aus!
Ich bin mir sicher, dass wenn ihr das tut, wenn ihr mal den informationstheoretischen Begriff nachschlägt, es euch es zumindest „dämmern" wird, warum Entropie was mit den LAWS und dem Marked- und Unmarked Space zu tun hat. Manche von euch scheinen einfach auch eine „falsche" Definition von Entropie aufgeschnappt zu haben. So schreibt z.B. Daniel in seinem letzten Kommentar:
„…Mein knappes Verständnis von Entropie ist: Es ist das Gegenteil von Redundanz. Das reicht mir erstmal. ;-)…"
Das reicht auf keinen Fall! Denn es ist einfach falsch! Redundanz ist nicht das Gegenteil von Entropie. Hier eine Definition aus der Informationstheorie:
„H(x) bezeichnet man als mittleren Informationsgehalt oder auch als Entropie der Nachrichtenquelle"
(Aus „Informationstheorie und Codierung", Prof. Otto Mildenberger, VIEWEG)
weiter heißt es im obigen Buch:
„Die Differenz von Entscheidungsgehalt und Entropie R= H0-H wird als Redundanz bezeichnet"
und hier die Definition von Entscheidungsgehalt um es komplett zu machen:
„Den Informationsgehalt einer Nachrichtenquelle bei gleichwahrscheinlichen Zeichen bezeichnet man auch häufig als Entscheidungsgehalt."
Ok, hier die „einfache" Zusammenfassung: Jede Kommunikation geht über Signale und Sensoren. Ein Signal kommt beim Sensor des Empfängers an und der Interpretiert das. Die Signale werden kategorisiert, also die ankommende Nachricht hat ein so genanntes Alphabet. Dann werden die Zeichen je nach Empfänger gruppiert, geordnet und Interpretiert, es wird also Information erzeugt. Der Gehalt oder die Menge an Information, die der Empfänger aus den ankommenden Signalen erzeugen könnte nennt man Entscheidungsgehalt. Also wie viel Information könnte ich z.B. aus den geschriebenen Wörtern von euch erzeugen. Was gibt also das Alphabet des Senders her, damit ich Information daraus erzeugen kann. Der Entscheidungsgehalt eines Senders liegt meist höher als die tatsächlich erzeugte Information, die auf der Empfängerseite daraus erzeugt wird. Mit diesem Kommentar versuche ich also euer Entscheidungsgehalt zu vergrößern (und auch eure Entropie, aber dazu mal etwas in einem späteren Artikel)!
Der mittlere Informationsgehalt einer Nachrichtenquelle ist die Menge an Informationen, welche die Empfänger aus den gesendeten Zeichen erzeugen können. Der mittlere Informationsgehalt ist also die tatsächliche Information die der Empfänger aus dem gesendeten Zeichen erzeugen kann und/oder erzeugt. Wie schon oben erläutert, ist da ein Unterschied zwischen dem, was möglich wäre an Informationen aus etwas Gesagtem zu gewinnen und was dann tatsächlich als Information aus dem Gesagten gewonnen wird. So ist es auch mit meinem letzten Beitrag: Die Informationen, die ihr aus dem von mir geschriebenem gewinnt ist nicht identisch mit dem, was möglich wäre, an Informationen daraus zu gewinnen. Dieses nennt man in der Informationstheorie mittlerer Informationsgehalt oder Entropie! Entropie ist also der „Überfluss" an Signalen, die aus der Sicht des Empfängers ankommen. Aus der Sicht des Senders ist es „was drüben nicht ankam.". Mein jetziger Kommentar ist also der Versuch, in einem bestimmten Rahmen die Entropie auf euerer Seite zu verringern, damit ihr mehr Entscheidungshalt habt beim weiterdiskutieren. Die Differenz zwischen Entscheidungsgehalt und der Entropie nennt man Redundanz. Also der oben beschriebene „Überfluss" aus der ist Redundanz!
Puhh! Das war „nur" die Seite der Informationstheorie. Jetzt kommt die Kybernetik. Heinz von Foerster sagt in seinem Text „Über selbst-organsisierende Systeme und ihre Umwelt", der in „Sicht und Einsicht" und „Kybernethik" zu finden ist folgendes über Entropie:
„Obwohl ich nun nicht im Detail die interessante Diskussion des Energieflusses von der Umwelt in das System und zurück aufnehmen werde, möchte ich kurz die beiden Denktraditionen erwähnen, die mit diesem Problem zusammenhängen. Die eine sieht Energiefluss und Signalfluss als eine eng verknüpfte Ein-Kanal-Angelegehnheit an (d.h. die Botschaft trägt auch die Nahrung, oder wenn Sie wollen, Signal und Nahrung sind synonym), während die andere diese beiden Größen sorgfältig voneinander trennt, auch wenn es in dieser Theorie einen signifikanten Zusammenhang zwischen Signalfluss und Energievorrat gibt. Ich bekenne, dass ich der zweiten Denkweise anhänge, ….."
„…was mich gegenwärtigen im gegenwärtigen Augenblick besonders interessiert, das ist nicht so sehr die Energie aus der Umwelt, die vom System verdaut wird, sondern die Nutzung der Umweltordnung durch das System….."
„…Wie viel an Ordnung, wenn überhaupt, kann unser System von der Umwelt assimilieren…."
„…Ich möchte nun kurz erklären, was ich meine, wenn ich davon rede, dass selbst-organisierende Systeme sich von Störung ernähren …"
„…Schrödinger entwickelt diese bereits früh in seinem Buch sehr klar und stellt fest: Das, wovon ein Organismus sich ernährt, ist negative Entropie"
In seinem Text „Gedächtnis ohne Aufzeichnung" veröffentlicht in „Sicht und Einsicht, sagt HvF:
„…Ein Universum mit 1 Millionen Zuständen hat daher eine Unsicherheit von etwa 20 Bits. Fügt man eine weitere Million Zustände hinzu, dann hat das neue Universum etwa 21 Bits Unsicherheit. Ich habe unsere Maßfunktion H bis jetzt immer als ein Maß der Unsicherheit bezeichnet. Es gibt jedoch mehrere Begriffe, die die gleiche Quantität H bezeichnen, wie sie durch die Gleichung definiert wird. Diese Begriffe sind ‚Entropie', ‚(Aus-)Wahl' und ‚Informationsbetrag'….."
Ich könnte jetzt noch einen Absatz über den Bezug zu den LAWS schreiben – habe aber jetzt keine Lust mehr und auch keine Zeit. Ich denke alleine meine Ausführungen hier im Text über die informationstheoretische Seite der Entropie müssten ausreichen, um den Bezug zu den LAWS zu bekommen. Wenn nicht, dann am besten die oben erwähnten Texte von Heinz lesen. Dann sollte überall der Groschen fallen!
Zum Abschluss schließe ich mich einfach GSP und Mark Twain an:
„Ich rede manchmal Unsinn, aber dass ich Unsinn rede, ist kein Unsinn"
GSP
„Wenn wir uns klarmachen, dass wir alle verrückt sind, dann verschwinden alle Geheimnisse und das Leben erklärt sich von selbst"
Mark Twain