Information

Es geht hier ja um den Informationsbegriff von Shannon?

Gut, denn die Definition I(xi):= -ld(pi) ist nicht von Shannon, sondern von Hartley. Es handelt sich dabei um den Informationsgehalt eines Zeichens xi aus einer DGQ (Diskrete Gedächtnislose Quelle).

Eines der Axiome ist dabei:

I(pi,j) = I(pi) + I(pj), dass addieren der Informationsgehalte, dass nur deswegen möglich ist, weil Zeichenpaare (xi,xj) bei einer DGQ unabhängig voneinander sind.

Aber die Definition der Information von Shannon sieht ganz anders aus, nämlich so:

Gegeben seien 2 DGQ: X,Y

Die Größe I(X|Y):= H(X) – H(X|Y) heißt Informationsgehalt von X über Y. (Definition von Shannon)

Für einzelne Zeichenpaare lautet sie wie folgt:

I(xi, yj):= -ld[ p(xi|yj) / p(xi) ] heißt die Information des Zeichens yj über xi .

Dabei gibt es 2 Sonderfälle.

a)

pij = p(xi)*p(yj) (bedeutet Unabhängigkeit der Ereignisse)
daraus folgt dann: p(xi|yj) = pij / p(yj) = p(xi)

Und daraus folgt dann: I(xi, yj) = -ld[ p(xi) / p(yj) ] = 0

d.h. die Quellen tauschen keine Information aus. Ein Beispiel wäre der Münzwurf.


b)

p(xi|yj) = 1 = p(yi|xj)

daraus folgt: I(xi,yj) = I(xi) = I(yj)

D.h. die Quellen sind stark gekoppelt, das Ereignis xi bedingt das Ereignis yj mit Sicherheit.

…

Einen normalen Text, zum Beispiel einen Roman kann man als eine Zusammensetzung aus mehreren DGQ betrachten.

Ich habe eben einen Text analysieren lassen, einen Roman in deutscher Sprache. Groß und Kleinbuchstaben wurden nicht unterschieden und Sonderzeichen ignoriert, das macht 29 Zeichen für das Alphabet. Die Textlänge liegt bei 1,7 Millionen Zeichen.
Es gibt 727 Bigramme von 841 möglichen und 9085 Trigramme von 24398 möglichen… im Deutschen ist eben nicht jede Buchstabenkombination möglich. (Man beachte bitte den Unterschied zwischen „sehr unwahrscheinlich“ und „unmöglich“… bestimmte N-Gramme sind im Deutschen unmöglich… in anderen Zusammenhängen wird das ständig miteinander verwechselt)
Die Entropie des Textes auf die Monogramme bezogen (A-Z) liegt bei 4,12. Die maximale Entropie bei 4,857. Die Redundanz liegt bei 0,73… was absolut typisch ist für diese Art von Text.

Die Wahrscheinlichkeiten für die Monogramme:

E = 0,164
N = 0,107
I = 0,08
…
Q = 0,000167

Für die Bigramme:

EN = 0,04
ER = 0,033
CH = 0,028
…
FQ = 0,000001

Trigramme:

ICH = 0,012 (Roman hat einen Ich-Erzähler)
EIN = 0,010
DER = 0,0088
UND = 0,0082
…
BNS = 0,000001

Das ist das Hintergrundwissen, welches man benötigt, um im Sinne von Shannon Information durch die Kenntnisnahme eines Zeichens erhalten zu können.

Ich kann nun daraus bestimmen, mit welcher Wahrscheinlichkeit als nächstes ein „N“ kommt, wenn das letzte Zeichen ein „E“ war, nämlich p(N|E) = 0,247.
Ansonsten wird meine Voraussage sein, dass „N“ mit einer Wahrscheinlichkeit von p(N) = 0,107 erscheint.
Beide Voraussagen sind natürlich richtig… sie beziehen sich nur auf unterschiedliche statistische Gesamtheiten.

Der Informationsgehalt ist hoch, wenn die Abweichung zwischen den beiden Prognosen p(N) und p(N|E) hoch ist.

Welche Information liefert mir das auftreten des Zeichens „J“ über die 29 Zeichen? Ich kann mit ziemlicher Sicherheit sagen, dass, wenn als letztes ein „J“ kam, als nächstes definitiv kein „J“ kommen wird.
Das ist es, was Shannon mit Information meint… die Beispiele von Timeout sind sehr gut und haben diesen Punkt genau getroffen.

Die Angabe einer objektiven Wahrscheinlichkeit hängt vom Vorwissen ab. Deswegen sollte man Begriffe wie Wahrscheinlichkeit und Information als objektiv und subjektbezogen verstehen. Der Sinn dieser Begriffe ist es, Wissen zu quantifizieren und Wissen ist nun einmal etwas, das jemand von etwas hat.

Es ist auch nur diese Art von Information für eine holistische Weltanschauung wie deine sinnvoll, Zara.t, da es doch in dieser keine unabhängigen Ereignisse gibt.
Zwei miteinander verschränkte physikalische Systeme habe ich also als 2 miteinander gekoppelte DGQ’s zu betrachten.

Zusammengefasst:

Bei Shannon ist Information ein relativer Begriff und kein absoluter.
Information kann aus einer Quelle nur in Bezug auf eine andere Quelle gewonnen werden.
Information: Wer über wen?

------

Dann noch etwas zur Information als Prima Materia... hierbei ergeben sich die gleichen Probleme wie auch beim normalen Materialismus.
Sprache lässt sich nicht auf Information reduzieren, aber wir setzen eine natürliche Sprache voraus, um überhaupt über Information sprechen zu können.
Dann kommt auch noch das Problem der Bedeutung dazu etc.

Nur zur INFORMATION. Bin ne Woche weg. Dann aber gehts weiter.

laßts euch gutgehen.
zara.t.

Irre, diese Zara ... ein Kopf mit solchen Fragen! Wenn ich nicht so alt wäre ... aber ich schweife vom Thema ab ...;o)

1. Definiere "Information"!
2. Ist Information existent wenn sie niemanden erreicht? (Verkehrsfunk)
3. Wenn ja, dann was kommt nach dem Tod (oder was war vor dem Leben)?
4. Warum gibt es keine Informationenen aus schwarzen Löchern?

Ich stelle eine Frage nach einer Antwort und bekomme statt dessen Anlass mich selbst zu hinterfragen :o)

Hallo Andre.

Ich wollte nicht weiter stören, aber so wie ich dein Beispiel verstehe. Ist es zwingend Notwendig eine Reduktion auf Fraktalebene anzunehmen. Da der Inhalt eines Romans, dem man nur eine Information (Moral von der Geschicht) aus sich selbstähnlichen Strukturen entnimmt, aus wiederkehrenden Mustern besteht.

Und eben diese Muster, seien es Buchstaben oder ganze Worte könnte man auch unwillentlich aneinander Reihen um den Eindruck zu erwecken, es herrsche Chaos, bzw. kein Informationsgehalt.

Ich verstehe dich nicht ganz Quark. Diese Definition der Information bezieht sich nur auf die Syntax... das für uns Menschen eigentlich Interessante, die Bedeutung, findet dort keine Beachtung.

Darum wollte ich auch nicht weiterhin stören.

Hallo,

Wie ich verstehe, hier wird eher über die "Bekleidung" von der Information gesprochen, nicht über der sinnliche Inhalt. Aber nur das ist eigentlich relevant, wenn man ist kein Programierer, kein Infornatiker oder ähnliches.

Welche Information aus diesem Sicht liefert mir Münzenwürfe? Ausser Präsentation einer Wahrscheinlichkeitstheorie und Lieferung statistischen Daten, ist es nicht INFORMATIV. Ich habe hier eine Information selbst erzeugt, in dem stelle die Frage und Entscheidung überlasse dem Zufall. Erinnert an den Mädchenspiel mit der Margariten-Blüte: lieb mich - lieb mich nicht ....

Wir kennen Materie nur aus der Information, die sie uns liefert. Ist dann nicht diese Aussage über Schwarze Löcher redundant: "das weder Materie noch Licht oder Information nach aussen gelangen können" (Wikipedia). Eigentlich genug wäre nur Materie erwähnen, oder?

Können nur wir -intelligenten Wesen - empfangen eine Information? M.E. schon auf Quantenebene herrscht sehr rege Austausch von Information. Drei Farbladungen mit Antiladungen, elektromagnetische Ladungen - es sind sehr wohl eine Information, die erzeugt ein Handlung, in dem Teilchen grupieren sich zur Farb-, bzw. elektromagnetisch neutralen Gebilden, es könnte man es nennen: "sinnlichen" Strukturen. Genau so ist, denke ich in jeder organisierten Struktur. Man muss nicht immer ein Bewußsein da vermuten. Information muss ein Sinn für die Empfänger darstellen. Das Sinn aber nicht unbedingt das Bewußsein ansprechen muß. Vielleich dieses Begriff "Information" ein Mal vernichtet die Kluft zwischen Natur- und Geistes Wissenschaften.

Was ist mit Kunst?! Sie liefert auch Information, nur spricht nicht (oder nicht nur) unsere Bewußsein. Das Wissen hier ist meistens unwesentlich. Hier war ein Beispiel mit dem Buch. Ein Roman ist immer mehr als blose Addierung informativen Einheiten.

Und noch eine Gedanke. Information ist mehr als Materie. Wir teilen uns Informationen über gedachten Dinge, z.B. Mathematik. Voll Informationen und nichts Reeles.

Ich hoffe, Sie verstehen mein "behindertes" Deutsch.

mfg

Otto schrieb in Beitrag Nr. 2150-46:

Okotombrok schrieb in Beitrag Nr. 2150-43:

wenn man sich über das Informationsparadoxon schwarzer Löcher Gedanken macht, kommt man mit der klassischen Informationsbeschreibung nicht weit.

Das ist offensichtlich so. Da stimme ich Dir zu.
Begriffe wie Information und Entropie sind nicht klar definiert.

Jedenfalls stellt Information eine "Form" dar.

Bei einer Schallplatte versetzt Musik eine Nadel in Schwingung. Bei der Aufnahme ritzt die Nadel eine Rille in ein wachsartige Substanz und formt diese so. Beim Abspielen wird die Nadel an der Form entlang geführt und reproduziert so die Musik.

Prozesse können also in "Form" übersetzt werden.

Dies ist offensichtlich praktisch und wird auch in der Natur genutzt, weil Zeit einer Länge entspricht. (Im obigen Beispiel entspricht die Länge der spiralisierten Rille der Dauer des Musikstücks).

Erinnerungen an Abläufe (zeitliche Prozesse) werden unter Anderem wohl auch in der Form unserer Neuronen gespeichert.

Otto schrieb in Beitrag Nr. 1713-156:

Das Gedächtnis ist die Summe aller Engramme (mit Arbeitsgedächtnis, Kurzzeitgedächtnis, Langzeitgedächtnis).
Engramme sind dauerhafte Änderungen im Gehirn durch Reizeinwirkung.
...
Die Änderung ist eine anatomische Änderung
...
Diese Veränderung wird als "neuronale Plastizität" bezeichnet.

Wodurch werden die Neuronen geformt und durch welchen Prozess werden zeitliche Abläufe aus dieser Form wieder erinnert?

Hallo Claus,

Claus schrieb in Beitrag Nr. 122-68:

Wodurch werden die Neuronen geformt und durch welchen Prozess werden zeitliche Abläufe aus dieser Form wieder erinnert?

Ich habe dazu leider keine Antwort.
Ich hoffe, dass die Hirnforscher das demnächst herausfinden werden.
Gruß, Otto

Otto schrieb in Beitrag Nr. 122-69:

Ich habe dazu leider keine Antwort.
Ich hoffe, dass die Hirnforscher das demnächst herausfinden werden.

Ich habe soeben eine hochinteressante Sendung von ARTE gesehen.
21.1.2023 22.45, Uhr "Der Blob - Schleimiger Superorganismus"

Es ist ein Bericht über Untersuchungen des Einzellers Physarum polycephalum.
Der Einzeller hat ein Gedächtnis, kann entscheiden, kann lernen, kann Wissen weitergeben, kommunizieren, bildet Netzwerke, hat eine Sprache, kann sich der Umgebung anpassen, usw.

Der Bericht umfasst Makrosysteme und Mikrosysteme (Informatik) des Einzellers.

Sicher findet Ihr die Sendung in der Mediathek von ARTE.
Das scheint auch zu funktionieren:
https://www.arte.tv/de/videos/082726-000-A/der-blob/

Gruß, Otto

Hallo Otto,

Von draußen, aus universalen Raum, prasselt ständig Input auf uns zu, und das ist noch keine Information, es ist „nur“ Post. Information entsteht erst wenn ein Empfänger, wie wir, existiert, und diesen Input verarbeitet, also, entschlüsselt.

Damit entsteht eine Information mit einer bestimmte Realitätsgehalt(Entropie). Das was wir Erfolg nennen kann uns die Realitätsgehalt(Entropie), und damit auch die Kapazität der Verarbeitung, somit auch die Konkordanz zwischen der Emission und Detektion, bestätigen.

Die Relativität in dem Informationsgehalt(Entropie) ergibt sich aus diesem Diskrepanz.



MfG H.