Es geht hier ja um den Informationsbegriff von Shannon?
Gut, denn die Definition I(xi):= -ld(pi) ist nicht von Shannon, sondern von Hartley. Es handelt sich dabei um den Informationsgehalt eines Zeichens xi aus einer DGQ (Diskrete Gedächtnislose Quelle).
Eines der Axiome ist dabei:
I(pi,j) = I(pi) + I(pj), dass addieren der Informationsgehalte, dass nur deswegen möglich ist, weil Zeichenpaare (xi,xj) bei einer DGQ unabhängig voneinander sind.
Aber die Definition der Information von Shannon sieht ganz anders aus, nämlich so:
Gegeben seien 2 DGQ: X,Y
Die Größe I(X|Y):= H(X) – H(X|Y) heißt Informationsgehalt von X über Y. (Definition von Shannon)
Für einzelne Zeichenpaare lautet sie wie folgt:
I(xi, yj):= -ld[ p(xi|yj) / p(xi) ] heißt die Information des Zeichens yj über xi .
Dabei gibt es 2 Sonderfälle.
a)
pij = p(xi)*p(yj) (bedeutet Unabhängigkeit der Ereignisse)
daraus folgt dann: p(xi|yj) = pij / p(yj) = p(xi)
Und daraus folgt dann: I(xi, yj) = -ld[ p(xi) / p(yj) ] = 0
d.h. die Quellen tauschen keine Information aus. Ein Beispiel wäre der Münzwurf.
b)
p(xi|yj) = 1 = p(yi|xj)
daraus folgt: I(xi,yj) = I(xi) = I(yj)
D.h. die Quellen sind stark gekoppelt, das Ereignis xi bedingt das Ereignis yj mit Sicherheit.
…
Einen normalen Text, zum Beispiel einen Roman kann man als eine Zusammensetzung aus mehreren DGQ betrachten.
Ich habe eben einen Text analysieren lassen, einen Roman in deutscher Sprache. Groß und Kleinbuchstaben wurden nicht unterschieden und Sonderzeichen ignoriert, das macht 29 Zeichen für das Alphabet. Die Textlänge liegt bei 1,7 Millionen Zeichen.
Es gibt 727 Bigramme von 841 möglichen und 9085 Trigramme von 24398 möglichen… im Deutschen ist eben nicht jede Buchstabenkombination möglich. (Man beachte bitte den Unterschied zwischen „sehr unwahrscheinlich“ und „unmöglich“… bestimmte N-Gramme sind im Deutschen unmöglich… in anderen Zusammenhängen wird das ständig miteinander verwechselt)
Die Entropie des Textes auf die Monogramme bezogen (A-Z) liegt bei 4,12. Die maximale Entropie bei 4,857. Die Redundanz liegt bei 0,73… was absolut typisch ist für diese Art von Text.
Die Wahrscheinlichkeiten für die Monogramme:
E = 0,164
N = 0,107
I = 0,08
…
Q = 0,000167
Für die Bigramme:
EN = 0,04
ER = 0,033
CH = 0,028
…
FQ = 0,000001
Trigramme:
ICH = 0,012 (Roman hat einen Ich-Erzähler)
EIN = 0,010
DER = 0,0088
UND = 0,0082
…
BNS = 0,000001
Das ist das Hintergrundwissen, welches man benötigt, um im Sinne von Shannon Information durch die Kenntnisnahme eines Zeichens erhalten zu können.
Ich kann nun daraus bestimmen, mit welcher Wahrscheinlichkeit als nächstes ein „N“ kommt, wenn das letzte Zeichen ein „E“ war, nämlich p(N|E) = 0,247.
Ansonsten wird meine Voraussage sein, dass „N“ mit einer Wahrscheinlichkeit von p(N) = 0,107 erscheint.
Beide Voraussagen sind natürlich richtig… sie beziehen sich nur auf unterschiedliche statistische Gesamtheiten.
Der Informationsgehalt ist hoch, wenn die Abweichung zwischen den beiden Prognosen p(N) und p(N|E) hoch ist.
Welche Information liefert mir das auftreten des Zeichens „J“ über die 29 Zeichen? Ich kann mit ziemlicher Sicherheit sagen, dass, wenn als letztes ein „J“ kam, als nächstes definitiv kein „J“ kommen wird.
Das ist es, was Shannon mit Information meint… die Beispiele von Timeout sind sehr gut und haben diesen Punkt genau getroffen.
Die Angabe einer objektiven Wahrscheinlichkeit hängt vom Vorwissen ab. Deswegen sollte man Begriffe wie Wahrscheinlichkeit und Information als objektiv und subjektbezogen verstehen. Der Sinn dieser Begriffe ist es, Wissen zu quantifizieren und Wissen ist nun einmal etwas, das jemand von etwas hat.
Es ist auch nur diese Art von Information für eine holistische Weltanschauung wie deine sinnvoll, Zara.t, da es doch in dieser keine unabhängigen Ereignisse gibt.
Zwei miteinander verschränkte physikalische Systeme habe ich also als 2 miteinander gekoppelte DGQ’s zu betrachten.
Zusammengefasst:
Bei Shannon ist Information ein relativer Begriff und kein absoluter.
Information kann aus einer Quelle nur in Bezug auf eine andere Quelle gewonnen werden.
Information: Wer über wen?
------
Dann noch etwas zur Information als Prima Materia... hierbei ergeben sich die gleichen Probleme wie auch beim normalen Materialismus.
Sprache lässt sich nicht auf Information reduzieren, aber wir setzen eine natürliche Sprache voraus, um überhaupt über Information sprechen zu können.
Dann kommt auch noch das Problem der Bedeutung dazu etc.
Gut, denn die Definition I(xi):= -ld(pi) ist nicht von Shannon, sondern von Hartley. Es handelt sich dabei um den Informationsgehalt eines Zeichens xi aus einer DGQ (Diskrete Gedächtnislose Quelle).
Eines der Axiome ist dabei:
I(pi,j) = I(pi) + I(pj), dass addieren der Informationsgehalte, dass nur deswegen möglich ist, weil Zeichenpaare (xi,xj) bei einer DGQ unabhängig voneinander sind.
Aber die Definition der Information von Shannon sieht ganz anders aus, nämlich so:
Gegeben seien 2 DGQ: X,Y
Die Größe I(X|Y):= H(X) – H(X|Y) heißt Informationsgehalt von X über Y. (Definition von Shannon)
Für einzelne Zeichenpaare lautet sie wie folgt:
I(xi, yj):= -ld[ p(xi|yj) / p(xi) ] heißt die Information des Zeichens yj über xi .
Dabei gibt es 2 Sonderfälle.
a)
pij = p(xi)*p(yj) (bedeutet Unabhängigkeit der Ereignisse)
daraus folgt dann: p(xi|yj) = pij / p(yj) = p(xi)
Und daraus folgt dann: I(xi, yj) = -ld[ p(xi) / p(yj) ] = 0
d.h. die Quellen tauschen keine Information aus. Ein Beispiel wäre der Münzwurf.
b)
p(xi|yj) = 1 = p(yi|xj)
daraus folgt: I(xi,yj) = I(xi) = I(yj)
D.h. die Quellen sind stark gekoppelt, das Ereignis xi bedingt das Ereignis yj mit Sicherheit.
…
Einen normalen Text, zum Beispiel einen Roman kann man als eine Zusammensetzung aus mehreren DGQ betrachten.
Ich habe eben einen Text analysieren lassen, einen Roman in deutscher Sprache. Groß und Kleinbuchstaben wurden nicht unterschieden und Sonderzeichen ignoriert, das macht 29 Zeichen für das Alphabet. Die Textlänge liegt bei 1,7 Millionen Zeichen.
Es gibt 727 Bigramme von 841 möglichen und 9085 Trigramme von 24398 möglichen… im Deutschen ist eben nicht jede Buchstabenkombination möglich. (Man beachte bitte den Unterschied zwischen „sehr unwahrscheinlich“ und „unmöglich“… bestimmte N-Gramme sind im Deutschen unmöglich… in anderen Zusammenhängen wird das ständig miteinander verwechselt)
Die Entropie des Textes auf die Monogramme bezogen (A-Z) liegt bei 4,12. Die maximale Entropie bei 4,857. Die Redundanz liegt bei 0,73… was absolut typisch ist für diese Art von Text.
Die Wahrscheinlichkeiten für die Monogramme:
E = 0,164
N = 0,107
I = 0,08
…
Q = 0,000167
Für die Bigramme:
EN = 0,04
ER = 0,033
CH = 0,028
…
FQ = 0,000001
Trigramme:
ICH = 0,012 (Roman hat einen Ich-Erzähler)
EIN = 0,010
DER = 0,0088
UND = 0,0082
…
BNS = 0,000001
Das ist das Hintergrundwissen, welches man benötigt, um im Sinne von Shannon Information durch die Kenntnisnahme eines Zeichens erhalten zu können.
Ich kann nun daraus bestimmen, mit welcher Wahrscheinlichkeit als nächstes ein „N“ kommt, wenn das letzte Zeichen ein „E“ war, nämlich p(N|E) = 0,247.
Ansonsten wird meine Voraussage sein, dass „N“ mit einer Wahrscheinlichkeit von p(N) = 0,107 erscheint.
Beide Voraussagen sind natürlich richtig… sie beziehen sich nur auf unterschiedliche statistische Gesamtheiten.
Der Informationsgehalt ist hoch, wenn die Abweichung zwischen den beiden Prognosen p(N) und p(N|E) hoch ist.
Welche Information liefert mir das auftreten des Zeichens „J“ über die 29 Zeichen? Ich kann mit ziemlicher Sicherheit sagen, dass, wenn als letztes ein „J“ kam, als nächstes definitiv kein „J“ kommen wird.
Das ist es, was Shannon mit Information meint… die Beispiele von Timeout sind sehr gut und haben diesen Punkt genau getroffen.
Die Angabe einer objektiven Wahrscheinlichkeit hängt vom Vorwissen ab. Deswegen sollte man Begriffe wie Wahrscheinlichkeit und Information als objektiv und subjektbezogen verstehen. Der Sinn dieser Begriffe ist es, Wissen zu quantifizieren und Wissen ist nun einmal etwas, das jemand von etwas hat.
Es ist auch nur diese Art von Information für eine holistische Weltanschauung wie deine sinnvoll, Zara.t, da es doch in dieser keine unabhängigen Ereignisse gibt.
Zwei miteinander verschränkte physikalische Systeme habe ich also als 2 miteinander gekoppelte DGQ’s zu betrachten.
Zusammengefasst:
Bei Shannon ist Information ein relativer Begriff und kein absoluter.
Information kann aus einer Quelle nur in Bezug auf eine andere Quelle gewonnen werden.
Information: Wer über wen?
------
Dann noch etwas zur Information als Prima Materia... hierbei ergeben sich die gleichen Probleme wie auch beim normalen Materialismus.
Sprache lässt sich nicht auf Information reduzieren, aber wir setzen eine natürliche Sprache voraus, um überhaupt über Information sprechen zu können.
Dann kommt auch noch das Problem der Bedeutung dazu etc.
Bearbeitet von Andre am 28.01.2007 um 18:34 Uhr.