Eben was Besinnliches für Karfreitag. Mal schaun ob mir auch was für Ostern einfällt.
Information
Thema erstellt von Zara.t.
HP-HP meinte in einem anderen Thread, Physik könne niemals erklären wie aus toter Materie Bewußtsein und Geist entstünden. Stimmt HP-HP.
Aber: Du setzt stillschweigend ein Weltbild voraus, in dem sich die Welt aus toten Dingen(=Elementarteilchen) zusammensetzt und wo daneben irgendwie auch noch Bewußtsein existiert.
Damit das, was wir jetzt als Geist oder Bewußtsein bezeichnen, Gegenstand der Physik werden kann, bedarf es eines Paradigmenwechsels.
Mein Vorschlag für einen solchen:
Das der Welt zugrundeliegende ist Information. Nicht Materie oder Energie und auch nicht Bewußtsein oder Geist.
Mit der dann zu entwickelnden Terminologie sollte sich sowohl die materielle als auch die geistige Welt beschreiben lassen. Ja mehr noch, die neu entstehenden Theorien sollten zeigen, wie Geist und Materie miteinander zusammenhängen.
Aber: Du setzt stillschweigend ein Weltbild voraus, in dem sich die Welt aus toten Dingen(=Elementarteilchen) zusammensetzt und wo daneben irgendwie auch noch Bewußtsein existiert.
Damit das, was wir jetzt als Geist oder Bewußtsein bezeichnen, Gegenstand der Physik werden kann, bedarf es eines Paradigmenwechsels.
Mein Vorschlag für einen solchen:
Das der Welt zugrundeliegende ist Information. Nicht Materie oder Energie und auch nicht Bewußtsein oder Geist.
Mit der dann zu entwickelnden Terminologie sollte sich sowohl die materielle als auch die geistige Welt beschreiben lassen. Ja mehr noch, die neu entstehenden Theorien sollten zeigen, wie Geist und Materie miteinander zusammenhängen.
Hallo,
im Thread "Wie lange dauert die Gegenwart?" ist ja das Thema Information wieder hochgekommen, deshalb ist denke ich eine "Wiedereröffnung" dieses Threads hier sinnvoll.
Zunächst einmal ist es vielleicht sinnvoll, ein wenig den Informationsbegriff einzugrenzen: Der Begriff "Information" wird in der Umgangssprache definitiv anders verwendet als z.B. in der Nachrichtentechnik. Vermutlich wird er auch in unterschiedlichen Wissenschaften unterschiedlich verwendet (z.B. könnte ich mit vorstellen, daß er in den Kognitionswissenschaften ungefähr so verwendet wird wie im Alltag). So eine Mehrfachbedeutung ist nichts ungewöhnliches (z.B. ist das Chaos in meinem Zimmer nicht chaotisch im physikalischen Sinn :-)
), kann aber eine Quelle von Mißverständnissen sein.
Der Alltagsbegriff setzt Information im Wesentlichen mit Bedeutung gleich: Eine Nachricht "Ich komme heute abend" hat eine Information deshalb, weil es für den Empfänger eine Bedeutung hat: Wer immer die Nachricht gesendet hat, plant, heute abend zu kommen; darauf sollte er sich einstellen. Man könnte diesen Informationsbegriff vielleicht charakterisieren als "Information für".
Der Shannonsche Informationsbegriff hat mit Bedeutung nichts zu tun. Hier geht es darum, Nachrichten effizient über Kanäle zu senden. Entscheidend ist daher, was von dem Gesendeten am anderen Ende noch ankommt, nicht, was das Gesendete bedeutet (das verstehen die verwendeten technischen Einrichtungen ohnehin nicht). Allerdings denke ich, dass der Shannonsche Informationsbegriff weiter trägt als üblicherweise angenommen wird. Dazu weiter unten mehr.
Einen Punkt möchte ich aber gleich klären, weil er m.E. eine Quelle von Irrtümern darstellen kann: Es ist auch nach Shannon streng genommen falsch, davon zu sprechen, daß etwas per se eine bestimmte Menge Information enthält (den Fehler habe ich selbst früher in diesem Thread auch gemacht, aber speziell wenn man zum Thema Quanteninformation kommt, halte ich diese Tatsache inzwischen für entscheidend). Bei Shannon hat ein einzelnes System für sich genommen Entropie, aber keine Information Der Shannonsche Informationsbegriff ist nur dann sinnvoll, wenn man zwei Systeme hat, dann ist die Information ein Maß dafür, was man aus dem einen System über das andere System erfahren kann. Man kann also den Shannonschen Informationsbegriff grob charakterisieren als "Information über".
Die Gleichsetzung des Shannonschen Informationsbegriffs mit "Daten", wie es im Beitrag von Hellraiser-rh (Beitrag-Nr. 993-20) anklingt, ist übrigens auch falsch: Man kann Unmengen von Daten senden und dabei doch ganz wenig Information im Shannonschen Sinn übertragen.
Ein weiterer Punkt ist die Empfängeranhängigkeit: Die Shannonsche Information beruht auf Wahrscheinlichkeiten. Ich denke, hier muß der Bayesianische Wahrscheinlichkeitsbegriff angewendet werden, der im wesentlichen darauf beruht, was erwartet wird. Das heißt, die Information hängt letztlich von den Erwartungen ab (die aber durch hinreichende Mengen von Daten auf einen objektiven Wert konvergieren), und somit auch vom Wissen des Empfängers. Insofern können unterschiedliche Beobachter durchaus unterschiedlicher Meinung über den (Shannonschen) Informationsgehalt einer Nachricht haben: Wer Deutsch kann, wird der Zeichenfolge "Donaudampfschiffahrtsgesellschaftskapitän" einen wesentlich geringeren Shannon-Informationswert zuweisen als der Zeichenfolge "Qbanhqnzcsfpuvssnuegftrfryyfpunsgfxncvgäa". Oder anders ausgedrückt: Ein Kompressionsprogramm, das speziell für die Kompression deutscher Texte ausgelegt ist, wird ersteres wesentlich besser komprimieren als letzteres, während für einen generellen Kompressionsalgorithmus kein Unterschied in der Kompression besteht (letzteres ist einfach dasselbe Wort rot13-codiert, so daß die Häufigkeitsverteilung identisch ist, nur eben mit vertauschten Buchstaben). Solche Abhängigkeiten werden normalerweise unter ten Tisch gekehrt, da sie ja ohnehin entweder fest eingebaut werden, oder aber nur eine einmalige Übertragung am Anfang benötigen (z.B. stellen Huffman-Codierer den eigentlichen komprimierten Daten den verwendeten Huffman-Code voraus) und daher bei Übertragung großer Datenmengen nur einen vernachässigbaren Anteil ausmachen.
Und genau diese beiden Aspekte, der "Information über"-Aspekt und der Aspekt der Empfängerabhängigkeit, sind der Grund, warum ich der Meinung bin, daß der Shannon-Informationsbegriff mehr leistet, als allgemein angenommen wird.
Betrachten wir z.B. nochmal obiges Alltagsbeispiel: Jemand bekommt die Nachricht "Ich komme heute abend." Normalerweise wird man den Shannon-Informationsbegriff jetzt nur auf die Informationsübertragung anwenden, vielleicht die Wahrscheinlichkeit der einzelnen Zeichen in der deutschen Sprache berücksichtigen, und daraus einen Informationsgehalt berechnen. Für die Nachrichtenübertragung ist das ja auch ganz angemessen, aber wenn wir den weiteren Kontext betrachten, dann kann dies entweder viel weniger oder auch viel mehr Information darstellen.
Wenn wir uns die Charakterisierung des Shannonschen Informationsbegriffs "Information über" betrachten, dann stellen wir fest, daß obige Betrachtung die Frage beantwortet: "Welche Information erhalten wir über die gesendete Zeichenkette." Diese Betrachtung ist nicht falsch, aber sie ist nicht das, was uns eigentlich interessiert; das ist m.E. der Grund für die scheinbare Diskrepanz des Shannonschen Informationsbegriffes mit dem Alltagsbegriff. Im Alltag interessiert nämlich die Zeichenfolge als solche eher weniger. Vielmehr interessieren Fragen wie "Wie wird mein weiterer Tag verlaufen." Und hier kommt die Bedeutung ins Spiel: Wer die Zeichenfolge "HGJGHKGHJGJK" erhält, wird zwar sehr viel Information darüber bekommen, welche Zeichenfolge ihm gesendet wurde, aber keinerlei zusätzliche Information darüber, wie der restliche Tag ablaufen wird. Umgekehrt enthält aber die Nachricht "Ich komme heute abend" jede Menge Information über den weiteren Tagesablauf, nämlich daß die betreffende Person am Abend vorraussichtlich da sein wird, sowie vielleicht, dass man vorher noch einkaufen muß, etc. All das läßt sich letztlich in Wahrscheinlichkeiten ausdrücken (z.B. die Wahrscheionlichkeit von "diese Person wird heute aben da sein" ist durch die Nachricht von "unwahrscheinlich" auf "sehr wahrscheinlich" angestiegen), und somit kann man dieser Nachricht einen (sehr hohen) Shannonschen Informationswert über den weiteren Tagesverlauf zuordnen.
Ok, soviel für den Moment.
im Thread "Wie lange dauert die Gegenwart?" ist ja das Thema Information wieder hochgekommen, deshalb ist denke ich eine "Wiedereröffnung" dieses Threads hier sinnvoll.
Zunächst einmal ist es vielleicht sinnvoll, ein wenig den Informationsbegriff einzugrenzen: Der Begriff "Information" wird in der Umgangssprache definitiv anders verwendet als z.B. in der Nachrichtentechnik. Vermutlich wird er auch in unterschiedlichen Wissenschaften unterschiedlich verwendet (z.B. könnte ich mit vorstellen, daß er in den Kognitionswissenschaften ungefähr so verwendet wird wie im Alltag). So eine Mehrfachbedeutung ist nichts ungewöhnliches (z.B. ist das Chaos in meinem Zimmer nicht chaotisch im physikalischen Sinn :-)
), kann aber eine Quelle von Mißverständnissen sein.
Der Alltagsbegriff setzt Information im Wesentlichen mit Bedeutung gleich: Eine Nachricht "Ich komme heute abend" hat eine Information deshalb, weil es für den Empfänger eine Bedeutung hat: Wer immer die Nachricht gesendet hat, plant, heute abend zu kommen; darauf sollte er sich einstellen. Man könnte diesen Informationsbegriff vielleicht charakterisieren als "Information für".
Der Shannonsche Informationsbegriff hat mit Bedeutung nichts zu tun. Hier geht es darum, Nachrichten effizient über Kanäle zu senden. Entscheidend ist daher, was von dem Gesendeten am anderen Ende noch ankommt, nicht, was das Gesendete bedeutet (das verstehen die verwendeten technischen Einrichtungen ohnehin nicht). Allerdings denke ich, dass der Shannonsche Informationsbegriff weiter trägt als üblicherweise angenommen wird. Dazu weiter unten mehr.
Einen Punkt möchte ich aber gleich klären, weil er m.E. eine Quelle von Irrtümern darstellen kann: Es ist auch nach Shannon streng genommen falsch, davon zu sprechen, daß etwas per se eine bestimmte Menge Information enthält (den Fehler habe ich selbst früher in diesem Thread auch gemacht, aber speziell wenn man zum Thema Quanteninformation kommt, halte ich diese Tatsache inzwischen für entscheidend). Bei Shannon hat ein einzelnes System für sich genommen Entropie, aber keine Information Der Shannonsche Informationsbegriff ist nur dann sinnvoll, wenn man zwei Systeme hat, dann ist die Information ein Maß dafür, was man aus dem einen System über das andere System erfahren kann. Man kann also den Shannonschen Informationsbegriff grob charakterisieren als "Information über".
Die Gleichsetzung des Shannonschen Informationsbegriffs mit "Daten", wie es im Beitrag von Hellraiser-rh (Beitrag-Nr. 993-20) anklingt, ist übrigens auch falsch: Man kann Unmengen von Daten senden und dabei doch ganz wenig Information im Shannonschen Sinn übertragen.
Ein weiterer Punkt ist die Empfängeranhängigkeit: Die Shannonsche Information beruht auf Wahrscheinlichkeiten. Ich denke, hier muß der Bayesianische Wahrscheinlichkeitsbegriff angewendet werden, der im wesentlichen darauf beruht, was erwartet wird. Das heißt, die Information hängt letztlich von den Erwartungen ab (die aber durch hinreichende Mengen von Daten auf einen objektiven Wert konvergieren), und somit auch vom Wissen des Empfängers. Insofern können unterschiedliche Beobachter durchaus unterschiedlicher Meinung über den (Shannonschen) Informationsgehalt einer Nachricht haben: Wer Deutsch kann, wird der Zeichenfolge "Donaudampfschiffahrtsgesellschaftskapitän" einen wesentlich geringeren Shannon-Informationswert zuweisen als der Zeichenfolge "Qbanhqnzcsfpuvssnuegftrfryyfpunsgfxncvgäa". Oder anders ausgedrückt: Ein Kompressionsprogramm, das speziell für die Kompression deutscher Texte ausgelegt ist, wird ersteres wesentlich besser komprimieren als letzteres, während für einen generellen Kompressionsalgorithmus kein Unterschied in der Kompression besteht (letzteres ist einfach dasselbe Wort rot13-codiert, so daß die Häufigkeitsverteilung identisch ist, nur eben mit vertauschten Buchstaben). Solche Abhängigkeiten werden normalerweise unter ten Tisch gekehrt, da sie ja ohnehin entweder fest eingebaut werden, oder aber nur eine einmalige Übertragung am Anfang benötigen (z.B. stellen Huffman-Codierer den eigentlichen komprimierten Daten den verwendeten Huffman-Code voraus) und daher bei Übertragung großer Datenmengen nur einen vernachässigbaren Anteil ausmachen.
Und genau diese beiden Aspekte, der "Information über"-Aspekt und der Aspekt der Empfängerabhängigkeit, sind der Grund, warum ich der Meinung bin, daß der Shannon-Informationsbegriff mehr leistet, als allgemein angenommen wird.
Betrachten wir z.B. nochmal obiges Alltagsbeispiel: Jemand bekommt die Nachricht "Ich komme heute abend." Normalerweise wird man den Shannon-Informationsbegriff jetzt nur auf die Informationsübertragung anwenden, vielleicht die Wahrscheinlichkeit der einzelnen Zeichen in der deutschen Sprache berücksichtigen, und daraus einen Informationsgehalt berechnen. Für die Nachrichtenübertragung ist das ja auch ganz angemessen, aber wenn wir den weiteren Kontext betrachten, dann kann dies entweder viel weniger oder auch viel mehr Information darstellen.
Wenn wir uns die Charakterisierung des Shannonschen Informationsbegriffs "Information über" betrachten, dann stellen wir fest, daß obige Betrachtung die Frage beantwortet: "Welche Information erhalten wir über die gesendete Zeichenkette." Diese Betrachtung ist nicht falsch, aber sie ist nicht das, was uns eigentlich interessiert; das ist m.E. der Grund für die scheinbare Diskrepanz des Shannonschen Informationsbegriffes mit dem Alltagsbegriff. Im Alltag interessiert nämlich die Zeichenfolge als solche eher weniger. Vielmehr interessieren Fragen wie "Wie wird mein weiterer Tag verlaufen." Und hier kommt die Bedeutung ins Spiel: Wer die Zeichenfolge "HGJGHKGHJGJK" erhält, wird zwar sehr viel Information darüber bekommen, welche Zeichenfolge ihm gesendet wurde, aber keinerlei zusätzliche Information darüber, wie der restliche Tag ablaufen wird. Umgekehrt enthält aber die Nachricht "Ich komme heute abend" jede Menge Information über den weiteren Tagesablauf, nämlich daß die betreffende Person am Abend vorraussichtlich da sein wird, sowie vielleicht, dass man vorher noch einkaufen muß, etc. All das läßt sich letztlich in Wahrscheinlichkeiten ausdrücken (z.B. die Wahrscheionlichkeit von "diese Person wird heute aben da sein" ist durch die Nachricht von "unwahrscheinlich" auf "sehr wahrscheinlich" angestiegen), und somit kann man dieser Nachricht einen (sehr hohen) Shannonschen Informationswert über den weiteren Tagesverlauf zuordnen.
Ok, soviel für den Moment.
Der Informationsbegriff von Shannan ist doch einfach nur auf die Syntax bezogen? Das andere wäre dann semantische und pragmatische Information.
Der letzte Abschnitt ist ganz interessant, von dieser Seite habe ich den Begriff von Shannon noch nicht betrachtet.
Zitat: "Der Shannonsche Informationsbegriff ist nur dann sinnvoll, wenn man zwei Systeme hat, dann ist die Information ein Maß dafür, was man aus dem einen System über das andere System erfahren kann. Man kann also den Shannonschen Informationsbegriff grob charakterisieren als "Information über"."
Ja, dass ist auch der Grund warum ich die Gedanken von Zara.t etwas unverständlich finde. Information ist Kontextabhängig?
Der letzte Abschnitt ist ganz interessant, von dieser Seite habe ich den Begriff von Shannon noch nicht betrachtet.
Zitat: "Der Shannonsche Informationsbegriff ist nur dann sinnvoll, wenn man zwei Systeme hat, dann ist die Information ein Maß dafür, was man aus dem einen System über das andere System erfahren kann. Man kann also den Shannonschen Informationsbegriff grob charakterisieren als "Information über"."
Ja, dass ist auch der Grund warum ich die Gedanken von Zara.t etwas unverständlich finde. Information ist Kontextabhängig?
Andre schrieb in Beitrag Nr. 122-44:Der Informationsbegriff von Shannan ist doch einfach nur auf die Syntax bezogen? Das andere wäre dann semantische und pragmatische Information.
Der Informationsbegriff von Shannon wird m.W. in der Tat normalerweise nur auf der syntaktischen Ebene (Wahrscheinlichkeit bestimmter Zeichen) angewendet (und auf Wahrscheinlichkeitsverteilungen physikalischer Zustände; ob das unter "syntaktisch" fällt, weiß ich nicht, es ist jedenfalls weder semantisch noch pragmatisch). Aber mathematisch benötigt er nichts weiter als eine Wahrscheinlichkeitsverteilung. Deshalb denke ich, es ist auch sinnvoll, ihn überall dort zu verwenden, wo man Wahrscheinlichkeiten hat. In der Tat kann man ihn m.E. rein qualitativ selbst dann anwenden, wenn man nur qualitative Wahrscheinlichkeiten hat (also z.B. nur sagen kann "das ist unwahrscheinlich", ohne für die Unwahrscheinlichkeit eine Zahl angeben zu können). Und der Bayessche Wahrscheinlichkeitsbegriff erlaubt es, Wahrscheinlichkeiten in vielen Fällen zu verwenden, in denen ein frequentistischer Wahrscheinlichkeitsbegriff nicht anwendbar ist (Standardbeispiel ist z.B. eine Wahrscheinlichkeitsverteilung für die Größe des Mars; der Mars existiert nur einmal, da kann man einfach keine sinnvollen Häufigkeiten definieren).
Einen Unterschied zwischen dem Alltags-Informationsbegriff und dem von Shannon habe ich übrigens vergessen: Während der Alltagsbegriff beinhaltet, was wir erfahren haben, ist der Shannonsche Informationsbegriff ein reines Maß, er sagt also nur, wieviel wir erfahren haben.
Letztlich kann man schon so etwas wie eine "Informationskapazität" eines Systems definieren: Nämlich: Wie viel Information kann ich maximal über das System selbst erhalten? Beispielsweise hat ein klassisches Bit (groß B) die Informationskapazität von einem bit (klein b), denn egal wie viel man mir darüber erzählt, ich werde niemals mehr als ein bit an Information darüber in Erfahrung bringen, denn dann kenne ich den Zustand des Bits, und niemand kann mir etwas neues darüber berichten. Ich würde aber nicht (mehr) sagen, daß das Bit diese Information enthält. Schon alleine deshalb nicht, weil Information im Allgemeinen nicht additiv ist (was ein Begriff des "enthaltens" letztlich implizieren würde). Insofern ist Information in der Tat kontextabhängig: Wenn ich z.B. von einem klassischen Bit in einem mir völlig unbekannten Zustand erfahre, daß es denselben Wert hat wie ein anderes Bit, dessen Wert ich aber ebenfalls nicht kenne, dann habe ich über dieses Bit dennoch keinerlei Information erhalten (ich kann immer noch nichts darüber sagen, welchen Wert es hat; nur eben, daß das andere Bit denselben unbekannten Wert hat). Kenne ich allerdings den Wert des anderen Bits, dann liefert mir dieselbe Nachricht in der Tat die Information über den Zustand des fraglichen Bits. Welche Information mir die Nachricht über den Zustand des fraglichen Bits gebracht hat, hängt also vom Kontext ab: Davon, ob ich über das andere Bit bescheid weiß oder nicht. Über das System von beiden Bits zusammen bekomme ich übrigens in beiden Fällen eine Information von einem bit.Zitat:Der letzte Abschnitt ist ganz interessant, von dieser Seite habe ich den Begriff von Shannon noch nicht betrachtet.
Zitat: "Der Shannonsche Informationsbegriff ist nur dann sinnvoll, wenn man zwei Systeme hat, dann ist die Information ein Maß dafür, was man aus dem einen System über das andere System erfahren kann. Man kann also den Shannonschen Informationsbegriff grob charakterisieren als "Information über"."
Ja, dass ist auch der Grund warum ich die Gedanken von Zara.t etwas unverständlich finde. Information ist Kontextabhängig?
Betrachten wir einen Münzwurf. Wieviel Information erzeugen wir durch einen solchen Münzwurf?
Als Ergebnis kommen nur 2 Möglichkeiten in Frage, Kopf oder Zahl, beide gleich wahrscheinlich mit p = 0.5.
Die allgemeine Formel nach der sich der syntaktische Informationsgehalt berechnen läßt lautet:
I = - ld p; wobei ld den logarithmus zur Basis 2 meint.
Für den Münzwurf würde sich demnach fogender Informationsgehalt ergeben:
I(Münzw.) = -ld 0.5 = 1; die Einheit heißt bit, demnach generiert ein Münzwurf ein bit Information
Der Informationsgehalt (oder die Informationsmenge) ist eine additive Größe. Werfen wir 2 Münzen so ist die Gesamtwahrscheinlichkeit des Ergebnisses
p (gesamt) = p1*p2 = 0.5*0.5 = 0.25
I(gesamt) = -ld (0.5*0.5) = - ld0.5 + -ld0.5 = 1 + 1 = 2
oder alternativ: I(gesamt) = -ld 0.25 = 2 = I1 +I2; I1 =I2 =1bezeichnen den Informationsgehalt der je einzelnen Münzwürfe
Morgen erzähl ich was über die Informationsentropie oder den Erwartungswert des Informationsgehaltes.
Es wird sich zeigen, daß der Shannonsche Informationsbegriff von möglicher Information handelt.
bis denn
zara.t.
Als Ergebnis kommen nur 2 Möglichkeiten in Frage, Kopf oder Zahl, beide gleich wahrscheinlich mit p = 0.5.
Die allgemeine Formel nach der sich der syntaktische Informationsgehalt berechnen läßt lautet:
I = - ld p; wobei ld den logarithmus zur Basis 2 meint.
Für den Münzwurf würde sich demnach fogender Informationsgehalt ergeben:
I(Münzw.) = -ld 0.5 = 1; die Einheit heißt bit, demnach generiert ein Münzwurf ein bit Information
Der Informationsgehalt (oder die Informationsmenge) ist eine additive Größe. Werfen wir 2 Münzen so ist die Gesamtwahrscheinlichkeit des Ergebnisses
p (gesamt) = p1*p2 = 0.5*0.5 = 0.25
I(gesamt) = -ld (0.5*0.5) = - ld0.5 + -ld0.5 = 1 + 1 = 2
oder alternativ: I(gesamt) = -ld 0.25 = 2 = I1 +I2; I1 =I2 =1bezeichnen den Informationsgehalt der je einzelnen Münzwürfe
Morgen erzähl ich was über die Informationsentropie oder den Erwartungswert des Informationsgehaltes.
Es wird sich zeigen, daß der Shannonsche Informationsbegriff von möglicher Information handelt.
bis denn
zara.t.
Ein anschaulicherer Zugang:
Du wirfst eine Münze, das Ergebnis ist für mich unsichtbar. Wieviele Fragen, die du nur mit ja oder nein beantworten darfst, muß ich dir minimalst stellen um das Ergebnis in Erfahrung zu bringen?
In dem Fall genügt eine einzige Frage: z.B.: Ist das Ergebnis "Zahl"?
Eine Frage heißt der Informationsgehalt beträgt 1bit.
Wir nehmen 2 Münzen. Claro, ich muß zweimal fragen. Für jede Münze einmal. Der Wurf zweier Münzen erzeugt demnach 2bit.
Hausarbeit: wieviel bit erzeugt ein Würfelwurf (Würfel mit sechs Seiten) ?
zara.t.
Du wirfst eine Münze, das Ergebnis ist für mich unsichtbar. Wieviele Fragen, die du nur mit ja oder nein beantworten darfst, muß ich dir minimalst stellen um das Ergebnis in Erfahrung zu bringen?
In dem Fall genügt eine einzige Frage: z.B.: Ist das Ergebnis "Zahl"?
Eine Frage heißt der Informationsgehalt beträgt 1bit.
Wir nehmen 2 Münzen. Claro, ich muß zweimal fragen. Für jede Münze einmal. Der Wurf zweier Münzen erzeugt demnach 2bit.
Hausarbeit: wieviel bit erzeugt ein Würfelwurf (Würfel mit sechs Seiten) ?
zara.t.
Bearbeitet von Zara.t. am 25.01.2007 um 18:27 Uhr.
Zitat: "Der Informationsgehalt (oder die Informationsmenge) ist eine additive Größe. Werfen wir 2 Münzen so ist die Gesamtwahrscheinlichkeit des Ergebnisses"
Hm? Du hast hier zwei Ereignisse, die unabhängig voneinander sind... nur deswegen kannst du sie miteinander multiplizieren. (Und das kann auch nur in einer Näherung gültig sein.)
Und du vergisst etwas ganz Entscheidendes... dass im Grunde jede Wahrscheinlichkeit nur eine bedingte Wahrscheinlichkeit ist. Man kann aber auch hier vereinfachen und idealisieren und dann redet man eben von Wahrscheinlichkeiten.
Zitat: "I(Münzw.) = -ld 0.5 = 1; die Einheit heißt bit, demnach generiert ein Münzwurf ein bit Information"
Vorausgesetzt, man verfügt über das Wissen des Beobachters.
Zitat: "Hausarbeit: wieviel bit erzeugt ein Würfelwurf (Würfel mit sechs Seiten) ?"
Die Antwort: log(6) ... alles die gleiche Wahrscheinlichkeit, also auch maximale Entropie.
Interessant ist aber die bedingte Entropie und die "eigentliche" Definition von Information bei Shannon... die nicht mehr diesen "an sich" Charakter hat.
Hm? Du hast hier zwei Ereignisse, die unabhängig voneinander sind... nur deswegen kannst du sie miteinander multiplizieren. (Und das kann auch nur in einer Näherung gültig sein.)
Und du vergisst etwas ganz Entscheidendes... dass im Grunde jede Wahrscheinlichkeit nur eine bedingte Wahrscheinlichkeit ist. Man kann aber auch hier vereinfachen und idealisieren und dann redet man eben von Wahrscheinlichkeiten.
Zitat: "I(Münzw.) = -ld 0.5 = 1; die Einheit heißt bit, demnach generiert ein Münzwurf ein bit Information"
Vorausgesetzt, man verfügt über das Wissen des Beobachters.
Zitat: "Hausarbeit: wieviel bit erzeugt ein Würfelwurf (Würfel mit sechs Seiten) ?"
Die Antwort: log(6) ... alles die gleiche Wahrscheinlichkeit, also auch maximale Entropie.
Interessant ist aber die bedingte Entropie und die "eigentliche" Definition von Information bei Shannon... die nicht mehr diesen "an sich" Charakter hat.
Bearbeitet von Andre am 25.01.2007 um 18:42 Uhr.
Bleiben wir doch einfach mal beim Münzwurf, nehmen aber ein leicht komplexeres Beispiel:
In einer Schublade liegen drei Münzen, die äußerlich gleich aussehen. Allerdings weiß ich, daß nur eine der Münzen fair ist, also gleich oft Kopf und Zahl liefert. Die beiden anderen Münzen sind gezinkt, und zwar so, daß die eine doppelt so oft Zahl wie Kopf liefert, und die andere umgekehrt.
Ok, nun nehme ich aufs Geratewohl eine der drei Münzen heraus und werfe sie. Was ist die Wahrscheinlichkeit, daß das Ergebnis Kopf ist? Nun, eine einfache Rechnung zeigt, daß diese Wahrscheinlichkeit gerade 0.5 ist.
So, nun werfe ich dieselbe Münze insgesamt tausendmal, und stelle fest, daß die Hälfte der Würfe Kopf erziehlt. Was ist also die Wahrscheinlichkeit, bein tausendundersten Wurf wiederum Kopf zu werfen? Ganz klar, wieder 0.5! Also habe ich aus meiner ganzen Werferei nichts gelernt? Nach Deiner Interpretation nicht: Jeder Münzwurf hat mir genau 1 bit Information geliefert (jedenfalls garantiert nicht mehr als 1 bit), und dieses bit ist "aufgebraucht" worden für die Entscheidung "Kopf oder Zahl?"
Ich habe aber etwas dazugelernt! Nämlich, daß ich mit an Sicherheit grenzender Wahrscheinlichkeit die ungezinkte Münze erwischt habe. Da es ursprünglich 3 Möglichkeiten gab (faire Münze, kopflastige Münze, zahllastige Münze), habe ich also ld 3 = 1.6 bit Information über die Münze gewonnen. Wo aber ist diese Information hergekommen, da ich ja die Informationen aus den Münzwürfen bereits für die Wurfergebnisse verbraucht habe?
Worüber ich hingegen tatsächlich nichts gelernt habe, ist über das Ergebnis des tausendundersten Wurfs. Und genau das zeigt sich in der gleichgebliebenen Wahrscheinlichkeitsverteilung. Der tausendunderste Wurf wird mir über das Ergebnis dieses Wurfes 1 bit Information liefern. Er wird mir über die gewählte Münze praktisch keine Information mehr liefern, da ich ja schon ziemlich sicher weiß, welche es ist.
In einer Schublade liegen drei Münzen, die äußerlich gleich aussehen. Allerdings weiß ich, daß nur eine der Münzen fair ist, also gleich oft Kopf und Zahl liefert. Die beiden anderen Münzen sind gezinkt, und zwar so, daß die eine doppelt so oft Zahl wie Kopf liefert, und die andere umgekehrt.
Ok, nun nehme ich aufs Geratewohl eine der drei Münzen heraus und werfe sie. Was ist die Wahrscheinlichkeit, daß das Ergebnis Kopf ist? Nun, eine einfache Rechnung zeigt, daß diese Wahrscheinlichkeit gerade 0.5 ist.
So, nun werfe ich dieselbe Münze insgesamt tausendmal, und stelle fest, daß die Hälfte der Würfe Kopf erziehlt. Was ist also die Wahrscheinlichkeit, bein tausendundersten Wurf wiederum Kopf zu werfen? Ganz klar, wieder 0.5! Also habe ich aus meiner ganzen Werferei nichts gelernt? Nach Deiner Interpretation nicht: Jeder Münzwurf hat mir genau 1 bit Information geliefert (jedenfalls garantiert nicht mehr als 1 bit), und dieses bit ist "aufgebraucht" worden für die Entscheidung "Kopf oder Zahl?"
Ich habe aber etwas dazugelernt! Nämlich, daß ich mit an Sicherheit grenzender Wahrscheinlichkeit die ungezinkte Münze erwischt habe. Da es ursprünglich 3 Möglichkeiten gab (faire Münze, kopflastige Münze, zahllastige Münze), habe ich also ld 3 = 1.6 bit Information über die Münze gewonnen. Wo aber ist diese Information hergekommen, da ich ja die Informationen aus den Münzwürfen bereits für die Wurfergebnisse verbraucht habe?
Worüber ich hingegen tatsächlich nichts gelernt habe, ist über das Ergebnis des tausendundersten Wurfs. Und genau das zeigt sich in der gleichgebliebenen Wahrscheinlichkeitsverteilung. Der tausendunderste Wurf wird mir über das Ergebnis dieses Wurfes 1 bit Information liefern. Er wird mir über die gewählte Münze praktisch keine Information mehr liefern, da ich ja schon ziemlich sicher weiß, welche es ist.
Hallo Zusammen.
Eine hochinteressante Diskussion.
Zu Beginn versuche ich mich mal an der Hausaufgabe. Ich tippe auf 3 bit...
Den Zusammenhang zwischen Information und Bewusstsein, bzw. zwischen I. und Erkenntnis finde ich am interessantesten. In diese Richtung ordne ich auch die Aussage ein, dass Information mindestens zwei Systeme voraussetzt.
Und dann greife ich nochmal das Beispiel vom Apfel. Es ist ja nicht vom Apfel abhängig, welche Informationen "ihm entnommen werden" für uns mag er rot und süß sein, für eine Fledermaus ist es vielleicht farblos und ungenießbar. Eine Infromation entsteht also erst, wenn zwei Systeme miteinander interagieren.
Sie bedarf vielleicht keines Mediums, aber sie bedarf eines anderen Systems.
Beispiel Licht: Wenn es einfach Duch die Leere zischt ist es unsichtbar, es ist quasi nicht vorhanden. Es muss wechselwirken um sich als Licht zu realisieren. Wenn man das nun verallgemeinert muss alles Wechselwirken um zu sein.
Wie kann nun Information die Grundeinheit der Welt darstellen, wenn sie erst auftaucht, das schon Welt ist?
Andererseits ist eine Welt ohne Information nicht denkbar.
Es ist wohl so, wie Luna geschrieben hat, jeder Teil der Welt enthält die Informationen seiner Welt.
Das soll bedeuten, das eben in unserer Welt der Apfel rot und süß ist, während er in der Welt eines anderen Lebewesens das nicht ist.
Wie man jetzt dem ganzen mit wahrscheinlichkeiten beikommen will ist mir allerdings nicht ganz klar.
Ist das ganze nicht eine Attributionsangelegenheit, für uns mag der Apfel mehr Informationen zu enthalten, weil nicht an jedem Baum welche hängen, also die Wahrscheinlichkeit, dass ich einen Apfel antreffe geringer ist, als die einen Baum zu finden. Aber wird dadurch der Informationsgehalt des Apfels erhöht? Und der Fledermaus ist es ja wie gesagt sowieso wurscht, obwohl die Wahrscheinlichkeit bei ihr genauso zum Tragen kommen müsste.
Erst dadurch, das uns der apfel etwas bedeutet bringt uns doch dazu, mehr Informationen mit im zu verknüpfen.
Für eine Fledermaus enthält ein Münzwurf zum Beispiel auch weniger Informationen, weil für sie uninteressant ist, welche Seite fällt. Oder? Eigene Zweifel. Die Information Münze liegt auf der Seite ist ja immer noch 1bit ..., die Wagrscheinlichkeit des Zustandes muss hier nur nicht weiter ausdifferenziert werden.
Da frage ich mich nun, ob die Münze für uns nicht doch mehr Information "bereit hält"?
Drastischer wird es beim Würfel, da steht die Fledermaus immer noch mit einem bit da...
Eine hochinteressante Diskussion.
Zu Beginn versuche ich mich mal an der Hausaufgabe. Ich tippe auf 3 bit...
Den Zusammenhang zwischen Information und Bewusstsein, bzw. zwischen I. und Erkenntnis finde ich am interessantesten. In diese Richtung ordne ich auch die Aussage ein, dass Information mindestens zwei Systeme voraussetzt.
Und dann greife ich nochmal das Beispiel vom Apfel. Es ist ja nicht vom Apfel abhängig, welche Informationen "ihm entnommen werden" für uns mag er rot und süß sein, für eine Fledermaus ist es vielleicht farblos und ungenießbar. Eine Infromation entsteht also erst, wenn zwei Systeme miteinander interagieren.
Sie bedarf vielleicht keines Mediums, aber sie bedarf eines anderen Systems.
Beispiel Licht: Wenn es einfach Duch die Leere zischt ist es unsichtbar, es ist quasi nicht vorhanden. Es muss wechselwirken um sich als Licht zu realisieren. Wenn man das nun verallgemeinert muss alles Wechselwirken um zu sein.
Wie kann nun Information die Grundeinheit der Welt darstellen, wenn sie erst auftaucht, das schon Welt ist?
Andererseits ist eine Welt ohne Information nicht denkbar.
Es ist wohl so, wie Luna geschrieben hat, jeder Teil der Welt enthält die Informationen seiner Welt.
Das soll bedeuten, das eben in unserer Welt der Apfel rot und süß ist, während er in der Welt eines anderen Lebewesens das nicht ist.
Wie man jetzt dem ganzen mit wahrscheinlichkeiten beikommen will ist mir allerdings nicht ganz klar.
Ist das ganze nicht eine Attributionsangelegenheit, für uns mag der Apfel mehr Informationen zu enthalten, weil nicht an jedem Baum welche hängen, also die Wahrscheinlichkeit, dass ich einen Apfel antreffe geringer ist, als die einen Baum zu finden. Aber wird dadurch der Informationsgehalt des Apfels erhöht? Und der Fledermaus ist es ja wie gesagt sowieso wurscht, obwohl die Wahrscheinlichkeit bei ihr genauso zum Tragen kommen müsste.
Erst dadurch, das uns der apfel etwas bedeutet bringt uns doch dazu, mehr Informationen mit im zu verknüpfen.
Für eine Fledermaus enthält ein Münzwurf zum Beispiel auch weniger Informationen, weil für sie uninteressant ist, welche Seite fällt. Oder? Eigene Zweifel. Die Information Münze liegt auf der Seite ist ja immer noch 1bit ..., die Wagrscheinlichkeit des Zustandes muss hier nur nicht weiter ausdifferenziert werden.
Da frage ich mich nun, ob die Münze für uns nicht doch mehr Information "bereit hält"?
Drastischer wird es beim Würfel, da steht die Fledermaus immer noch mit einem bit da...
"Wenn man das nun verallgemeinert muss alles Wechselwirken um zu sein.
H.P.Duerr sagte einmal, die Welt bestünde nicht aus Dingen, nicht aus Objekten, sondern aus Wirkungen, die er "Wirks" nannte.
Wie kann nun Information die Grundeinheit der Welt darstellen, wenn sie erst auftaucht, das schon Welt ist?
Andererseits ist eine Welt ohne Information nicht denkbar."
Die Information -so wie ich sie postuliere-, taucht nicht erst auf, wenn schon Welt ist.
Information in diesem Sinne ist PRIMA MATERIA.
Aus ihr ist alles geworden. Und das, was noch die Potentia hat zu werden, ist noch Information in diesem Urzustande. Nämlich "irgendwann" mal mögliche Erfahrung. Der Umschlag von potentieller in faktische Wahrnehmung definiert uns Zeit.
Aus Wikipedia: "Im Rahmen der Metaphysik (nach Aristoteles, zara.t.) versteht man unter der materia prima die reine Potenz, d.h. ein kategorial völlig unbestimmtes Seiendes."
zara.t.
H.P.Duerr sagte einmal, die Welt bestünde nicht aus Dingen, nicht aus Objekten, sondern aus Wirkungen, die er "Wirks" nannte.
Wie kann nun Information die Grundeinheit der Welt darstellen, wenn sie erst auftaucht, das schon Welt ist?
Andererseits ist eine Welt ohne Information nicht denkbar."
Die Information -so wie ich sie postuliere-, taucht nicht erst auf, wenn schon Welt ist.
Information in diesem Sinne ist PRIMA MATERIA.
Aus ihr ist alles geworden. Und das, was noch die Potentia hat zu werden, ist noch Information in diesem Urzustande. Nämlich "irgendwann" mal mögliche Erfahrung. Der Umschlag von potentieller in faktische Wahrnehmung definiert uns Zeit.
Aus Wikipedia: "Im Rahmen der Metaphysik (nach Aristoteles, zara.t.) versteht man unter der materia prima die reine Potenz, d.h. ein kategorial völlig unbestimmtes Seiendes."
zara.t.
Bearbeitet von Zara.t. am 26.01.2007 um 11:51 Uhr.
Hallo Kaimangadil,
Zitat: "Ich tippe auf 3 bit..."
Es ist log2(6) = etwas bei 2,58 ... gerade Zahlen kommen wegen der Basis von 2 nur bei 2,4,8,16 etc.
Man kann es so interpretieren, dass im Durchschnitt 2,58 Fragen notwendig sind, um zur Lösung zu gelangen.
Zitat: "Wie man jetzt dem ganzen mit wahrscheinlichkeiten beikommen will ist mir allerdings nicht ganz klar."
Das kommt aus der Nachrichtentechnik... und es ist eine sehr sinnvolle Begriffsdefinition von mehreren. In der Biologie und der Psychologie wird Information wieder unter einem anderen Aspekt betrachtet... und hier ist Information auch nicht so klar definiert, da hier Mathematik nicht die gleiche Rolle spielt.
Zum Beispiel ist bei Lebewesen Information nur etwas, dass auch verstanden wird. Hier spielen dann "Erstmaligkeit" und "Bestätigung" eine Rolle.
Die "pragmatische Information" ist besonders hoch, wenn die Erstmaligkeit und die Bestätigung sehr hoch sind. Wenn ich zum Beispiel einen Text lese, den ich noch nie gelesen habe (Erstmaligkeit sehr hoch) und der in einer Sprache geschrieben ist, die ich verstehe (Bestätigung sehr hoch), dann ist der Informationsgehalt hoch.
Ist er aber in einer anderen Sprache verfasst, dann wäre die Bestätigung durchschnittlich, wenn ich die Sprache einigermaßen beherrsche und sie wäre Null, wenn ich die Sprache nicht kenne... dementsprechend wäre auch der Informationsgehalt geringer.
In die Bestätigung fließt aber mehr als nur das ein... zum Beispiel auch meine Bildung. Wenn ich einen Geschichtsroman lese, mich danach mehr mit Geschichte befasse und ihn noch einmal lese, kann dadurch die Bestätigung erhöht werden und das Buch bietet mir dann auch einen höheren Informationsgehalt.
In der Definition von Shannon spielt nur die Erstmaligkeit eine Rolle...
Hallo zara.t
Das finde ich absolut unverständlich... obwohl ich es bestens verstehe. Unverständlich ist mir, warum du so unkritisch bist? Das unterscheidet sich nicht im geringsten vom ganz normalen Materialismus oder dem Idealismus... der Fehler ist eigentlich jedes Mal der gleiche - dass du nämlich schon glaubst zu wissen, was Begriffe wie "Wissen", "Erfahrung", "Erkenntnis", "Wahrheit" und so weiter bedeuten würden.
Da war Platon schon weiter... den echten Platon meine ich, nicht die Platon-Interpretation von Aristoteles, die fast gar nichts mehr von der Erkenntniskritik Platons enthält. Um es genau zu sagen... Aristoteles hat da am Glas vorbei geredet.
Zitat: "Nämlich "irgendwann" mal mögliche Erfahrung."
Ja, aber damit bewegst du dich doch nirgendwo anders, als in unserer Erfahrungswelt. Die Welt besteht für ein Lebewesen aus genau so viel "Information", wie dieses Lebewesen Unterscheidungen treffen kann. Durch unsere Technologie können wir unsere Umwelt noch sehr viel genauer differenzieren. Vergiss das bitte nicht, bevor du Information einen ontologischen Status zuschiebst.
Steckt der "Geist" nicht schon längst in deiner "Prima Materia" Information drin? ... du kannst doch jetzt nicht einfach den ganzen Prozess, der zu diesem Wissen geführt hat, außer acht lassen.
Habe gerade in dem anderen Thread im Grunde meine Antwort von dir erhalten.
Gut... ja, dann ergibt das schon alles Sinn, was du sagst. Aber dann ist es genau dieser Punkt, über den man diskutieren müsste. ;-)
Aber besser in einem anderen Thread.
Zitat: "Ich tippe auf 3 bit..."
Es ist log2(6) = etwas bei 2,58 ... gerade Zahlen kommen wegen der Basis von 2 nur bei 2,4,8,16 etc.
Man kann es so interpretieren, dass im Durchschnitt 2,58 Fragen notwendig sind, um zur Lösung zu gelangen.
Zitat: "Wie man jetzt dem ganzen mit wahrscheinlichkeiten beikommen will ist mir allerdings nicht ganz klar."
Das kommt aus der Nachrichtentechnik... und es ist eine sehr sinnvolle Begriffsdefinition von mehreren. In der Biologie und der Psychologie wird Information wieder unter einem anderen Aspekt betrachtet... und hier ist Information auch nicht so klar definiert, da hier Mathematik nicht die gleiche Rolle spielt.
Zum Beispiel ist bei Lebewesen Information nur etwas, dass auch verstanden wird. Hier spielen dann "Erstmaligkeit" und "Bestätigung" eine Rolle.
Die "pragmatische Information" ist besonders hoch, wenn die Erstmaligkeit und die Bestätigung sehr hoch sind. Wenn ich zum Beispiel einen Text lese, den ich noch nie gelesen habe (Erstmaligkeit sehr hoch) und der in einer Sprache geschrieben ist, die ich verstehe (Bestätigung sehr hoch), dann ist der Informationsgehalt hoch.
Ist er aber in einer anderen Sprache verfasst, dann wäre die Bestätigung durchschnittlich, wenn ich die Sprache einigermaßen beherrsche und sie wäre Null, wenn ich die Sprache nicht kenne... dementsprechend wäre auch der Informationsgehalt geringer.
In die Bestätigung fließt aber mehr als nur das ein... zum Beispiel auch meine Bildung. Wenn ich einen Geschichtsroman lese, mich danach mehr mit Geschichte befasse und ihn noch einmal lese, kann dadurch die Bestätigung erhöht werden und das Buch bietet mir dann auch einen höheren Informationsgehalt.
In der Definition von Shannon spielt nur die Erstmaligkeit eine Rolle...
Hallo zara.t
Zitat:Information in diesem Sinne ist PRIMA MATERIA.
Das finde ich absolut unverständlich... obwohl ich es bestens verstehe. Unverständlich ist mir, warum du so unkritisch bist? Das unterscheidet sich nicht im geringsten vom ganz normalen Materialismus oder dem Idealismus... der Fehler ist eigentlich jedes Mal der gleiche - dass du nämlich schon glaubst zu wissen, was Begriffe wie "Wissen", "Erfahrung", "Erkenntnis", "Wahrheit" und so weiter bedeuten würden.
Da war Platon schon weiter... den echten Platon meine ich, nicht die Platon-Interpretation von Aristoteles, die fast gar nichts mehr von der Erkenntniskritik Platons enthält. Um es genau zu sagen... Aristoteles hat da am Glas vorbei geredet.
Zitat: "Nämlich "irgendwann" mal mögliche Erfahrung."
Ja, aber damit bewegst du dich doch nirgendwo anders, als in unserer Erfahrungswelt. Die Welt besteht für ein Lebewesen aus genau so viel "Information", wie dieses Lebewesen Unterscheidungen treffen kann. Durch unsere Technologie können wir unsere Umwelt noch sehr viel genauer differenzieren. Vergiss das bitte nicht, bevor du Information einen ontologischen Status zuschiebst.
Steckt der "Geist" nicht schon längst in deiner "Prima Materia" Information drin? ... du kannst doch jetzt nicht einfach den ganzen Prozess, der zu diesem Wissen geführt hat, außer acht lassen.
Habe gerade in dem anderen Thread im Grunde meine Antwort von dir erhalten.
Zitat:Somit ist eine epistemische Änderung -das Wissen eines Beobachters- gleichzeitig eine ontische Änderung.
Gut... ja, dann ergibt das schon alles Sinn, was du sagst. Aber dann ist es genau dieser Punkt, über den man diskutieren müsste. ;-)
Aber besser in einem anderen Thread.Bearbeitet von Andre am 26.01.2007 um 15:44 Uhr.
INFORMATIONSENTROPIE
Wir betrachten zwei identisch gezinkte Münzen.
Für beide Münzen gelte:
Kopf repräsentiere 0; mit der Wurf-Wahrscheinlichkeit p = 1/3
Zahl repräsentiere 1; mit der Wurf-wahrscheinlichkeit q =2/3
und wie erforderlich: p+q = 1
dann lassen sich durch Werfen beider Münzen insgesamt vier Zeichen (Zahlen) generieren:
00, 01, 10, 11 (Kopf Kopf), (Kopf Zahl), usw..........
Immer wenn wir beide Münzen werfen, erhalten wir eines dieser Zeichen. In der informationstheoretischen Sprache Shannons könnten wir sagen:
Einem Sender stünden 4 Zeichen zur Verfügung, die er qua Wurf einem Empfänger mitteilen könnte.
Welchen Informationsgehalt haben die vier Zeichen?
1.) 00:.... I(00) = -ld(1/3*1/3) = -ld1/9 ; die Wahrscheinlichkeit p1 00 zu werfen : p1 = 1/9
2.) 01:.... I(01) = -ld(1/3*2/3) = -ld2/9 .......................................... p2 = 2/9
3.) 10:.... I(10) = I(01) ...................................................................p3 = 2/9
4) 11:.... I(11) = -ld(2/3*2/3) = -ld4/9 ............................................p4 = 4/9
Jetzt ist die Frage nach dem bei einem durchschnittlichen Wurf zu erwartenden Informationsgehalt H sinnvoll.
H = -( p1*ldp1 + p2*ldp2 + p3*ldp3 + p4*ldp4 ); mit p1 +p2 + p3 + p4 = 1
allgemein: H = Summe aller pi*Ii = Summe aller pi*ldpi; wobei über alle Indizes i summiert wird. i ist ein Index!!!
(sorry für die Schreibweise)
Diese Formel ist formal identisch mit der Formel für die thermodynamische Entropie und wird deshalb auch als Informationsentropie bezeichnet.
Was kann uns das sagen? Dazu später mehr.
bis bald
zara.t.
Wir betrachten zwei identisch gezinkte Münzen.
Für beide Münzen gelte:
Kopf repräsentiere 0; mit der Wurf-Wahrscheinlichkeit p = 1/3
Zahl repräsentiere 1; mit der Wurf-wahrscheinlichkeit q =2/3
und wie erforderlich: p+q = 1
dann lassen sich durch Werfen beider Münzen insgesamt vier Zeichen (Zahlen) generieren:
00, 01, 10, 11 (Kopf Kopf), (Kopf Zahl), usw..........
Immer wenn wir beide Münzen werfen, erhalten wir eines dieser Zeichen. In der informationstheoretischen Sprache Shannons könnten wir sagen:
Einem Sender stünden 4 Zeichen zur Verfügung, die er qua Wurf einem Empfänger mitteilen könnte.
Welchen Informationsgehalt haben die vier Zeichen?
1.) 00:.... I(00) = -ld(1/3*1/3) = -ld1/9 ; die Wahrscheinlichkeit p1 00 zu werfen : p1 = 1/9
2.) 01:.... I(01) = -ld(1/3*2/3) = -ld2/9 .......................................... p2 = 2/9
3.) 10:.... I(10) = I(01) ...................................................................p3 = 2/9
4) 11:.... I(11) = -ld(2/3*2/3) = -ld4/9 ............................................p4 = 4/9
Jetzt ist die Frage nach dem bei einem durchschnittlichen Wurf zu erwartenden Informationsgehalt H sinnvoll.
H = -( p1*ldp1 + p2*ldp2 + p3*ldp3 + p4*ldp4 ); mit p1 +p2 + p3 + p4 = 1
allgemein: H = Summe aller pi*Ii = Summe aller pi*ldpi; wobei über alle Indizes i summiert wird. i ist ein Index!!!
(sorry für die Schreibweise)
Diese Formel ist formal identisch mit der Formel für die thermodynamische Entropie und wird deshalb auch als Informationsentropie bezeichnet.
Was kann uns das sagen? Dazu später mehr.
bis bald
zara.t.
Bearbeitet von Zara.t. am 26.01.2007 um 17:45 Uhr.
Zara.t. schrieb in Beitrag Nr. 122-53:INFORMATIONSENTROPIE
Wir betrachten zwei identisch gezinkte Münzen.
Für beide Münzen gelte:
Kopf repräsentiere 0; mit der Wurf-Wahrscheinlichkeit p = 1/3
Zahl repräsentiere 1; mit der Wurf-wahrscheinlichkeit q =2/3
und wie erforderlich: p+q = 1
Und damit hast Du eine sehr spezielle Situation geschaffen. Eine, in der insbesondere alle relevanten Informationen über die Münzen bereits im Voraus bekannt sind. Das einzige, worüber man noch etwas lernen kann, sind die Ergebnisse der Münzwürfe, und die sind statistisch unabhängig.
Ok, was hat Du mit Deiner darauf folgenden Informations/Entropierechnung nun tatsächlich ausgerechnet? Nun, die Information, die wir aus dem Ergebnis des Wurfes beider Münzen über das Ergebnis des Wurfes dieser beiden Münzen erhalten. Was in diesem Fall nicht so auffällig ist, weil das die einzige Information ist, die wir nicht ohnehin schon im Voraus besitzen, anders als z.B. in meinem Drei-Münzen-Beispiel weiter oben. Leider bist Du auf meine Frage dort nicht eingegangen: Wenn Information wirklich (wie Du behauptest) prinzipiell additiv ist (und nicht nur in Spezialfällen wie dem von Dir hier konstruierten), und bei meinen Münzwürfen die Information bereits durch die Ergebnisse der Münzwürfe aufgebraucht wird (wie sich bei dieser Annahme leicht nachrechnen läßt), woher kommt dann die Information darüber, welche Münze ich habe?
Nebenbei: Die Entropie in der (Gleichgewichts-)Thermodynamik ist nur deshalb additiv, weil wir es mit Gleichgewichtszuständen zu tun haben. Im Allgemeinen ist sie durchaus nicht additiv, sondern konvex: Die Entropie des Gesamtsystems ist stets kleiner oder gleich der Summe der Entropien der Teilsysteme. Im Gleichgewichtszustand hat das Gesamtsystem aber die höchste mögliche Entropie, und die ist eben gleich der Summe der Entropien der Teilsysteme.
Übrigens ist im Bereich der Quantenmechanik das EPR-Experiment ein schönes Beispiel für die Nichtadditivität: Die Entropie des Gesamtsystems aus beiden Teilchen ist Null; jedes einzelne Teilchen hat aber die Entropie 1 bit.
Insofern könnte man aus Entropiesicht auch sagen: Das Ganze ist weniger als die Summe seiner Teile! :-)
Bearbeitet von Timeout am 27.01.2007 um 00:29 Uhr.
Timeout: "In einer Schublade liegen drei Münzen, die äußerlich gleich aussehen. Allerdings weiß ich, daß nur eine der Münzen fair ist, also gleich oft Kopf und Zahl liefert. Die beiden anderen Münzen sind gezinkt, und zwar so, daß die eine doppelt so oft Zahl wie Kopf liefert, und die andere umgekehrt.
Ok, nun nehme ich aufs Geratewohl eine der drei Münzen heraus und werfe sie. Was ist die Wahrscheinlichkeit, daß das Ergebnis Kopf ist? Nun, eine einfache Rechnung zeigt, daß diese Wahrscheinlichkeit gerade 0.5 ist.
So, nun werfe ich dieselbe Münze insgesamt tausendmal, und stelle fest, daß die Hälfte der Würfe Kopf erziehlt. Was ist also die Wahrscheinlichkeit, bein tausendundersten Wurf wiederum Kopf zu werfen? Ganz klar, wieder 0.5! Also habe ich aus meiner ganzen Werferei nichts gelernt? Nach Deiner Interpretation nicht: Jeder Münzwurf hat mir genau 1 bit Information geliefert (jedenfalls garantiert nicht mehr als 1 bit), und dieses bit ist "aufgebraucht" worden für die Entscheidung "Kopf oder Zahl?"
Ich habe aber etwas dazugelernt! Nämlich, daß ich mit an Sicherheit grenzender Wahrscheinlichkeit die ungezinkte Münze erwischt habe. Da es ursprünglich 3 Möglichkeiten gab (faire Münze, kopflastige Münze, zahllastige Münze), habe ich also ld 3 = 1.6 bit Information über die Münze gewonnen. Wo aber ist diese Information hergekommen, da ich ja die Informationen aus den Münzwürfen bereits für die Wurfergebnisse verbraucht habe?"
Hi timeout, wir brauchen einen Sender und einen Empfänger. Laß mich der Sender sein. Ich nehme also eine Münze werfe sie und teile dir das Ergebnis per Telephon mit. Per Telephon!!
Du siehst nicht, was ich tue.
Nun hast du nach tausend Versuchen statistisch etwa gleich viel Kopf und Zahl erhalten.
Was kannst du folgern?
1. zara.t. hat immer dieselbe Münze benutzt, nämlich die ungezinkte.
oder
2. er hat blind zugegriffen, also statistisch bei 1000 runs etwa jede Münze gleich oft geworfen
Um nun Information darüber zu bekommen was ich wirklich gemacht habe, mußt du mich fragen. Du mußt Zusatzinformation einholen.
z.B. könntest du fragen: hast du immer dieselbe Münze benutzt. Antworte ich mit "ja" hast du eine Information deren Informationsgehalt IMHO von der Anzahl n der runs abhängig ist. I = f(n)
Deine Statistik wird immer besser. Claro.
Antworte ich mit "nein", weißt du daß ich alle drei Münzen etwa gleich oft geworfen habe. Streng genommen bedarf es zu dieser Erkenntnis einer sehr genauen statistischen Analyse des zeitlichen Verlaufs unseres Versuchs.
Wieviel Information diese Antwort enthält, kann ich dir gerade mal leider nicht sagen. Muß ich nachdenken.
Ist ein sehr anregendes Beispiel.
Gruß
zara.t.
Ok, nun nehme ich aufs Geratewohl eine der drei Münzen heraus und werfe sie. Was ist die Wahrscheinlichkeit, daß das Ergebnis Kopf ist? Nun, eine einfache Rechnung zeigt, daß diese Wahrscheinlichkeit gerade 0.5 ist.
So, nun werfe ich dieselbe Münze insgesamt tausendmal, und stelle fest, daß die Hälfte der Würfe Kopf erziehlt. Was ist also die Wahrscheinlichkeit, bein tausendundersten Wurf wiederum Kopf zu werfen? Ganz klar, wieder 0.5! Also habe ich aus meiner ganzen Werferei nichts gelernt? Nach Deiner Interpretation nicht: Jeder Münzwurf hat mir genau 1 bit Information geliefert (jedenfalls garantiert nicht mehr als 1 bit), und dieses bit ist "aufgebraucht" worden für die Entscheidung "Kopf oder Zahl?"
Ich habe aber etwas dazugelernt! Nämlich, daß ich mit an Sicherheit grenzender Wahrscheinlichkeit die ungezinkte Münze erwischt habe. Da es ursprünglich 3 Möglichkeiten gab (faire Münze, kopflastige Münze, zahllastige Münze), habe ich also ld 3 = 1.6 bit Information über die Münze gewonnen. Wo aber ist diese Information hergekommen, da ich ja die Informationen aus den Münzwürfen bereits für die Wurfergebnisse verbraucht habe?"
Hi timeout, wir brauchen einen Sender und einen Empfänger. Laß mich der Sender sein. Ich nehme also eine Münze werfe sie und teile dir das Ergebnis per Telephon mit. Per Telephon!!
Du siehst nicht, was ich tue.
Nun hast du nach tausend Versuchen statistisch etwa gleich viel Kopf und Zahl erhalten.
Was kannst du folgern?
1. zara.t. hat immer dieselbe Münze benutzt, nämlich die ungezinkte.
oder
2. er hat blind zugegriffen, also statistisch bei 1000 runs etwa jede Münze gleich oft geworfen
Um nun Information darüber zu bekommen was ich wirklich gemacht habe, mußt du mich fragen. Du mußt Zusatzinformation einholen.
z.B. könntest du fragen: hast du immer dieselbe Münze benutzt. Antworte ich mit "ja" hast du eine Information deren Informationsgehalt IMHO von der Anzahl n der runs abhängig ist. I = f(n)
Deine Statistik wird immer besser. Claro.
Antworte ich mit "nein", weißt du daß ich alle drei Münzen etwa gleich oft geworfen habe. Streng genommen bedarf es zu dieser Erkenntnis einer sehr genauen statistischen Analyse des zeitlichen Verlaufs unseres Versuchs.
Wieviel Information diese Antwort enthält, kann ich dir gerade mal leider nicht sagen. Muß ich nachdenken.
Ist ein sehr anregendes Beispiel.
Gruß
zara.t.
Die Idee, das ganze mit einem Telefon zu machen, ist ganz gut, weil man da sehr schön das Vorwissen extrahieren kann. Auch Dein Szenario gibt mir ein gewisses Vorwissen (das alleine mir überhaupt erlaubt, eine a-Priori-Wahrscheinlichkeit aufzustellen und somit überhaupt Aussagen über die Information zu treffen). Beispielsweise weiß ich auch in Deiner Version schon im Voraus, daß Du Münzen verwenden und mir das Ergebnis des Münzwurfs sagen wirst, und daß Du dabei eben die drei erwähnten Münzen mit den entsprechenden Wahrscheinlichkeiten verwendest. Der Unterschied zwischen Deinem und Meinem Szenario ist, daß ich bei meinem Szenario zusätzlich noch eine weitere Information im Voraus habe: Wir haben nämlich in meinem Szenario im Voraus abgemacht, daß Du nur eine der Münzen verwenden wirst (aber natürlich nicht, welche).
Allerdings können wir noch ein einfacheres Szenario betrachten, bei dem mein Vorwissen noch wesentlich eingeschränkter ist. Nämlich: Wir vereinbaren nur, daß Du mir eine Folge von "Kopf" oder "Zahl" durchgeben wirst, und zwar so viele Ergebnisse, wie ich will. Zusätzlich vereinbaren wir, daß Du stets auf dieselbe Weise ermittelst, ob Du Kopf oder Zahl angibst, und zwar auf eine Weise, daß Dein Ergebnis nicht von den vorherigen Ergebnissen abhängt. Wie Du zu diesen Ergebnissen kommst, ist dabei aber nicht weiter festgelegt. Du könntest z.B. jedes Mal eine ideale Münze werfen, oder eine beliebig gezinkte Münze, Du könntest würfeln (wahlweise mit ungezinkten oder gezinkten Würfeln) und den einzelnen Würfelergebnissen nach Belieben Kopf oder Zahl zuweisen (z.B. "6 ist Kopf, alles andere Zahl") oder Du könntest ein beliebiges Quantenexperiment durchführen, oder Du könntest es Dir einfach machen und jedesmal "Kopf" oder jedesmal "Zahl" sagen (aber z.B. nicht abwechselnd "Kopf" und "Zahl", denn das würde die Bedingung der Unabhängigkeit verletzen). Bevor Du nun irgendein Ergebnis durchgegeben hast, kann ich natürlich nicht im Geringsten vorhersehen, was Du mir durchgeben wirst. Also werde ich den Ergebnissen "Kopf" und "Zahl" jeweils die Wahrscheinlichkeit 0.5 zuordnen. Ich rechne also mit 1 bit Information über das Ergebnis des ersten Wurfs.
Und dann ziehen wir das wochenlang durch, und irgenwann habe ich z.B. zehntausend Ergebnisse. Dabei stellt sich heraus, daß die Hälfte der Ergebnisse Kopf, die andere Hälfte Zahl sind. Also schließe ich wiederum, daß die Wahrscheinlichkeit für "Kopf" und "Zahl" jeweils 0.5 ist. Wie Du zu den Ergebnissen kommst, weiß ich natürlich immer noch nicht. Demnach habe ich also über die zukünftigen Ergebnisse keinerlei Information erhalten, richtig?
Nun, testen wir das mal. Nehmen wir einmal an, jetzt kommt André zu mir zu Besuch. Ich teile ihm unsere Vereinbarungen mit, aber nicht die bisher erhaltenen Ergebnisse. Er hat jetzt also genau die Information, die ich am Anfang auch hatte.
Wenn man uns jetzt fragt, mit welcher Wahrscheinlichkeit das nächste (oder der übernächste, etc.) Ergebnis Kopf ist, werden wir beide zum Ergebnis 0.5 kommen. Ich, weil meine vergangene Erfahrung gezeigt hat, daß Kopf und Zahl gleich wahrscheinlich sind, André, weil er keinerlei Information besitzt, die eine Bevorzugung eines der Ergebnisse rechtfertigt. Natürlich sieht die Situation anders aus, wenn nach vergangenen Ergebnissen gefragt wird: Während André auch dann noch Kopf und Zahl jeweils die Wahrscheinlichkeit 0.5 geben wird, kann ich einfach in meinen Aufzeichnungen nachblättern und mit Sicherheit (also Wahrscheinlichkeit 1) sagen, welches Ergebnis herausgekommen ist.
Ok, bisher keine Überraschungen: Über jedes einzelne vergangene Ergebnis habe ich ein bit Information mehr als André, weil ich ja das Ergebnis kenne, und über jedes einzelne zukünftige Ergebnis habe ich exakt genausoviel Information wie André, nämlich keine (außer daß es entweder Kopf oder Zahl werden wird). Also dürfte ich über die zukünftigen Ergebnisse nicht mehr Information besitzen als André, richtig?
Jetzt schalte ich aber am Telefon den Mithörer ein und frage Dich nach zwanzig weiteren Ergebnissen. Und wie der Zufall so will, lauten alle zehn folgenden Ergebnisse "Kopf". Anschließend werden André und ich gefragt, welche Wahrscheinlichkeiten wir für das nächste Ergebnis ansetzen. Ich werde nun, nach meinen zehtausend vorherigen Ergebnissen (und weil ich Dir vertraue, daß Du unsere Abmachung einhältst) feststellen, daß diese zwanzig Köpfe ein bei Gleichwahrscheinlichkeit zwar unwahrscheinliches, aber durchaus mögliches Ereignis sind, und die zehntausend Ergebnisse zuvor demonstrieren, daß die Wahrscheinlichkeit zumindest sehr nahe bei 0.5 liegt. Also werde ich für das nächste Ergebnis wiederum eine Kopf-Wahrscheinlichkeit von ziemlich genau 0.5 ansetzen.
Ok, betrachten wir nun Andrés Position. Er kennt nur die zwanzig Ergebnisse, daher wird er feststellen, daß die Folge von zwanzig Köpfen unwahrscheinlich ist, wenn ein gleichverteilter Zufallsprozeß vorliegt, aber sehr wahrscheinlich, wenn der Prozeß Kopf zumindest stark bevorzugt, wenn Du nicht ohnehin die einfache Möglichkeit gewählt hast, immer Kopf zu wählen. Er wird also zum Schluß kommen, daß höchstwahrscheinlich ein Prozeß eingesetzt wird, der Kopf gegenüber Zahl zumindest stark bevorzugt, und wird deshalb für den nächsten Wurf eine wesentlich höhere Wahrscheinlichkeit für Kopf als für Zahl ansetzen.
Da wir nun offensichtlich zu sehr verschiedenen Ergebnissen kommen, muß unsere Information über die zukünftigen Ergebnisse wohl unterschiedlich sein. Aber wenn vor den zwanzig neuen Ergebnissen unsere Information über die zukünftigen Ergebnisse gleich war, und wir anschließend dieselbe Information über die zukünftigen Ergebnisse erhalten haben (nämlich dieselben zehn neuen Ergebnisse), dann kann doch jetzt unsere Information nicht plötzlich unterschiedlich sein!
Jetzt wird es interessant: Wenn ich jetzt die Entropie für das nächste Ergebnis ausrechne, dann komme ich auf etwa 1 bit, denn schließlich sind ja Kopf und Zahl etwa gleichwahrscheinlich, wie die vergangenen 10020 Würfe gezeigt haben. Wenn hingegen André die Entropie für das nächste Ergebnis ausrechnet, dann kommt er auf einen Wert deutlich geringer als 1 bit, denn nach seiner Erkenntnis ist es ja sehr wahrscheinlich, daß das nächste Ergebnis ebenfalls Kopf sein wird. Wenn man jetzt also die Entropie naiv interpretiert, dann müssen wir zum Schluß kommen, daß André nun wesentlich mehr über das nächste Ergebnis weiß als ich, obwohl er nur zwanzig vergangene Ergebnisse, ich aber 10020 kenne; ich habe also mehr Information erhalten, und weiß dennoch weniger als André?
Der gesunde Menschenverstand sagt natürlich, daß ich schon mehr über die zukünftigen Ergebnisse wußte als André, bevor wir die zwanzig zusätzlichen Ergebnisse erhalten habe, und daß ich über die zwanzig Ergebnisse nicht viel über die folgenden dazugelernt habe, während André durchaus mehr über die zukünftigen Ergebnisse erfahren hat als ich, allerdings insgesamt wesentlich weniger Information darüber hat, weshalb er auch wesentlich eher einem Trugschluß erlegen ist (das kann man natürlich nicht absolut sicher sagen, denn auch ein Prozeß, der Kopf stark bevorzugt, könnte theoretisch erst mal zehntausend gleichverteilte Ergebnisse liefern, nur ist das deutlich unwahrscheinlicher, als daß ein gleichverteilter Prozeß zwanzig Köpfe hintereinander liefert).
Wenn man nun richtig rechnet, dann wird man auch genau dies herausfinden. Der Schlüssel ist dabei, daß, obwohl die Ergebnisse unabhängig voneinander sind (das war ja von Vornherein vereinbart), es die Vorhersagen nicht sind. Zwar sind die Rechnungen für Einzelergebnisse oben allesamt richtig, die Werte dürfen aber nicht einfach aufaddiert werden, weil sie ja nicht unabhängig sind. Das sieht man recht schön an Andrés Vorhersage: Die zwanzig Ergebnisse haben seine Vorhersage massiv beeinflusst. Das bedeutet insbesondere, daß vorher für ihn, obwohl für jedes einzelne Ergebnis Kopf und Zahl gleichwahrscheinlich sind, die verschiedenen Ergebnisfolgen nicht gleichwahrscheinlich sind. So ist eben die Folge "20 mal Kopf, dann Zahl" unwahrscheinlicher als die Folge "21 mal Kopf". Für mich, mit meiner Erfahrung der zehntausend Ergebnisse davor, sind diese Folgen aber durchaus (nahezu) gleichwahrscheinlich.
Ok, und was ist mit der Entropie? Nun, die zeigt vor allem die Subjektivität der Information (und der Entropie). Da André nach den zwanzig Ergebnissen einen weiteren Kopf für nahezu sicher hält (in der Tat kann man ausrechnen, daß seine Wahrscheinlichkeit für Kopf 21/22 ist, und für Zahl 1/22), ist der Informationszuwachs, den er für sich erwartet, in der Tat - 21/22 ld(21/22) - 1/22 ld(1/22) = 0.27 bit, während der Informationszuwachs, den ich für mich erwarte, etwa - 1/2 ld(1/2) - 1/2 ld(1/2) = 1 bit ist. André erwartet also von der Mitteilung des nächsten Ergebnisses einen wesentlich geringeren Informationszuwachs über dieses Ergebnis als ich. In der Tat kann ich sogar ausrechnen, welchen Informationszuwachs ich für André erwarte: Der Informationswert jedes Ergebnisses bemißt sich ja für ihn aus seiner Wahrscheinlichkeitsverteilung (die ich ausrechnen kann, da ich ja sein Wissen über die Ergebnisse vollständig kenne), während ich den Erwartungswert natürlich mit meiner Wahrscheinlichkeitsverteilung berechnen muß. Ich erwarte also einen Informationszugewinn für André von etwa - 1/2 ld(21/22) - 1/2 ld(1/22) = 2.26 bit (also mehr als 1 bit!). Die Differenz der beiden Werte, hier 1.99, nennt man auch relative Entropie; sie ist also ein Maß dafür, wie stark André mit seiner Einschätzung des Informationsgewinns durch das nächste Ergebnis meiner Meinung nach daneben liegt. Das ist natürlich auch nur meine Einschätzung (schließlich ist es nicht völlig ausgeschlossen, daß ich von den ersten zehntausend Ergebnissen desinformiert wurde), allerdings eine gut begründete (denn daß ein "kopflastiger" Prozeß einen Block zehntausend gleichverteilter Ergebnisse liefert, ist schon extrem unwahrscheinlich).
In diesem Zusammenhang ist auch eine interessante Feststellung, daß der Laplacesche Dämon für ein klassisches Gas stets die Informationsentropie Null erhält: Er kennt ja die Orte und Geschwindigkeiten aller Teilchen im Universum, insbesondere also auch für das Gas.
Allerdings können wir noch ein einfacheres Szenario betrachten, bei dem mein Vorwissen noch wesentlich eingeschränkter ist. Nämlich: Wir vereinbaren nur, daß Du mir eine Folge von "Kopf" oder "Zahl" durchgeben wirst, und zwar so viele Ergebnisse, wie ich will. Zusätzlich vereinbaren wir, daß Du stets auf dieselbe Weise ermittelst, ob Du Kopf oder Zahl angibst, und zwar auf eine Weise, daß Dein Ergebnis nicht von den vorherigen Ergebnissen abhängt. Wie Du zu diesen Ergebnissen kommst, ist dabei aber nicht weiter festgelegt. Du könntest z.B. jedes Mal eine ideale Münze werfen, oder eine beliebig gezinkte Münze, Du könntest würfeln (wahlweise mit ungezinkten oder gezinkten Würfeln) und den einzelnen Würfelergebnissen nach Belieben Kopf oder Zahl zuweisen (z.B. "6 ist Kopf, alles andere Zahl") oder Du könntest ein beliebiges Quantenexperiment durchführen, oder Du könntest es Dir einfach machen und jedesmal "Kopf" oder jedesmal "Zahl" sagen (aber z.B. nicht abwechselnd "Kopf" und "Zahl", denn das würde die Bedingung der Unabhängigkeit verletzen). Bevor Du nun irgendein Ergebnis durchgegeben hast, kann ich natürlich nicht im Geringsten vorhersehen, was Du mir durchgeben wirst. Also werde ich den Ergebnissen "Kopf" und "Zahl" jeweils die Wahrscheinlichkeit 0.5 zuordnen. Ich rechne also mit 1 bit Information über das Ergebnis des ersten Wurfs.
Und dann ziehen wir das wochenlang durch, und irgenwann habe ich z.B. zehntausend Ergebnisse. Dabei stellt sich heraus, daß die Hälfte der Ergebnisse Kopf, die andere Hälfte Zahl sind. Also schließe ich wiederum, daß die Wahrscheinlichkeit für "Kopf" und "Zahl" jeweils 0.5 ist. Wie Du zu den Ergebnissen kommst, weiß ich natürlich immer noch nicht. Demnach habe ich also über die zukünftigen Ergebnisse keinerlei Information erhalten, richtig?
Nun, testen wir das mal. Nehmen wir einmal an, jetzt kommt André zu mir zu Besuch. Ich teile ihm unsere Vereinbarungen mit, aber nicht die bisher erhaltenen Ergebnisse. Er hat jetzt also genau die Information, die ich am Anfang auch hatte.
Wenn man uns jetzt fragt, mit welcher Wahrscheinlichkeit das nächste (oder der übernächste, etc.) Ergebnis Kopf ist, werden wir beide zum Ergebnis 0.5 kommen. Ich, weil meine vergangene Erfahrung gezeigt hat, daß Kopf und Zahl gleich wahrscheinlich sind, André, weil er keinerlei Information besitzt, die eine Bevorzugung eines der Ergebnisse rechtfertigt. Natürlich sieht die Situation anders aus, wenn nach vergangenen Ergebnissen gefragt wird: Während André auch dann noch Kopf und Zahl jeweils die Wahrscheinlichkeit 0.5 geben wird, kann ich einfach in meinen Aufzeichnungen nachblättern und mit Sicherheit (also Wahrscheinlichkeit 1) sagen, welches Ergebnis herausgekommen ist.
Ok, bisher keine Überraschungen: Über jedes einzelne vergangene Ergebnis habe ich ein bit Information mehr als André, weil ich ja das Ergebnis kenne, und über jedes einzelne zukünftige Ergebnis habe ich exakt genausoviel Information wie André, nämlich keine (außer daß es entweder Kopf oder Zahl werden wird). Also dürfte ich über die zukünftigen Ergebnisse nicht mehr Information besitzen als André, richtig?
Jetzt schalte ich aber am Telefon den Mithörer ein und frage Dich nach zwanzig weiteren Ergebnissen. Und wie der Zufall so will, lauten alle zehn folgenden Ergebnisse "Kopf". Anschließend werden André und ich gefragt, welche Wahrscheinlichkeiten wir für das nächste Ergebnis ansetzen. Ich werde nun, nach meinen zehtausend vorherigen Ergebnissen (und weil ich Dir vertraue, daß Du unsere Abmachung einhältst) feststellen, daß diese zwanzig Köpfe ein bei Gleichwahrscheinlichkeit zwar unwahrscheinliches, aber durchaus mögliches Ereignis sind, und die zehntausend Ergebnisse zuvor demonstrieren, daß die Wahrscheinlichkeit zumindest sehr nahe bei 0.5 liegt. Also werde ich für das nächste Ergebnis wiederum eine Kopf-Wahrscheinlichkeit von ziemlich genau 0.5 ansetzen.
Ok, betrachten wir nun Andrés Position. Er kennt nur die zwanzig Ergebnisse, daher wird er feststellen, daß die Folge von zwanzig Köpfen unwahrscheinlich ist, wenn ein gleichverteilter Zufallsprozeß vorliegt, aber sehr wahrscheinlich, wenn der Prozeß Kopf zumindest stark bevorzugt, wenn Du nicht ohnehin die einfache Möglichkeit gewählt hast, immer Kopf zu wählen. Er wird also zum Schluß kommen, daß höchstwahrscheinlich ein Prozeß eingesetzt wird, der Kopf gegenüber Zahl zumindest stark bevorzugt, und wird deshalb für den nächsten Wurf eine wesentlich höhere Wahrscheinlichkeit für Kopf als für Zahl ansetzen.
Da wir nun offensichtlich zu sehr verschiedenen Ergebnissen kommen, muß unsere Information über die zukünftigen Ergebnisse wohl unterschiedlich sein. Aber wenn vor den zwanzig neuen Ergebnissen unsere Information über die zukünftigen Ergebnisse gleich war, und wir anschließend dieselbe Information über die zukünftigen Ergebnisse erhalten haben (nämlich dieselben zehn neuen Ergebnisse), dann kann doch jetzt unsere Information nicht plötzlich unterschiedlich sein!
Jetzt wird es interessant: Wenn ich jetzt die Entropie für das nächste Ergebnis ausrechne, dann komme ich auf etwa 1 bit, denn schließlich sind ja Kopf und Zahl etwa gleichwahrscheinlich, wie die vergangenen 10020 Würfe gezeigt haben. Wenn hingegen André die Entropie für das nächste Ergebnis ausrechnet, dann kommt er auf einen Wert deutlich geringer als 1 bit, denn nach seiner Erkenntnis ist es ja sehr wahrscheinlich, daß das nächste Ergebnis ebenfalls Kopf sein wird. Wenn man jetzt also die Entropie naiv interpretiert, dann müssen wir zum Schluß kommen, daß André nun wesentlich mehr über das nächste Ergebnis weiß als ich, obwohl er nur zwanzig vergangene Ergebnisse, ich aber 10020 kenne; ich habe also mehr Information erhalten, und weiß dennoch weniger als André?
Der gesunde Menschenverstand sagt natürlich, daß ich schon mehr über die zukünftigen Ergebnisse wußte als André, bevor wir die zwanzig zusätzlichen Ergebnisse erhalten habe, und daß ich über die zwanzig Ergebnisse nicht viel über die folgenden dazugelernt habe, während André durchaus mehr über die zukünftigen Ergebnisse erfahren hat als ich, allerdings insgesamt wesentlich weniger Information darüber hat, weshalb er auch wesentlich eher einem Trugschluß erlegen ist (das kann man natürlich nicht absolut sicher sagen, denn auch ein Prozeß, der Kopf stark bevorzugt, könnte theoretisch erst mal zehntausend gleichverteilte Ergebnisse liefern, nur ist das deutlich unwahrscheinlicher, als daß ein gleichverteilter Prozeß zwanzig Köpfe hintereinander liefert).
Wenn man nun richtig rechnet, dann wird man auch genau dies herausfinden. Der Schlüssel ist dabei, daß, obwohl die Ergebnisse unabhängig voneinander sind (das war ja von Vornherein vereinbart), es die Vorhersagen nicht sind. Zwar sind die Rechnungen für Einzelergebnisse oben allesamt richtig, die Werte dürfen aber nicht einfach aufaddiert werden, weil sie ja nicht unabhängig sind. Das sieht man recht schön an Andrés Vorhersage: Die zwanzig Ergebnisse haben seine Vorhersage massiv beeinflusst. Das bedeutet insbesondere, daß vorher für ihn, obwohl für jedes einzelne Ergebnis Kopf und Zahl gleichwahrscheinlich sind, die verschiedenen Ergebnisfolgen nicht gleichwahrscheinlich sind. So ist eben die Folge "20 mal Kopf, dann Zahl" unwahrscheinlicher als die Folge "21 mal Kopf". Für mich, mit meiner Erfahrung der zehntausend Ergebnisse davor, sind diese Folgen aber durchaus (nahezu) gleichwahrscheinlich.
Ok, und was ist mit der Entropie? Nun, die zeigt vor allem die Subjektivität der Information (und der Entropie). Da André nach den zwanzig Ergebnissen einen weiteren Kopf für nahezu sicher hält (in der Tat kann man ausrechnen, daß seine Wahrscheinlichkeit für Kopf 21/22 ist, und für Zahl 1/22), ist der Informationszuwachs, den er für sich erwartet, in der Tat - 21/22 ld(21/22) - 1/22 ld(1/22) = 0.27 bit, während der Informationszuwachs, den ich für mich erwarte, etwa - 1/2 ld(1/2) - 1/2 ld(1/2) = 1 bit ist. André erwartet also von der Mitteilung des nächsten Ergebnisses einen wesentlich geringeren Informationszuwachs über dieses Ergebnis als ich. In der Tat kann ich sogar ausrechnen, welchen Informationszuwachs ich für André erwarte: Der Informationswert jedes Ergebnisses bemißt sich ja für ihn aus seiner Wahrscheinlichkeitsverteilung (die ich ausrechnen kann, da ich ja sein Wissen über die Ergebnisse vollständig kenne), während ich den Erwartungswert natürlich mit meiner Wahrscheinlichkeitsverteilung berechnen muß. Ich erwarte also einen Informationszugewinn für André von etwa - 1/2 ld(21/22) - 1/2 ld(1/22) = 2.26 bit (also mehr als 1 bit!). Die Differenz der beiden Werte, hier 1.99, nennt man auch relative Entropie; sie ist also ein Maß dafür, wie stark André mit seiner Einschätzung des Informationsgewinns durch das nächste Ergebnis meiner Meinung nach daneben liegt. Das ist natürlich auch nur meine Einschätzung (schließlich ist es nicht völlig ausgeschlossen, daß ich von den ersten zehntausend Ergebnissen desinformiert wurde), allerdings eine gut begründete (denn daß ein "kopflastiger" Prozeß einen Block zehntausend gleichverteilter Ergebnisse liefert, ist schon extrem unwahrscheinlich).
In diesem Zusammenhang ist auch eine interessante Feststellung, daß der Laplacesche Dämon für ein klassisches Gas stets die Informationsentropie Null erhält: Er kennt ja die Orte und Geschwindigkeiten aller Teilchen im Universum, insbesondere also auch für das Gas.
Bearbeitet von Timeout am 27.01.2007 um 13:42 Uhr.
Hallo zusammen!
Was mir bei den Gedankenexperimenten auffällt ist, dass schon Informationen vorhanden sein müssen um weitere Informationen zu erhalten. Sie befassen sich gänzlich mit Verhalten (wenn ich das mal so sagen darf), also mit der Erwartung, wie sich mir ein Ding (also ein als konsistent angenommener Unterschied) zukünftig präsentiert.
Ich habe die Information, das ein Münze Kopf oder Zahl zeigen, oder dass ein Würfel 6 Zahlen darstellen kann.
Was mich nun interessiert, wie konstruieren wir aus Informationen neu Informatione, die eben nicht nur ein Verhalten berechnen, sondern ein Ding.
Wenn ich die Ergebnisreihe 1,3,2,6,4,1,1,2,5,3,2,4,3... sehe, wann kann ich auf einen Würfel schließen, wann bin ich mir gewiss, das es kein Oktaeder ist?
Was mir bei den Gedankenexperimenten auffällt ist, dass schon Informationen vorhanden sein müssen um weitere Informationen zu erhalten. Sie befassen sich gänzlich mit Verhalten (wenn ich das mal so sagen darf), also mit der Erwartung, wie sich mir ein Ding (also ein als konsistent angenommener Unterschied) zukünftig präsentiert.
Ich habe die Information, das ein Münze Kopf oder Zahl zeigen, oder dass ein Würfel 6 Zahlen darstellen kann.
Was mich nun interessiert, wie konstruieren wir aus Informationen neu Informatione, die eben nicht nur ein Verhalten berechnen, sondern ein Ding.
Wenn ich die Ergebnisreihe 1,3,2,6,4,1,1,2,5,3,2,4,3... sehe, wann kann ich auf einen Würfel schließen, wann bin ich mir gewiss, das es kein Oktaeder ist?
"Was mich nun interessiert, wie konstruieren wir aus Informationen neu Informatione, die eben nicht nur ein Verhalten berechnen, sondern ein Ding."
Wie entstehen neue Informationen? Wie erzeugen wir neue Informationen? Kann überhaupt Neues entstehen?
Die Frage nach dem Ding halte ich für erledigt. Auf fundamentaler Ebene gibt es keine Dinge. Und nur diese Ebene interessiert mich hier.
ein Ding als ein als konsistent angenommener Unterschied ist natürlich eine ganz andere Sache! Das trifft wahrscheinlich sogar den Punkt.
zara.t.
Wie entstehen neue Informationen? Wie erzeugen wir neue Informationen? Kann überhaupt Neues entstehen?
Die Frage nach dem Ding halte ich für erledigt. Auf fundamentaler Ebene gibt es keine Dinge. Und nur diese Ebene interessiert mich hier.
ein Ding als ein als konsistent angenommener Unterschied ist natürlich eine ganz andere Sache! Das trifft wahrscheinlich sogar den Punkt.
zara.t.
Bearbeitet von Zara.t. am 28.01.2007 um 13:17 Uhr.
Kaimangadil schrieb in Beitrag Nr. 122-57:Hallo zusammen!
Was mir bei den Gedankenexperimenten auffällt ist, dass schon Informationen vorhanden sein müssen um weitere Informationen zu erhalten. Sie befassen sich gänzlich mit Verhalten (wenn ich das mal so sagen darf), also mit der Erwartung, wie sich mir ein Ding (also ein als konsistent angenommener Unterschied) zukünftig präsentiert.
Was die Erwartung angeht: Da gebe ich Dir völlig recht. In der Tat ist die Wahrscheinlichkeit in der Bayes-Interpretation letztlich nichts weiter als ein Maß für unsere Erwartung, daß ein bestimmtes Ereignis eintritt. Genauer gesagt dafür, was wir vernünftigerweise erwarten sollten.
Was die vorhandenen Informationen angeht, so möchte ich Dir widersprechen: Zwar beeinflussen früher erhaltene Informationen natürlich unsere Erwartungen, aber letztlich kommt es auf die Erwartungen an, nicht auf die frühere Information. Nehmen wir einmal an, Du wüßtest überhaupt nichts. Dann kannst Du immer noch überlegen, daß irgendetwas passieren könnte, es könnte aber auch einfach gar nichts passieren. Du könntest Dir sogar ausmalen, was eventuell passieren könnte (obgleich Deine Fantasien wahrscheinlich nicht das geringste mit der Realität zu tun haben werden, von der Du ja laut Voraussetzung nichts weißt). Und aufgrund Deiner Fantasien könntest Du dann Wahrscheinlichkeiten aufstellen (wenn Du nichts weiter weißt, werden Deine Fantasien alle gleichwahrscheinlich sein, es sei denn, es bestehen logische Beziehungen zwischen ihnen). Ok, Du könntest die Wahrscheinlichkeiten nicht mit Zahlen benennen (weil Du ja auch keine Mathematik gelernt hättest), könntest aber zumindest feststellen, daß Du keinen Grund siehst, eine Deiner Fantasien größere Chancen einzuräumen als einer anderen (oder umgekehr könntest Du evtll. sagen, daß Du immer noch eher mit dieser als mit jener Möglichkeit rechnest). Wenn dann tatsächlich etwas passiert (oder auch nichts), dann ist das natürlich eine Information für Dich. Vermutlich sogar eine ziemlich große Information, denn da Du nach Voraussetzung nichts weißt, ist es sehr unwahrscheinlich, daß Du Dir genau dieses Ereignis ausgemalt hast.
Gar nicht. Ein "Ding" ist für uns nichts weiter als eine Summe von Eigenschaften. Und Eigenschaften beziehen sich letztlich auf Verhalten.Zitat:Ich habe die Information, das ein Münze Kopf oder Zahl zeigen, oder dass ein Würfel 6 Zahlen darstellen kann.
Was mich nun interessiert, wie konstruieren wir aus Informationen neu Informatione, die eben nicht nur ein Verhalten berechnen, sondern ein Ding.
Nie. Die Ergebnisse sagen Dir nur, daß was immer dahiner steckt, die Ergebnisse 1 bis 6 liefert, und je länger die Folge ist, mit desto höherer Wahrscheinlichkeit kannst Du ausschließen, daß es in dieser Folge noch weitere mögliche Ergebnisse gibt.Zitat:Wenn ich die Ergebnisreihe 1,3,2,6,4,1,1,2,5,3,2,4,3... sehe, wann kann ich auf einen Würfel schließen, wann bin ich mir gewiss, das es kein Oktaeder ist?
Natürlich ist das am häufigsten verwendete Instrument zur Erzeugung von Zufallszahlen zwischen 1 und 6 ein Würfel, aber es könnte genausogut ein Dodekaeder sein, bei dem je zwei Seiten dieselbe Zahl tragen. Oder vielleicht ein Oktaeder, und wenn eine 7 oder 8 kommt, wird das Ergebnis einfach ignoriert und nochmal geworfen? Vielleicht sind es auch Messungen an einem Quantensystem.
Es ist noch nicht einmal sicher, daß die Zahlen der Folge aus einem singulären Ereignis stammen. Nehmen wir z.B. an, wir haben zwei Münzen, eine ungezinkte und eine gezinkte, bei der Kopf doppelt so oft fällt wie Zahl. Nun machen wir folgende Regel: Zunächst einmal wird die gezinkte Münze geworfen. Fällt sie auf Zahl, so werfen wir die ungezinkte Münze einmal; fällt diese ebenfalls auf Zahl, so notieren wir eine 1, amsonsten eine 2. Fällt die gezinkte Münze allerdings auf Kopf, so werfen wir die ungezinkte Münze zweimal und ordnen den vier möglichen Ergebnissen die Zahlen 3 bis 6 zu. Das Ergebnis ist dann wiederum eine gleichverteilte Folge der Zahlen von 1 bis 6.
Wenn Du sicher sein willst, daß die Zahlen von einem Würfel stammen, gibt es nur eins: Die Erzeugung beobachten und das verwendete Instrument als Würfel identifizieren.
Faszinierend Zara.
und auch Timeout.
Nur eine Schwierigkeit habe ich.
Das Bit aus der Münze, oder als Silizium Speicher.
Es seztz sich aus atomarer Ebene aus eher chaotischen Gebilden zusammen, Ordnung in Chaos.
Ein Bit ist ein ewiges etwas aus dem Chaos, aber es ist eins.
Keine Münze gleicht der anderen. Kein Speicherplatz wird jemals so ausehen wie ein anderer.
und auch Timeout.
Nur eine Schwierigkeit habe ich.
Das Bit aus der Münze, oder als Silizium Speicher.
Es seztz sich aus atomarer Ebene aus eher chaotischen Gebilden zusammen, Ordnung in Chaos.
Ein Bit ist ein ewiges etwas aus dem Chaos, aber es ist eins.
Keine Münze gleicht der anderen. Kein Speicherplatz wird jemals so ausehen wie ein anderer.
Bearbeitet von Quarck am 28.01.2007 um 15:19 Uhr.
In diesem Forum dürfen nur Mitglieder schreiben.
Hier kannst du dich einloggen