Søren in Norwegen

Ich hatte zwar bereits individuelle Linkfrequenzverteilungen gezeigt, aber noch nicht die „kollektiven“ Linkfrequenzverteilungen per Linklevel, so wie es „Tradition“ ist. Das hole ich heute nach.

Bei den totalen Links war nicht viel. Wikipediaseiten haben zuerst wenige, dann viel mehr, dann viel viel viel mehr totale Links um dann wieder weniger, viel weniger, viel viel viel weniger und letztlich gar keine Links mehr zu haben. Es gab keine Seite die wenige totale Links hatte, waehrend andere sehr sehr sehr viele hatten (und umgekehrt).
Eine Idee die mir in dem Zusammenhang in den kopf kam fuehrte mich in eine Sackgasse. Aber letztlich wurde ich dadurch auch das erste Mal auf das „São Paulo FC“-Artefakt aufmerksam und das Wissen darum half mir ein paar Mal weitere Seltsamkeiten richtig einzuordnen.

Weil die neuen Links letztlich zu aehnlich den totalen Links sind, gab es da entsprechend nix Neues zu holen.

Die Selbstreferenzen hatten ganz andere Verteilungen. Die Andersartigkeit folgte aber aus der Natur der Selbstreferenzen und der Wikipedia. Es ist viel wahrscheinlicher, dass eine Seite sehr wenige Selbstreferenzen als viele hat und dies folgt einem maechtigen Gesetz. Letztlich entdeckte ich dadurch aber die Gesetzmaeszigkeit wie schnell die thematische Aehnlichkeit der Wikipediaseiten von Linklevel zu Linklevel abnimmt, was eine urst coole Entdeckung ist. Ebenso brachte mich das auf die Idee mich mal an einer Simulation des Ganzen zu versuchen.

Ich will damit auf das Folgende hinaus: auch wenn diese Verteilungen immer erstmal eher langweilig sind, so bin ich aber letztlich dadurch immer auf coole Sachen aufmerksam geworden. Deswegen heute die Verteilungen der Linkfrequenzen pro Linklevel anhand repraesentativer Beispiele:

Hier passiert viel, aber der Reihe nach, beginnend mit dem linken oberen Diagramm in dem die Verteilungen von LL₀ bis LL₄ zu sehen sind.
Zunaechst einmal scheint mir hier (mehr oder weniger fuer alle Veteilungen) eine Mischung im Verhalten vorzuliegen, welches man bei den totalen Links und den Selbstreferenzen sieht. Die Verteilungen von LL₀ (welche uebrigens wieder nur eine alte Beobachtung auf andere Weise repliziert ist) bis LL₂ sind qualitativ noch naeher an den Selbstreferenzen. Aber ab LL₃ „zerfasert“ sich die Verteilung ab Linkfrequenzen ueber ca. 1000 (Zitierungen von anderen Seiten), was man daran sieht, dass die blauen Punkte ein breites Band bilden. Dadurch gibt es in der Summe mehr Seiten mit vielen bis sehr vielen Zitierungen von anderen Seiten als solche mit wenigen. Aber die gehen nicht alle in „Zustaende“ nahe dem Ende der Abszisse (wie bei den totalen Links), sondern verteilen sich ueber (fast) die ganze Breite ab ca. 1000 Zitierungen (das ist was ich mit „Zerfaserung“ meine).
Dieses Verhalten verstaerkt sich noch fuer LL₄ und LL₅ (dann schon im Diagramm rechts oben). Immer mehr Seiten mit wenigen Zitierungen gehen ueber in das „zerfaserte Band“. Die „Amplitude“ des linearen Teils nimmt ab.

Dann aber kehrt sich das Verhalten um. Zunaechst waechst auf LL₆ ein „Buckel“ zwischen ca. 100 und ca. 10,000 Zitierungen. Von LL₇ bis LL₉ nimmt die „Amplitude“ des linearen Teils wieder zu, waehrend das „zerfaserte Band“ nicht verschwindet, aber die Høhe abnimmt.
Im linken unteren Diagramm sieht man dann, dass sich diese Entwicklung ueber etliche Linklevel fortsetzt. Zu beachten ist aber, dass die Amplitude des linearen Teils wieder abnimmt, denn die Seiten „wandern“ in den „Nullzustand“; dem Punkt der sich links oben an die Ordinate schmiegt.

Am Ende haben wir ein bereits bekanntes Bild in anderer Form. Alle zitierenden Ursprungsseiten befinden sich um Artefakt und nur noch ca. 75 Seiten werden ueberhaupt zitiert (davon aber einige sehr sehr oft).

Die Verteilungen sind nicht so eindeutig wie bei den Selbstreferenzen oder den totalen Links. Deswegen wollte ich gerne mal sehen, wie die Seiten sich von niedrigen zu hohen Linkfrequenzen „bewegen“. Also nicht einzelne Seiten, sondern wie die „kollektive Bewegung“ aussieht. Nun kann ich mir aber nicht alle fast 6 Millionen Seiten anschauen. Ich musste also einen Weg finden die Information zu komprimieren.
Dabei kommt mir (ausnahmsweise) zur Hilfe, dass bei den Werten fuer die Linkfrequenz (aber auch bei den totalen Links und den Selbstreferenzen) mehrere Grøszenordnungen „ueberstrichen“ werden. Da bot sich førmlich an, dass ich mir mal anschaute, wieviele Seiten eigentlich in jeder Grøszenordnung „stecken“; das Ganze natuerlich pro Linklevel … … … HAEH?
In kurz und knapp, schaute ich mir an, wie viele Seiten eine bis zehn Zitierungen, wie viele Seiten 11 bis 100 Zitierungen, wie viele Seiten 101 bis 1000 Zitierungen usw. usf. (also von einem langen Strich auf der Abszisse zum naechsten) auf jedem Linklevel erhalten haben. Dadurch kann ich die Information von ueber 12 Millionen Datenpunkten (verteilt ueber mehr als 70 Linklevel) auf nur 8 Datenpunkte pro Linklevel reduzieren.

Aber das wuerde zu viel werden fuer heute. Deswegen erklaer ich das Ganze beim naechsten Mal nochmal an einem Beispiel (und hoffe, dass dann klarer wird worauf ich hinaus will). Auszerdem fange ich am Besten auch nicht gleich mit dem Schwersten (also den Linkfrequenzen) an, sondern erstmal „nur“ mit den totalen Links und den Selbstreferenzen. Die sind naemlich leichter zu verstehen.
So, das soll genug sein fuer heute.

Obligtorischer Videoschnipsel.

Nach dem vielen Text vom letzten Mal, muss ich heute nix mehr erklaeren und kann sofort in die Vollen gehen:

Woohoo! Es ist genau so wie ich es beim letzten Mal vorausgesehen habe!

Zum Ersten kann die Verteilung der Summe der Linkfrequenzen ueber aller Linklevel tatsaechlich in zwei unterschiedliche, deutlich (!) voneinander getrennte Gruppen eingeteilt werden.
Zum Zweiten weist die erste Gruppe keine hohen Summenwerte auf. Nicht eine einzige Seite liegt ueber einem Summewert von 150.
Zum Dritten liegt die zweite Gruppe ueber einem „strengen“ Grenzwert welcher bei 5,692,712 liegt.

Cool wa! Der Clou kommt aber erst noch. Die Anzahl der Seiten aus denen die ersten Gruppe besteht betraegt naemlich 481,522 Seiten. Dieser Wert entspricht exakt dem beim letzten Mal angegebenen Wert fuer die Anzahl aller Archipelseiten.
Dadurch wird nicht nur die dort aufgestellte Behauptung, dass sich im „Nullwertbalken“ der dortigen Verteilung Archipelseiten verstecken, indirekt bestaetigt sondern das bedeutet auch, dass mir bei meiner urspruenglichen Analyse keine Archipele „entkommen“ sind … Jippie!

Haette ich die obige Infornation bereits vor besagter urspruenglichen Analyse gehabt, so haette ich eben diese auf nur die Seiten mit einer kleinen Linkfrequenzsumme einschraenken kønnen. Das haette die rekursiv durchzugehende Datenmenge auf weniger als 1/10 reduziert …

… *ueberleg* …

Kurz ueberschlagen (und die Zahlen gerundet so dass es sich einfacher ueberschlagen laeszt) gibt es 5 Millionen Seiten. Diese weren auf 1/10 reduziert. Aber die 5 Millionen Seiten haben insgesamt 150 Millionen Links die alle durchgegangen werden muessten. Hier brauche ich aber nur Links zu anderen Archipelseiten was eine Reduzierung um einen Faktor 300 bedeutet! Die Analyse waere also 3000 Mal schneller gegangen! Das sind drei Grøszenordnungen! Krassomat … naja … nun bin ich fertig aber ’s ist schon interessant zu sehen was møglich ist, wenn man mehr Information hat.

Joa … øhm … das war’s fuer heute … ich musste ja beim letzten Mal so viel erklaeren, da ist’s auch mal schøn, wenn’s mal schnell geht :)

Das zweite Diagramm beim letzten Mal zeigte die linklevelabhaengigen Linkfrequenzen  dreier Beispielseiten. Die Summe ueber alle Linklevel einer Seite war da weit unter 1000. Dies im starken Gegensatz zu allem was ich davor gesehen hatte. Die drei Beispiele sehen alle aus als ob das Archipelseiten sind (ohne das zu pruefen … ist nur so’n Bauchgefuehl weil ich mich ja jetzt ein bisschen damit auskenne) und entsprechend schrieb ich:

Das bringt mich aber auf eine Idee, ob ich damit nicht alle Archipelseiten auf einfache Art und Weise identifizieren kønnte.

Mit „damit“ meine ich die Summe ueber alle Linklevel einer Seite (in diesem Fall fuer die Linkfrequenz) und die erste Frage ist nun, warum das mglw. klappen kønnte.

Eine kurze Ueberlegung nimmt die (oben nochmals verlinkten) individuellen Linkfrequenzverteilungen dreier Seiten des „São Paulo FC“-Artefakts heran.
Diese Seiten gehøren zu den am wenigsten zitierten Seiten die aber dennoch Teil des gesamten Wikipedianetzes sind (also NICHT zum Archipel gehøren). Das ist so, weil alle (anderen) Seiten nie direkt dorthin zitieren. Jedes Jahr des Artefakts kann nur ueber des jeweils spaetere Jahre zitiert werden. Jede Artefaktseite erhaelt also von jeder anderen Ursprungsseite maximal ein Zitat. Reflexionen lasse ich der Einfachheit mal auszen vor, bzw. kønnte man auch nur das Jahr 1930 des Artefakts betrachten, denn dieses hat keine Reflexionen in der Linkfrequenz.
Die Summe der Linkfrequenzen ueber alle Linklevel betraegt demnach mindestens 5.5 Millionen (sogar etwas mehr) fuer solche Seiten.

Seiten die zwei Mal zitiert werden sieht man in der roten und schwarzen Kurve im zweiten Diagramm des selben Beitrags. Das sind die, bei denen sich „Metaartefakte“ im Schwanz bemerkbar machen, weil die dort nochmal massiv zitiert werden. Die Summe der Linkfrequenz ueber alle Linklevel verdoppelt sich also (so ungefaehr).
Eine Verdopplung ist das Maximale was in dem Fall passieren kann, denn die zwei Peaks kønnten sich auch ueberlagern und dann waere es weniger als das Doppelte. Das Wichtige ist, dass die obigen 5.5 Millionen eine harte untere Grenze sind, unter die keine Seite kommt, wenn diese irgendwie aus dem gesamten Linknetzwerk zu erreichen ist.

Und das ist der Clou, denn Archipelseiten sind NICHT aus dem gesamten Linknetzwerk zu erreichen. Es ist ja gerade das Merkmal der Seiten aus denen das Archipel besteht, dass diese (wenn ueberhaupt) _nur_ von anderen Archipelseiten zitiert werden, waehrend sie im Allgemeinen aber durchaus auch „nach drauszen“ linken .
Und deswegen nehme ich an, dass die Summe ueber alle Linklevel einer Seite bei den Linkfrequenzen von Archipelseiten immer unter obiger Grenze liegt. In den allermeisten Faellen sogar drastisch darunter, also bei null oder eins oder zwei oder vielleicht auch mal zehn oder 69 wie bei Chrysoprasis beim letzten Mal.
Ich gebe aber zu, dass das vor allem eine praktische Ueberlegung ist, mit Wissen darueber wie das Archipel aussieht. Prinzipiell kønnte eine Archipelseite ueber den Grenzwert kommen, wenn es eine starke Vernetzung gibt und besagte Seite von vielen (Archipel-)Ursprungsseiten auf mehreren Linkleveln zitiert wird. Da gibt es konzeptionell keinen Unterschied zum Rest des Wikipedianetzwerkes. Aber wie gesagt, so sieht das Archipel nicht aus.

Die naechste Frage ist, warum ich das wuerde machen wollen, denn ich habe doch alle Seiten des Archipels bereits identifiziert.
Der Grund liegt darin dass die dortige Identifizierung eher umstaendlich war. Sowohl vom Konzept, als auch von der Implementierung.
Mir hat das natuerlich Freude bereitet, war es letztlich doch ein intellektuelles Puzzle. Aber insbesondere die Implementierung hatte ihre Schwaechen, denn ich musste rekursiv oft ueber viele Daten „fahren“ um Archipelseiten zu identifizieren. Die Schwaeche liegt dabei nicht in der Rekursion, diese machte eher den grøszten Reisz fuer mich aus … auch wenn viele Leute das mglw. anders sehen. Aber das „oft ueber viele Daten fahren“ dauert sehr lange. Mitunter mehrere Stunden, was das Testen und Ausprobieren arg beschraenkt. Deswegen setzte ich eine Limitierungen bei der ich annahm, dass wenn ein Netzwerk von zitierenden Seiten grøszer als so und so viele zitierende Seiten ist (bspw. 100), die Ursprungssite høchstwahrscheinlich nicht zum Archipel gehørt.
Das ist eine durchaus sinnvolle Annahme denke ich und ich testete den maximalen Wert fuer die Limitierung, bis es nicht mehr sinnvoll war (einfach, weil es zu lange dauerte). Ab einem Wert von ca. 100 zitierenden Seiten (also nahe an den Werten der drei Beispiele vom letzten Mal) sah ich dann keine Veraenderungen mehr, es schien also als ob alle Archipelseiten weniger Zitate erhalten als das Limit erlaubt. Aber eine Garantie ist das natuerlich nicht, mir kønnten durchaus Archipele „entkommen“ sein.

Wieauchimmer, die Summe ueber die alle Linkfrequenzen einer Seite zu bilden und zu schauen ob diese (weit) unter einem Grenzwert liegt ist natuerlich deutlich einfacher, viel schneller und einfach zu implementieren. Und wie immer interessieren mich einzelne Seiten weniger sondern die Verteilung dieser Summen.

Daraus stellt sich dann gleich die dritte Frage: worin liegt denn der Unterschied zu den bisherigen Summenverteilungen?
Nach all dem oben Geschriebenen sollte das einfach zu verstehen sein: bei allen vorherigen Summenverteilungen summierte ich fuer jedes Linklevel ueber alle Seiten. Das fuehrte zu linklevelahaengigen Verteilungen mit maximal 73 Werten. Hier aber summiere ich (wie bereits erwaehnt) ueber alle Linklevel einer Seite und das sollte bei ca. 6 Millionen Seiten zu einer Verteilung mit deutlich mehr als 73 Werten fuehren. Kurioserweise nur deswegen weil es das Archipel gibt, aber dazu mehr weiter unten.

Als Letztes stellt sich dann die Frage, warum ich das nicht schon mit den totalen / neuen Links bzw. den Selbstreferenzen gemacht habe.
Nun das ist ganz einfach zu beantworten: weil das nicht sinnvoll erschien … aber fuer die Begruendung der Antwort muss ich etwas ausholen und ich fange mit den totalen Links an.

Zunaechst lasse ich die Archipelseiten auszen vor. Dies auch deswegen, weil ich vom Archipel noch nicht mal etwas ahnte, als ich die totalen Links genauer untersuchte. Unter der Annahme, dass es kein Archipel gibt, sollte die Verteilung der Summen ueber die totalen Links genau zwei Werte haben: Null und ungefaher 165 Millionen.
Der Wert Null kommt durch die Seiten zustande die zwar zitiert werden, aber selber keine Links haben. Hier sollten sich nur ein paar tausend Seiten tummeln. Der weitaus grøszte Anteil der Seiten sollte sich beim Wert von ca. 165 Millionen Wert aufhalten, denn das ist natuerlich genau die Anzahl aller Links ueber alle Seiten. Dies folgt daraus, weil jede Seite im Linknetzwerk zu jeder anderen Seite kommt and dadurch alle Links sieht. Das heiszt aber auch, dass jede Seite am Ende ihres Linknetzwerkes die selbe Anzahl an totalen Links gesehen hat wie jede andere Seite.
Daraus folgt, dass es nur zwei Werte geben sollte und das war der Grund warum ich das damals nicht machte.

Wie man im linken Diagramm dieses Bildes sieht, ist das auch tatsaechlich (fast) so:

Mein Bauchgefuehl sagt mir, dass das schon stimmt mit den ca. 5500 Seiten beim Nullwert. Die ca. 6 Millionen Seiten die sich bei einem Wert von knapp unter 200 Millionen versammeln sind ja genau wie „vorhergesagt“. Und auch wenn ich mich wiederhole: dieses Ergebnis bestaetigt, dass es nicht sinnvoll war die „neue Summe“ ueber die totalen Links zu bilden.

Diese Aussage stimmt nur noch bedingt, wenn man Archipele mit in die Betrachtungen einbezieht, denn diese fuehren zu mehreren (relativ kleinen) Modifikationen.

Zum Einen ist obiger zweiter Wert um ein paar Millionen Seiten kleiner als theoretisch angenommen. Das Archipel besteht aus ungefaehr 500-tausend Seiten und im Durchschnitt hat jede Seite so 10 bis 30 Links. Die durchschnittliche Anzahl an Links pro Seite (und die Nachteile dieses Ansatzes) wurde bereits mehrfach diskutiert, ich finde auf die Schnelle aber nicht wo genau das war. Wenn man sich in der Mitte bei 20 Links pro Seite trifft, fuehrt das zu einem um 10 Millionen kleineren Hauptwert. Und das ist auch das was man sieht … zuegegeben, nicht im linken Diagramm, aber wenn man reinzoomt (so wie im rechten Diagramm, mehr dazu weiter unten), dann ist das tatsaechlich so.

Zum Zweiten wuerde ich vermuten, dass mglw. ein paar niedrige Werte in der Verteilung dazu kommen. Dabei wuerde es sich um Archipelseiten handeln, die bspw. Links zu nur einer oder ein paar wenigen andere Seiten haben und von dort zurueck zitiert wird und wenn keine einzige dieser Seiten einen Link zum groszen Wikipedianetzwerk hat. Davon sollte es aber nicht viele geben, denn es ist selten, dass eine Seite nicht irgendwie ins grosze Linknetzwerk zitiert, selbst wenn sie von da keine Zitate bekommt.
Obiger (linker) Graf bestaetigt das durch die kurzen Balken bei den Werten eins, zwei und drei.

Zum Dritten sollte es etliche (aber maximal ca. 500-tausend, der Anzahl der Archipelseiten, vermutlich deutlich weniger) Werte geben, die ueber den Wert von ca. 155 Millionen (siehe der erste Punkt) hinaus gehen.
Bei kleinen Abweichungen vom Wert den die allermeisten Seiten annehmen handelt es sich um Seiten, die zusaetzlich zum groszen Linknetzwerk nur ihre eigenen Links sehen. Das sind also Seiten des „No-way-home“-Archipels die NUR ins grosze Linknetzwerk zitieren, aber NICHT auf andere Archipelseiten. Fuer Archipelseiten die auch andere Archipelseiten zitieren nimmt der Abstand vom „Hauptwert“ natuerlich entsprechend mehr zu.
Aber alles in allem sollten diese Abweichungen nicht all zu grosz sein. Deswegen sieht man die im linken Diagramm nicht, denn wegen der logarithmischen Abzsisse schmiegen die Balken sich an den Hauptwert. Wenn man aber mal beim Hauptwert rein zoomt (so wie im rechten Bild; man beachte die lineare Abzsisse!) sieht man, dass da tatsaechlich noch was hinter dem høchsten Balken kommt und das verhaelt sich qualitativ so wie erwartet.
Um zu sehen ob das auch quantitativ stimmt  muss man mal die Anzahl der Seiten bestimmen, die sich in den „zusaetzlichen“ Balken befinden und mit der Anzahl der Archipelseiten vergleichen.

Ersteres ist einfach, denn da muss ich nur zaehlen und komme auf 65 + 45 + 3 Seiten bei den Werten von eins bis drei und 481,118 Seiten _hinter_ dem Hauptwert. Zusammen sind das 481,231 Seiten.
Die Anzahl der Archipelseiten hatte ich schonmal, deren Menge wurde da nur nicht erwaehnt. Diese entspricht aber dem Integral unter der roten „Kurve“ (jaja, es sind Punkte) im zweiten Diagramm dieses Beitrags. Da komme ich auf 481.522 … also ein paar mehr … mhmmm … das kønnten Seiten sein die nur von Archipelseiten zitiert werden und selber keine Links haben.
Jau! Das haut hin wenn man das mal grob ueberschlaegt. Es gibt ungefaehr zehn mal mehr Seiten im groszen Netzwerk als auf den Archipelen. Letztere unterscheiden sich aber nicht von Ersteren (auszer, dass die nicht von denen zitiert werden). Deswegen wuerde ich erwarten, dass es auch zehn Mal weniger „Nullwertseiten“ gibt, die nur von Archipelseiten zitiert werden. Das waeren dann so Pi mal Daumen 300. Die Diskrepanz liegt also im „Nullwertbalken“ versteckt und den kann ich nicht ohne weiteres auseinanderpopeln.

Festzuhalten ist das Folgende: haette ich die „neue Summe“ schon bei den totalen Links angeschaut, dann waere ich auf die Existenz der Archipele mglw. schon frueher aufmerksam geworden. Hab ich aber nicht, weil es mir nicht sinnvoll erschien.

Sososososo … der Beitrag ist schon lang genug … ach doch … zwei Sachen noch, die gehen aber schnell.

Es war auch nicht sinnvoll diese „neue Summe“ ueber die neuen Links zu bilden, denn da sieht das (fast) genauso so aus. Der grøszte Unterschied liegt darin, dass der Hauptwert nicht (ungefaehr) bei der Anzahl aller Links, sondern bei der Anzahl aller Seiten liegt … muss ja so sein. Ich habe das natuerlich kontrolliert und es ist tatsaechlich so.

Und schlussendlich war das auch nicht sinnvoll diese „neue Summe“ ueber die Selbstreferenzen zu bilden, denn da wuerde ich ja nur zaehlen wie oft eine Seite von anderen Seiten zitiert wird. Das habe ich aber vor langer Zeit schonmal anders untersucht und die Kontrolle ergibt, dass das auch mit der „neuen Summe“ genau so raus kommt.

Nun ist aber wirklich Schluss fuer heute. Die Verteilung der „neuen Summe(n)“ bzgl. der Linkfrequenzen aller Seiten verschiebe ich auf’s naechste Mal.

Ich gehe nochmal zurueck zum Anfang und verweise auf das zweite Diagramm in welchem die Position des Maximums dargestellt ist. Wie schon bei den Selbstreferenzen erschien mir der erste Balken mit einem Wert von fast 470-tausend viel zu hoch.

Der Verweis auf die Selbstreferenzen ist gut, denn dort liegt auch des Raetsels Løsung: die Høhe des Balkens wird im Wesentlichen bereits durch das „No-way-home“-Archipel beschrieben.
Die ungefaehr 320-tausend „Einwohner“ der

„isolierte[n] Insel der Unzitierten“

werden ja ueberhaupt nicht zitiert und somit liegt das „Maximum“ am Anfang der konstanten Verteilung (mit Wert Null) also auf LL₀. Desweiteren stellte ich damals fest, dass

[…] 124.139 Seiten […] zwar nicht Teil der „isolierten Insel“ sind, aber NUR von dort Zitate erhalten.

Das bedeutet, dass die Seiten der „isolierte Insel der Unzitierten“ die Ursprungsseiten sind und dann sofort (also auf LL₀) diese anderen 124.139 Seiten zitieren. Da die zitierten Seiten keine weiteren Zitate erhalten ist das dann automatisch auch das Maximum. Da werden zwar sicherlich Mehrfachzaehlungen dabei sein, aber von der Grøszenordnung haut das schon hin. Summa Summarum kønnen vom Wert 470-tausend ungefaehr 445-tausend sofort erklaert werden.

Um den fehlenden 25-tausend auf die Spur zu kommen schaute ich mir mal an, wie die Verteilung der Werte der Maxima aussieht von den Seiten die auf LL₀ ihr Maximum in der Linkfrequenz haben:

Aha! Da sind sie, die ca. 320-tausend Seiten mit null Zitierungen. Der zweite Balken ist mit fast 135-tausend Seiten etwas høher als die oben erwaehnten ungefaehr 125-tausend Seiten (ich gebe zu, dass man das im Diagramm nicht sieht). Das war zu erwarten, denn es gibt ja noch ca. 20-tausend Seiten die sich nicht auf dem „No-way-home“-Archipel, aber immer noch auf dem Archipel, befinden.
Hierbei ist daran zu denken, dass eine Seite die aus dem groszen Linknetzwerk zitiert wird letztlich von (fast) allen Seiten der Wikipedia gesehen wird. Der Maximumswert der meisten Seiten sollte also deutlich høher als 1 oder 2 oder gar 10 oder 100 sein. Siehe auch die hier gezeigten individuellen Verteilungen ausgewaehlter Seiten.
Wieauchimmer, von den „fehlenden“ 25-tausend Seiten befinden sich 10-tausend im zweiten Balken. 10-tausend weitere folgen gleich im dritten Balken und was dann noch fehlt ist im Rest. Ich will jetzt aber nicht wieder ins Erbsenzaehlen verfallen. Zum Glueck sieht das alles schon richtig aus und die Verteilung geht auch schnell genug runter. Das ein paar hundert Seiten mehr als ein mal zitiert werden ist normal und war zu erwarten.
Wie mehr als ein oder zwei Zitate zustande kommen ist leicht zu erklaeren, wenn man sich mal die Ausreiszer anschaut (und von dort „rueckwaerts argumentiert“):

Ja, die Linkfrequenzzaehler der Ausreiszer gehen nicht ueber LL₂ hinaus und das vom Cheshmeh Ziarat Rural District geht gar nur bis zum ersten Linklevel. Das ist uebrigens ein Verwandter einer unserer Bekannten, den wir von den „Information Operations“ von vor langer Zeit kennen.
Die Vehicle registration plates of the Canal Zone sind uns (dem køniglichen) vor nicht all zu langer Zeit schonmal begegnet.

Chrysoprasis ist uns direkt noch nicht, aber in aehnlicher Form (bspw. als Lepidoptera (auch) bei den „Information Operations“) dann doch schon untergekommen  … und wie diese Seite sich verhaelt ist uns bekannt, denn das ist eine weitere Reflexion. Wenn man dem Link folgt findet man 69 (weitere) Links die alle zu Kaefern dieser Gattung gehøren. Ich finde die Seiten aus Prinzip uebrigens voll toll, denn da hat sich anscheinend eine Expertin mal hingesetzt und aufgeschrieben wer die entsprechenden Krabbeltiere als erstes beschrieben hat. Manchmal sogar mit Bildern.
Wieauchimmer, diese 69 Kaefer zitieren die Gattung Chrysoprasis auf LL₀ und werden dort dann alle „reflektiert“ um nochmal auf LL₂ (von sich selbst aus gesehen, das sind also Selbstreferenzen) zitiert zu werden. Das eine Zitat auf LL₁ kommt von Chrysoprasis selber, denn die Seite geht von LL₀ zu den 69 Kaefern, befindet sich dann auf LL₁ und wird da 69 mal zitiert … aber das wird nur ein Mal gezaehlt, weil es sich um die Linkfrequenz handelt.

So, das soll reichen fuer heute. Das bringt mich aber auf eine Idee, ob ich damit nicht alle Archipelseiten auf einfache Art und Weise identifizieren kønnte … mhmmmm … naechstes Mal!

Beim letzten Mal hatte ich gezeigt wie die Verteilungen der Linkfrequenzen fuer drei Seiten des „São Paulo FC“-Artefakts aussehen. Zur Erinnerung: diese weisen ein zweigeteiltes Maximum auf (das zweite Maximum ist etwas kleiner) welche durch ein Phaenomen das ich „Reflexion“ nannte (und dort genauer beschrieb) zustande kommt.

Nicht zu vergessen ist, dass ich das Mysterium aufklaeren will, warum die Anzahl der totalen Links und die Anzahl aufsummierten Linkfrequenzen so nahe beieinander liegen fuer høhere und hohe Linklevel. Aber eben _weil_ die so nahe zusammen liegen muss ich genau wissen, wie die Werte fuer die Grøszen zustande kommen; daher der Titel dieses Beitrags.
All das Zaehlen veranschauliche ich genau anhand eines Beispiels: welche Seiten tragen auf LL₆₆ zur Linkfrequenz bei; dito bzgl. der totalen Links. Am Ende diskutiere ich dann, inwieweit das verallgemeinert werden kann.

Also auf geht’s mit allen (!) Seiten die auf LL₆₆ von anderen Seiten zitiert werden.

Nur 75 Seiten werden ueberhaupt auf LL₆₆ zitiert. Und alle davon erhalten Zitate NUR von den Jahren 1936 bis 1930 des „São Paulo FC“-Artefakts. Weiter unten wird klar warum das so sein muss. Farbig hervorgehoben sind ein paar Beispiele und wie viele Zitate diese auf LL₆₆ erhalten sind angegeben. Diese Werte sollen nun erklaert werden. Aber dazu muss ich etwas weiter ausholen und zunaechst nochmal ein Ergebnis von vor langer Zeit zeigen (ich bitte zu entschuldigen, dass ich hier uneinheitlich bin und Punkte, anstatt Kommas (wie oben), als Trennung nach jeder dritten Stelle benutz(t)e):

Zur Erinnerung: das ist nur ein Hereinzoomen in das Ende der Verteilung der Aussteiger (bezogen auf die totalen Links) pro Linklevel. Das bedeutet je weiter links ein Balken liegt, umso eher ist der „ausgestiegen“. Im hiesigen Zusammenhang bedeutet das, dass die Seiten die einen weiter links liegenden Balken ausmachen, ein gegebenes Jahr des Artefakts frueher durchlaufen haben und sich damit schon im darauffolgenden Jahr befinden. Die Gruppennamen sind heute im Wesentlichen nicht zu beachten; nur die Zahlen an den Balken sind wichtig (und das was ich im Satz zuvor schrieb).

Das Diagramm ganz oben zeigt, dass die 1931 São Paulo FC season auf LL₆₆ am meisten zitiert wird und dort 4,484,327 Zitate hat. Aus der ersten Untersuchung des Artefakts wissen wir auch, dass die Seiten das Selbige schøn der Reihe nach, von hohen zu niedrigeren Jahren, durchlaufen. Daraus folgt dann, dass sich die meisten Seiten im Jahre 1932 des Artefakts befinden und von dort 1931 zitieren.
Aus dem zweiten Diagramm lesen wir nun ab, dass „die meisten Seiten“ bedeutet, dass es sich dabei um 4,453,693 handelt. Das reicht nicht ganz fuer die Anzahl der Zitate die 1931 erhaelt. Hier kommt aber die „Reflexion“ ins Spiel, denn wie erwaehnt sind die Seiten die den Balkens der zwei Schritte weiter links liegt ausmachen bereits im Jahre 1930. Von dort wird 1931 natuerlich auch zitiert.
Schwuppdiwupp: 4,453,693 + 30,643 = 4,484,327 … fetzt, wa!

Das erklaert ebenso, warum das Jahr 1933 mit 4,462,345 die zweitmeisten Zitate erhaelt. Das sind zunaechst wieder die 4,453,693 Seiten auf 1932 die zurueck nach 1933 reflektieren. Und dann noch die 8,652 „Nachzuegler“ die sich auf LL₆₆ erst im Jahre 1934 befinden und von dort 1933 zitieren.

So kann man das mit allen Seiten des Artefakts machen. Dabei sieht man dann, dass sich auf LL₆₆ keine einzige Seite in spaeteren Jahren (also somit frueher in der „Artefaktkette“) sein kann als 1936. Denn das sind die letzten drei Nachzuegler die sich dort befinden, alle spaeteren Jahre wurden bereits von allen Seiten komplett durchlaufen.

Soweit dazu. Wie erhaelt nun aber die Campeonato Paulista 5,792,420 Zitate?
Ganz einfach, die wird in allen Jahren die auf LL₆₆ noch „aktiv“ sind (also von 1936 bis 1930) zitiert. Wenn man die Summe der Zahlen bildet die an den letzten sieben Balken stehen, dann kommt man auf genau diese Zahl.
So macht man das auch fuer den Associação Portuguesa de Desportos muss aber beachten, dass dieser im Jahre 1936 NICHT zitiert wird. In 1936 befinden sich ja nur noch die letzten 3 Nachzuegler, somit fehlen drei Zitate (wie angegeben).
Der CR Vasco da Gama wird nicht zitiert in den Jahren 1936 und 1935. Deswegen muessen von der maximalen Anzahl an møglichen Zitaten welche die Campeonato Paulista erhalten hat 3 + 137 (die letzten zwei Balken) abgezogen werden.

Und das geht dann so weiter, bis man beim Clube Atlético Paulista (und allen anderen Seiten die nur drei Zitate erhalten) ankommt, denn diese werden nur noch im Jahre 1936 zitiert.

Super. Damit ist der Ursprung der Zitate aufgeklaert und die Summe ueber alle Punkte des obersten Diagramms ergibt, dass die Summe aller Linkfrequenzen auf LL₆₆ 133,684,373 betraegt.
Ich muss eingestehen, dass ich peinlich lange brauchte um all das genau heraus zu bekommen und zu verstehen woran das liegt. Denn der Ansatz den ich oben schrieb der kam mir erst beim Zusammenschreiben. Ich naeherte mich der Sache auf eine kompliziertere Art und Weise wo ich genau aufpassen musste von wo welche Seite zitiert wird und in welchen Jahren sich jetzt die zitierenden Seiten (und wie viele von denen) genau befinden und wie sich das durchzieht. Das Verstehen hat mir natuerlich geholfen das relativ kurz und knapp oben zusammen zu fassen und den Zusammenhang zu einem frueheren Ergebis zu sehen und warum das richtig ist das so zu machen anstatt des urspruenglichen, komplizierteren Ansatzes.

Wieauchimmer, nun zur Anzahl der totalen Links; nach obigem Erbsenzaehlen ist das beinahe trivial.
Wir wissen, dass sich alle Seiten nur noch in den Jahren 1936 bis 1930 befinden. Getreu dem Titel dieses Beitrags heiszt das ganz konkret:
– 30,634 Fruehaufsteher sind auf LL₆₆ bereits im Jahr 1930 mit 27 Links,
– 519,452 Fruehaufsteher sind auf LL₆₆ bereits im Jahr 1931 mit 30 Links,
– die 4,453,693 Seiten des Hauptfelds sind auf LL₆₆ im Jahr 1932 mit 22 Links,
– 779,849 Nachzuegler sind auf LL₆₆ noch im Jahr 1933 mit 26 Links,
– 8,652 Nachzuegler sind auf LL₆₆ noch im Jahr 1934 mit (ebenso) 26 Links,
– 137 Nachzuegler sind auf LL₆₆ noch im Jahr 1935 mit 24 Links und endlich
– 3 Nachzuegler sind auf LL₆₆ noch im Jahr 1936 mit 31 Links.

Wenn man die Gruppengrøsze mit der Anzahl der Links multipliziert und dann alles aufsummiert, erhaelt man genau 134,896,331 totale Links auf LL₆₆.

Damit ist das Mysterium auch aufegklaert, denn grob gesagt _muessen_ die Summen ueber diese zwei Grøszen (totale Links und Linkfrequenz) per Linklevel so nahe beieinander liegen. So viele verschiedene Links wie man hat ungefaehr genau so viele Zitate (Linkfrequenz) erhaelt man. Aber Letztere sollten immer ein bisschen darunter liegen.
Zur Veranschaulichung stelle man sich zunaechst vor, dass _alle_ Seiten des Artefakts von 1936 bis 1930 genau 23 Links haben und zwar die 23 selben (!) Links. Dann liegt fue jede dieser verlinkten Seiten eine Situation wie bei Campeonato Paulista vor und die wuerden alle maximal viele Zitate auf LL₆₆ haben; naemlich 5,792,420. Die Summe ueber alle diese Linkfrequenzen ergaebe 133,225,660.
Wenn nun aber jede dieser Seiten 23 Links hat, dann folgt nach der zweiten detaillierten Rechnung oben, dass man auch genau so viele totale Links hat.

Nun stelle man sich vor, dass ein (und nur ein) Link mit einem anderen Link ausgetauscht wird. Die Anzahl der total Links bleibt in dem Szenario gleich. Der ausgetauschte Link (bzw. die Seite auf die der verweist) erhaelt nun nicht mehr die maximale Anzahl an Zitierungen. Vielmehr sind es nur noch so viele Zitate, wie sich Mitglieder in der Gruppe befinden, die sich auf dem gegebenen Linklevel auch auf der Seite mit besagtem ausgetauschtem Link aufhalten. Das ist im Wesentlichen das was oben bei allen anderen Seiten passierte die nicht Campeonato Paulista sind.
Und deswegen muss die Summe ueber die Linkfrequenzen zwar nahe an der Summe der totalen Links sein, kann aber maximal gleich grosz werden und ist aufgrund der geschilderten Ursache aber in allen Faellen kleiner.

Damit hat sich das Mysterium so’n kleines bisschen umgekehrt und die Frage ist nun, warum es bei kleinen Linkleveln Grøszenordnungen kleiner ist? Das ist schnell erklaert und liegt (wieder) an der Zaehlweise der Linkfrequenz.
Auf kleinen Linkleveln hat eine Ursprungsseite „Zugriff“ auf URST viele Seiten (einfach, weil sich das Linknetzwerk so schnell verzweigt). Dadurch hat man auch eine entsrpechend hohe Zahl an (totalen) Links und je nach Linklevel sind dies hauptsaechlich Mehrfachzaehlungen. Das natuerlich deswegen, weil Seiten oft von mehreren (anderen) Seiten zitiert werden und von Letzteren kønnen sich mehrere auf dem selben Linklevel wiederfinden (einfach weil es da so viele Seiten gibt).
Bei der Linkfrequenz wird aber jede zitierte Seite nur ein Mal pro Linklevel gezaehlt, egal wie viele Zitate die wirklich erhaelt. Und das fuehrt bei kleinen Linkleveln zu einer hohen Diskrepanz.

So, nun ist’s aber genug mit der Erbsenzaehlerei. Mal schauen, was ich beim naechsten Mal mache.

Beim letzen Mal fing ich an mir die Linkfrequenz anzuschauen. Bei der Position des Maximums der einzeilnen Verteilungen der Linkfrequenzen gibt es einen langen Schwanz. Dieser kommt durch Seiten zustande, die im Linknetzwerk aller anderen Seiten konsistent spaet zitiert werden. In der Tabelle des letzten Beitrags fuehrte ich alle Seiten auf, deren Maximum bei LL₃₀ oder darueber liegt und dort taucht immer das uns bekannte „São Paulo FC“-Artefakt auf. Aber das sind nicht die einzigen Seiten die erst spaet im Linknetzwerk zitiert werden und entsprechend wunderte ich mich:

[w]as ist denn mit […] [den anderen Seiten] und wieso stehen die da, waren aber nicht zu sehen als das „São Paulo FC“-Artefakt untersucht wurde?

Bevor ich darauf zurueck komme muss ich zunaechst zeigen, wie denn die Verteilung der Linkfrequenz einiger Seiten aus denen das Artefakt besteht aussehen:

Anstatt Balken benutze ich diesmal Punkte und die Linien zwischen diesen dienen (wie so oft) nur um etwas mehr visuelle Ordnung fuer die Augen zu schaffen.
Und Aha! Hier passieren mehrere Sachen die aber alle leicht zu verstehen sind. Ich bespreche die 1931 São Paulo FC season (schwarze Kurve) etwas ausfuehrlicher.

Auf LL₀ wird 1931 São Paulo FC season zwei Mal zitiert. Wir nahmen bei der Untersuchung dieses Artefakts an, dass die entsprechenden Seiten (im Wesentlichen) nur von den direkt dahinter bzw. davor liegenden „Jahren“ zitiert werden. Hier wird diese direkt Annahme bestaetigt, denn wuerde noch eine andere Seite 1931 São Paulo FC season zitieren, so wuerde Letztere auf LL₀ mehr als ein Zitat haben.
Um mir im Folgenden das Schreiben vieler Worte zu ersparen, fuehre ich eine Kurzform fuer das eben Geschriebene ein: „1932 zitiert 1931“ bzw. „1930 zitiert 1931“. In der Kurzform steht die Ursprungsseite zuerst, gefolgt von der Seite die zitiert wird. Ein weiteres „zitiert“ entspricht dann dem naechsten Glied in der Linkkette und das allererste „zitiert“ in dieser Kette ist immer mit LL₀ gleichzusetzen.

Auf LL₁ gibt es insgesamt zwei Zitate und eins kommt zustande weil „1933 zitiert 1932 zitiert 1931“.
Das andere Zitat folgt aus einer Selbstreferenz. Hier haben wir aber zwei Ketten die nur ein Mal gezaehlt werden, denn denn diese haben die selbe Ursprungsseite: „1931 zitiert 1932 zitiert 1931“ und „1931 zitiert 1930 zitiert 1931“. Das sieht ein bisschen aus wie eine Reflexion. Als ob die Seite an der ich interessiert bin (im Beispiel 1931) zwischen zwei halbdurchlaessigen Spiegeln steht und Zitate die von hier weg gehen eben reflektiert werden.

Nun wird’s spannend, denn auf LL₂ ist der Wert der Linkfrequenz 3. Dank der Kurznotation ist das schnell aufgeklaert.
„1934 zitiert 1933 zitiert 1932 zitiert 1931“ (nicht vergessen, das erste „zitiert“ entspricht LL₀), „1932 zitiert 1931 zitiert 1930 zitiert 1931“ und „1930 zitiert 1931 zitiert 1932 zitiert 1931“. Die letzten beiden sind wieder „Reflexionen“

Als Letztes haben wir ab LL₃ wieder nur zwei Zitate: „1935 zitiert 1934 zitiert 1933 zitiert 1932 zitiert 1931“ und „1933 zitiert 1932 zitiert 1931 zitiert 1930 zitiert 1931“.
Warum gibt es keinen „1931 zitiert 1932 zitiert 1933 zitiert 1932 zitiert 1931“-„Zustand“. Nun ja, bis „1931 zitiert 1932 zitiert 1933 zitiert 1932“ existiert dieser schon, aber weil in der Kette 1932 bereits besucht wurde, wird dem Link nicht wieder gefolgt. Somit kann der Schritt der zurueck zu 1931 zeigen wuerde nicht ausgefuehrt werden.

Und so geht es in der schwarzen Kurve weiter, bis dann ab LL₆₂ auch andere Seiten der Wikipedia unsere 1931 São Paulo FC season erreichen (in ihrem jeweils eigenen Linknetzwerk). Dies fuhert zu einem raschen Anstieg der Linkfrequenz bzw. dann wieder Abstieg, wenn die letzten Nachzuegler auch endlich dort ankommen.
Dass die Spitze zweigeteilt ist, ist wieder auf die „Reflexion“ zurueck zu fuehren. Das zweite Maximum ist etwas kleiner als das Erstse. Auf den Grund dafuer gehe ich beim naechsten Mal genauer ein.

Aber ACHTUNG! Hierbei ist zu beachten, dass diese Abfolge aus Anstieg / Maximum / Abstieg sich ueber mehrere Linklevel hinzieht. 11 an der Zahl wobei nur 9 oder gar nur 7 relevant sind.
Ich sage ACHTUNG deswegen, weil das fuer die Løsung des Mysteriums aus dem letzten Beitrag (warum die Linkfrequenz und die Anzahl der totalen Links (fast) gleich sind) wichtig wird.

OK, das war die 1931 São Paulo FC season. Die 1941 São Paulo FC season und 1951 São Paulo FC season sind relativ schnell abgehandelt. Der Anstieg zum Anfang auf einen Wert von 4 ergibt sich daraus, dass diese Seiten (zunaechst!) nicht vom Ende der Kette limitiert sind; hier fuehren also Linkketten sowohl sowohl vorwarts als auch rueckwaerts hin, was zusammen mit den Reflexionen (auch von beiden Seiten) zu einem Wert von 4 fuehrt.
Der Peak ist genau der Selbe (!) wie bei der 1931 São Paulo FC season; nur eben nach links verschoben. Letzteres weil spaetere Jahre im Linknetzwerk anderer Seiten frueher erreicht werden. Hier sehen wir also (wieder) eine schøne direkte Bestaetigung bereits vor langer Zeit indirekt beobachteter Phaenomene. … cool wa!

Ich musste das so ausfuehrlich machen um alles in den Grafen zu erklaeren, aber eben auch weil ich immer ein Auge auf besagtes Mysterium habe.
Aber nun zurueck zum obigen Zitat. Dafuer muss ich erstmal die entsprechenden Grafen einiger dieser Seiten zeigen, …

… aber das muss laengst nicht so detailliert besprochen werden denn des Raetsels Løsung ist einfach.
Es sei zunaechst daran erinnert, dass bei der ersten detaillierten Untersuchung des „São Paulo FC“-Artefakts die Anzahl der totalen Links per Linklevel betrachtet wurde.

Desweiteren wissen wir aus der Tabelle vom letzten Mal, dass es noch andere Seite als die Saisons des São Paulo FC gibt, deren Maxima der Linkfrequenzverteilungen erst auf (sehr) spaeten Linkleveln liegen. Dies unterliegt aber einer wichtigen Einschraenkung.
Ja, diese Seiten werden sehr oft zitiert zum Ende der Linknetzwerke anderer Seiten. Das liegt daran, dass solche Seiten dem brasilianischen Fuszball zuzuordnen sind und sicherlich auf den Seiten einer (oder mehrer) Saisons des São Paulo FC zitiert werden. Weil Letztere erst zum Ende der Linkkette der allermeisten Wikipediaseiten auftreten und dort aber dann mit „voller Wucht“, fuehrt dies auch zu vielen Zitaten bei den nicht-São-Paulo-FC-Seiten die von denen zitiert werden.
Aber gleichzeitig werden die selben Seiten bereits frueh in den Linknetzwerken anderer Seiten zitiert. Und das beinahe (aber nicht ganz!) maximal oft, was aus der sehr schnellen Verzweigung des Linknetzwerkes folgt. Das ist dann der Nachteil, wenn man die Informationsmenge reduziert (in diesem Fall auf nur das Maximum) um derer habhaft zu werden; da muss man alles wieder auseinanderfriemeln, wenn irgendwas komisch erscheint.

Wieauchimmer, durch die fruehe Zitierung wird denen dann aber auf spaeteren Linkleven nicht mehr gefolgt (damit es nicht zu Schleifen kommt). Damit kønnen diese Seiten nicht mehr zu den totalen Links auf spaeteren Linkleveln beitragen und deswegen habe ich die bei der ersten ersten Untersuchung des „São Paulo FC“-Artefakts nicht gesehen.

Bei diesem Phaenomen handelt es sich also um ein Meta-Artefakt, denn es kommt nur dadurch zustande, weil es ueberhaupt erst das „São Paulo FC“-Artefakt gibt.

So, nun ist der Artikel schon so lang, weswegen ich heute nicht weiter darauf eingehen werde, wie das alles mit dem Mysterium des letzten Beitrags zusammenhaengt. Aber das ist ja auch was Schønes, denn da kønnt ihr, meine lieben Leserinnen und Leser euch da laenger drauf freuen.

Es ist jetzt ganz genau zwei Jahre her, dass ich mit dieser Maxiserie anfing. Aber nun ist das Ende abzusehen (wenn auch noch nicht unbedingt nah), denn ich komme endlich zur letzten groszen Sache die ich noch gemessen, mir aber bisher nicht angeschaut habe: die Linkfrequenz.

Zur Auffrischung ganz kurz nochmal: Mich interessiert, ob Seite X von anderen Seiten zitiert wird und auf welchem Linklevel das passiert.
ACHTUNG: Mich interessiert NICHT _wie oft_ Seite X auf einem gegebenen Linklevel (einer anderen Seite) zitiert wird, sondern nur _ob_ Seite X ueberhaupt zitiert wurde.

Ein (stark vereinfachtes) Beispiel in zwei Schritten.
Auf LL₅ von Seite A wird Seite X ein Mal zitiert und auf LL₆ zwei Mal. In beiden Faellen zaehlt fuer Seite X die Linkfrequenz nur ein Mal fuer das jeweilige Linklevel hoch.
Auf LL₅ von Seite B wird Seite X dreiundzwanzig Mal zitiert (und dann nie wieder). Die Linkfrequenz von Seite X fuer LL₅ zaehlt nochmal eins hoch und liegt dann insgesamt bei zwei.

Das soll als Zusammenfassung reichen, eine detailliertere Erklaerung findet sich hinter dem oben verlinkten Beitrag. Als erstes schaue ich mir wie immer die Summe aller Linkfrequenzen per Linklevel fuer alle Seiten an:

Zum Vergleich habe ich im linken Diagramm wieder die Summe der totalen Links pro Linklevel reingelegt und da sieht man gleich die erste Ueberraschung: ab ungefaehr Linklevel … ich sag jetzt Mal Linklevel 20 ohne das genau zu pruefen, sind die beiden Kurven beinahe deckungsgleich. Das ist auch keine „logarithmische Komprimierung“, denn bei linearer Darstellung (auszugsweise im rechten Diagramm) sieht das genauso aus.

Na da habe ich doch gleich mal ein Raetsel was es zu løsen gilt. Ich habe so ’ne Vermutung, dass das mit dem bereits (vor allem hier aber auch an anderen Stellen) detailliert besprochenen „São Paulo FC“-Artefakt zu tun hat.

Darauf hin fuehrt das Diagramm welches ich ueblichweise im Anschluss an das Obige zeigte — die Verteilung der Position der Maxima der einzelnen Verteilungen:

AHA! Im Vergleich mit den oben verlinkten Verteilungen der gleichen Grøsze bei den anderen drei Messgrøszen geht das viel weiter. Und wenn wir uns den „Schwanz mal anschauen so sehe ich dort das Folgende (JA, die Links sind alle klickbar und man kann ruhig fragen, wieviel Zeit ich damit verbracht habe):

Nochmal AHA! Denn als ich das „São Paulo FC“-Artefakt zum ersten Mal untersuchte (siehe der Link oben), vermutete (!) ich nur, dass die jeweiligen Jahre am Ende der Linkkette ALLER Seiten stehen. Dafuer hatte ich aber keinen direkten Beweis, auch wenn die indirekten Hinweise sehr schluessig und ueberzeugend waren (bzw. immer noch sind).
Hier nun aber sehe ich direkt, dass die jeweiligen Saisons des São Paulo FC tatsaechlich am haeufigsten (und absteigender Reihenfolge) bei ganz hohen Linkleveln zitiert werden. Cool wa! Ist voll schøn wenn eine (eigene) Theorie direkt bestaetigt wird.

Aber in der Tabelle sehe ich in den entsprechenden Zeilen auch noch viele andere Seiten! Was ist denn mit denen und wieso stehen die da, waren aber nicht zu sehen als das „São Paulo FC“-Artefakt untersucht wurde?

Um das zu erklaeren muss ich etwas weiter ausholen, aber dieser Artikel ist ohnehin schon so lang. Deswegen verschiebe ich das auf das naechste Mal. Und alles zusammen (und noch ein bisschen mehr) fuehrt letztlich zur Entraetselung des obigen Mysteriums.

Als ich die Daten fuer den Beitrag des letzten Mals anschaute, tauchten in einem Datensatz diese Tentakel auf:

Ich sah das … und wollte einfach nur „dran vorbei gehen“. Ich hatte da keine Lust mehr drauf und wollte alles im Zusammenhang mit Selbstreferenzen, totalen und neuen Links abschlieszen um endlich zur Analyse der naechsten (und letzten) Messgrøsze zu kommen.
Es ist ja auch nur in einem Datensatz (OKOK, ich geb’s zu, eigtl. in zwei Datensaetzen, aber bei dem anderen sind’s noch Babytentakel.) … da kann man schon mal 5 grade sein lassen und das merkwuerdige Verhalten in den schon øfter erwaehnten Fehler schieben.

Aber das mir hat natuerlich keine Ruhe gelassen … irgendwie funktioniert meine graue Masse so nicht … ich will wissen was vor sich geht … oder anders: ich wurde wieder mal Opfer von „Nerd Sniping“ … wobei ich mich selbst „gesniped“ habe … bzw. sogar doppelt „gesniped“, denn dieses ganze Kevin Bacon Groszprojekt ist auch sowas.
Im Grunde ist das gar nicht so schlecht, denn aus der Untersuchung von Anomalien folgt oft besseres Verstaendnis oder gar massiver Erkentnissgewinn.

Deswegen fing ich an mir Gedanken zu machen, wie ich den Tentakeln auf die Spur kommen kønnte. Ich war aber vor ein massives Problem gestellt, denn hierbei handelte es sich um Millionen von Links auf (mindestens) tausenden von Seiten. Aber beim allerersten Blob waren ja auch hunderte von Seiten involviert und ich schaffte den zu entraetseln.

Nach laengerem Gruebeln fing ich dann also an Code zu schreiben um die Tentakel zu extrahieren. Ich hatte erst wenige Zeilen eingetippt, als mir der Gedanke kam, dass ich ja mal schauen kønnte, ob das ein Artefakt ist. Um das zu verstehen muss ich zunaechst gestehen, dass ich im obigen Diagramm des Effekts wegen eine wichtige Information weggelassen habe: es handelt sich dabei um die _durchschnittliche_ Anzahl neuer Links. Denn wie bereits ein paar Male zuvor bildete ich (zunaechst) den Durchschnitt, um mit der Masse der Daten besser zurecht zu kommen. Und siehe da:

HURRAH! Es ist tatsaechlich ein Artefakt … Toll wa! Denn das erspart mir urst viel Arbeit.

Das ist uebrigens der Grund, warum ich beim letzten Mal NICHT die Durchschnitte sondern die Rohdaten zeigte. Aber das ist bestimmt nicht aufgefallen, denn ich habe da nicht drauf hingewiesen.

Man sieht (natuerlicherweise) oft Unterschiede zwischen Rohdaten und daraus gebildeten Durchschnitten. Aber fast ebenso oft sind solche Unterschiede nicht sooo grosz und aendern nichts oder wenig am Gesagten. Oder man kommt nicht weiter, wenn man das nicht macht und erst durch die Durchschnittsbildung folgt oben erwaehnter Erkenntnisgewinn. Dem war hier nicht so; die Tentakel sind nur ein ungewolltes Artefakt.
Dieses Beispiel zeigt aber wieder ganz toll, dass man sich bewusst sein sollte wo die Daten eigentlich herkommen und wie die vor der (oder fuer die) Analyse „behandelt“ wurden. Und insbesondere zeigt der hier diskutierte „Vorfall“ auch wieder, wie wichtig es ist dem Ursprung komischer Sachen auf die Spur zu kommen; nicht zuletzt auch um der(auch eigenen) Integritaet Genuege zu tun.

Und das ist das Tolle am Data-Scientist-Dasein, ich mach das und dann ist entweder voll der Erkennisgewinn da ODER ich løse ein Problem. Zwei sehr motivierende Faktoren.
Deswegen sage ich zum Abschluss wiedereinmal: Studienziel: Erreicht!

Vor einer Weile entdeckte ich, dass die individuellen Verteilungen der Selbstreferenzen pro Linklevel maechtigen Gesetzen unterliegen. Das brachte mich auf die Idee mit der Simulation. Dafuer musste ich aber herausfinden, wie sich das System entwickelt. Dies wiederum vollbrachte ich mit einer Untersuchung der Abhaengigkeit der Anzahl der Selbstreferenzen auf einem Linklevel von der Anzahl der Selbstreferenzen auf dem Linklevel davor.
Ersteres hatte ich sowohl fuer die Anzahl aller, als auch die Anzahl neuer Links pro Linklevel getan und da kam eigtl. nix bei raus. Die Idee Letzters mal zu machen kam mir damals erst gar nicht. Das hole ich heute nach.

Zum Glueck muss ich nicht mehr erklaeren was ich hier eigentlich mache und kann sofort ohne viel Aufhebens repraesentative Kurven bzgl. der Anzahl der totalen Links zeigen:

WOW! … Das war meine erste Reaktion als ich das sah. Denn ich hatte obiges Nullergebniss, dass bei den (einfachen) individuellen Verteilungen nicht viel bei rum kam, noch im Hinterkopf. Aber dann praesentiert sich mir hier pløtzlich eine so wunderschøne Abhaengigkeit.

Das ist zwar nicht linear und die Entwicklung des Systems „macht ’ne Kurve und kehrt zurueck“, aber in der doppellogarithmischen Darstellung sieht das aus wie’n Ausschnitt aus ’ner Ellipse und Orbits sind mathematisch in geschlossener Form behandelbar. Das wuerde das Ganze nur etwas komplizierter machen, denn Orbits sind … ich sag jetzt mal im generellen Sinne … zeitabhaengig.
Oder anders: bei den Selbstreferenzen konnte ich einfach sagen, dass die Selbstreferenzen auf dem naechsten Linklevel NUR von den Selbstreferenzen auf dem jetzigen Linklevel abhaengen, aber nicht vom Linklevel selber. Das ist beim Orbit nicht mehr der Fall, denn solche sind keine bijektiven Abbildungen mehr sondern nur noch surjektive Abbildungen. Bei der Entwicklung muss man sich also „merken“ ob man auf dem oberen „Ast“ oder (schon) auf dem unteren „Ast“ ist, denn wenn ein Punkt sich noch auf Ersterem befindet, so soll dieser nicht einfach „runter springen“ sondern schøn „um die Kurve rumgehen“.

Aber Achtung, das ist keine wirkliche Ellipse, denn bei spaeteren Linkleveln verhaelt sich das auch bei linearen Achsen linear:

Aber selbst dann kønnte man das mathematisch noch als Bézier Kurve darstellen.

Bei den neuen Links ist das im Wesentlichen das Gleiche:

Die Skala reicht natuerlich nicht so weit und die neuen Links laufen den totalen Links „voraus“. Letzteres sieht man in der linearen Darstellung an den schwarzen Punkte fuer die neuen Links von LL₂ zu LL₃. Diese erreichen und ueberschreiten das Maximum bereits, waehrend das bei den totalen Links von LL₂ zu LL₃ noch nicht der Fall ist.
Aber das war zu erwarten und dieses Phaenomen des „Vorauseilens“ ist uns schon bei der Anzahl der neuen Links pro Linklevel im Vergleich zur Anzahl der totalen Links pro Linklevel ueber den Weg gelaufen, wo Erstere das Maximum eher erreichten als Letztere.

Lange Rede kurzer Sinn, auch die Entwicklung dieser beiden Grøszen kann man mathematisch beschreiben und dann prinzipiell mit nur einer Messung des Anfangszustands besagte Entwicklung des Systems berechnen. Das spare ich mir aber, denn ich habe da keine Lust mehr drauf.

Ach so, Aussteiger der totalen Links habe ich bereits gruendlich untersucht (und das Ergebniss kann auf neue Links uebertragen werden) und Ketten von neuen oder totalen Links kønnen per definitionem nicht reaktiviert werden.

Es ist wohl zur Gewhohnheit innerhalb dieser Maxiserie geworden, (meist zum Abschluss) zu schauen um was fuer Seiten es sich bei den extremen Ausreiszern handelt. Das ist eigentlich eine schøne Tradition und ich behalte das bei :). Heute ergeben sich Ausreiszer aus zwei Grafen.

Die Ersten sind die Seiten die zu den fuenf Punkten am Ende der Kurve der Anzahl der ausgestiegenen Seiten pro Linklevel fuehren. Alle diese haben mindestens bis LL₄ hunderte von Selbstzitate, zwei sogar zum Teil mehrere Tausend. Ebenso haben diese eine ununterbrochene Kette von Selbstreferenzen bis zum gegebenen „Ausstieg“. Aber die Kette besteht zum allergrøszten Teil ab ca. LL₁₀ nur noch aus Einsen (mit ein paar Zweien dazwischen).

Wieauchimmer, los geht’s mit Campinas, eine Stadt in Brazilien … wait! what? … das riecht doch schon wieder verdaechtig nach Fuszballkram … welche auf LL₅₀ aussteigt. Gefolgt von Associação Portuguesa de Desportos … ICH WUSSTE ES! … einem brasilianischen Fuszballklubb auf LL₆₀.
Auf LL₆₆ begegnet uns ein alter (und bereits ausfuehrlich besprochener) Bekannter: der São Paulo FC.
Diesem schlieszen sich auf LL₆₇ mit Campeonato Paulista eine brasilianische Fuszballliga, mit Sociedade Esportiva Palmeiras, Santos FC und Sport Club Corinthians Paulista vier brasilianische Sportklubbs (die am am meisten wg. ihrer Fuszballaktivitaeten bekannt sind) und die (brasilianische! … das scheint heute das zugrundeliegende Thema zu sein) Stadt São Paulo an.
Die laengste Seite, mit einer unnunterbrochenen Kette an Selbstreferenzen bis LL₆₈ ist … *enttaeuschter trommelwirbel denn irgendwie ahnt man bereits dass das auch wieder dem Fuszball zugehørig sein wird* … Exhibition game. … Oh warte mal. Das gibt’s ja auch fuer andere Sportarten … Hurra!

Zum Zweiten schaute ich mir mal an welche Seiten in den Heatmaps des letzten Beitrag zu den høchsten Punkten fuehren; also reaktivierte Linkketten die 25 oder mehr (zusammenhaengenden) Linklevel haben. Eine kleine Warnung: es geht weiter mit Fuszball.

Im „Verhalten“ sind diese Seiten aehnlich wie die Obigen. Nur im langen Schwanz der Kette wo immer nur einzelne Selbstzitate auftreten gibt es eben Brueche. Mit einer Ausname das Fuszballstadion Pfarrwiese, die keine Selbstreferenzen auf LL₁ hat und dann auf LL₂ „reaktiviert“ wird mit einer Kette die 29 Linklevel weit reicht. Ebenso 29 „Kettenglieder“ hat das Atahualpa Olympic Stadium, aber dessen „Schwanz“ bricht zwei Mal ab, bevor diese Kette bei LL₁₅ (re)aktiviert wird.
Ein doppelter Abbruch erfolgt auch fuer den FC UTA Arad, das Estádio Urbano Caldeira und den Clube Atlético Juventus deren reaktivierte Linkketten mit jeweils 30, 33 und 34 Kettengliedern auf LL₁₇ , LL₂₅  und LL₂₈ anfangen. Bei Letzterem ist die reaktivierte (und laengste) Kette aber in der Mitte und nicht am Ende.
Sogar fuenf Abbrueche weist die Stadt Santos, São Paulo auf und die vierte reaktivierte Kette an Selbstreferenzen, mit 39 Kettengliedern, beginnt auf LL₂₆.
Mit ganzen 43 Gliedern hat die allerlaengste reaktivierte Kette (auch in der Mitte zwischen dem ersten und zweiten Abbruch) das Pacaembu Stadium.

So, das war’s fuer heute mit dem traditionellen Beglotzen von Ausreiszern. Wie mit Extremwerten ueblich gibt’s hier wenig zu holen, ’s ist aber mal witzig zu schauen.