Søren in Norwegen

.oO(OI! Indizes gehen auch im Titel … aber mich duenkt ich fand das gerade (mindestens) zum zweiten Mal raus.)

Beim letzten Mal stiesz ich auf eine einfache und (ich hoffe) eindeutige Art und Weise wie man Artefakte identifizieren kann. In kurz: die haben keine Zitate auf fruehen Linkleveln und werden auf relativ wenigen spaeten Linkleveln „geballt“ zitiert.
da geht’s dann auch schon los, denn das ist alles etwas schwammig … und im Laufe meiner Untersuchungen fand ich ein paar coole Sachen raus die dazu fuehren, dass ich erstmal mit Begriffen aufraeumen muss.

Alles begann damit, dass ich auf ein paar Saisons des São Paulo FC des aufmerksam wurde. Ich fand heraus wie die „unnormalen“ Eigenschaften dieser Entdeckung zustande kommen: eine lange Kette von nacheinander folgenden Zitierungen. Das Zustandekommen dieser Kette schob ich aber auf ein Artefakt der Datenbehandlung … schwupps war das viel diskutierte „São Paulo FC“-Artefakt geboren.
Hierbei ist zu sagen, dass ich nur durch einen Zufall die Entdeckung machen konnte. Ich zitiere vom letzten Mal:

[nur] [d]as „São Paulo FC“-Artefakt konnte ich eindeutig bestimmen, denn es reicht von allen (møglichen) Artefakten am Weitesten (bis LL₆₆ und darueber hinaus) weil es bis 1930 zurueck geht […] [und] [d]eswegen […] zum Ende in „Reinform“ im Signal vor[liegt].

Dieses Artefakt hinterliesz auch in anderen Messgrøszen eindeutig zu identifizierende Spuren (bspw. Reflexionen) und ich dachte eine Weile, dass diese zwingend nøtig sein muessen. Das ist nicht richtig und ich komme darauf zurueck. Ein Grund dafuer ist verbunden mit dem was ich Meta-Artefakt nannte, aber auch hier verweise ich auf das was im Weiteren folgt.

Durch die Versuche noch mehr „Artefakte“ zu finden  bin ich zu der Ueberzeugung gekommen, dass es sich dabei vermutlich mitnichten um Artefakte handelt sondern dass dies eine genuine Eigenschaft des Wikipedialinknetzwerkes ist. Diese tritt selten auf, ist aber ein „natuerliches“ Phaenomen und der zugrundeliegende Mechanismus sind die oben erwaehnten Zitatketten.
Beim „São Paulo FC“-Artefakt sind das „vor- und ruecklaeufige“ Zitatketten. Wenn bspw. die 1969 Saison zur 1970 Saison zitiert, so erfolgt das Zitat auch in die andere Richtung. Diese „zuruecklaufenden“ Zitate sind der Grund fuer das Phaenomen der Reflexionen.
ABER: ruecklaufende Zitatketten sind nicht zwingend notwendig. Man kann sich leicht eine Kette von Zitaten denken, die nur in eine Richtung geht. Oder eine Kette von vor- und ruecklaeufigen Zitaten, aber mit „Semi-Unterbrechungen“ an einer oder mehreren Stellen, wo die Zitierrichtung eine „Einbahnstrasze“ ist. Das aendert nix am Charakter der Kette und „Artefaktsignale“ kommen weiterhin zustande. Derartige Signale muessen aber nicht (mehr) zwangslaeufig Reflexionen (in der entsprechenden Messgrøsze) aufweisen. Das bedeutet aber NICHT, dass Meta-Artefakte dadurch zu „richtigen“ Artefakten aufgewertet werden … aber ich greife schon wieder vor.

Wieauchimmer, aus den obigen Gruenden møchte ich lieber vom Begriff „Artefakt“ weg kommen und anstatt dessen das Wort „Zitierketten“ benutzen. Bzw. werde ich vermutlich meist nur kurz „Ketten“ schreiben und damit Ketten von sich ordentlich nacheinander zitierenden Seiten meinen. Und das ist dann auch das Identifizierungesmerkmal solcher Seiten: die werden NUR erreicht, wenn man durch die ganze Kette geht. Diese Definition erklaert das man kein Signal bei kleinen Linkleveln hat und dass „alles auf einmal passiert“ bei hohen Linkleveln.
Somit ist das „São Paulo FC“-Artefakt also die „São Paulo FC“-Kette.

Nun das wo die Meta-Artefakte reinspielen … hier wuerde der Begriff Meta-Kette nicht passen, denn das was Ketten ausmacht ist streng definiert.
Meta-Artefakte zeichnen sich dadurch aus, dass sie auf fruehen Linkleveln schon oft zitiert werden, dann nicht nicht mehr auf „mittleren“ Linkleveln und dann nochmal massiv auf hohen Linkleveln. Letzteres kann fuer sich isoliert gesehen wie ein Kettensignal aussehen (jetzt ja auch ohne Reflexionen erlaubt) aber ein echtes Kettesignal hat zwingend (!) nix auf kleinen Linkleveln. Deswegen die Vorsilbe.

Das fuehrt zu einem weiteren Phaenomen im Zusammenhang mit Ketten, welches ich „Anhaenger“ (zu Ketten) taufe. Das sind Seiten die NUR von Kettenseiten zitiert werden aber nicht dazu gehøren. Ersteres fuehrt zu einem kettenartigen Signal; nix bei kleinen Linkleveln und ein dickes Signal auf hohen Linkleveln. Der wichtige Unterschied ist aber, dass Anhaenger NICHT Teil der Kette sind und auch von mehreren Kettenseiten zitiert werden kønnen. Die folgende schematische Darstellung macht das Prinzip der Anhaenger hoffentlich etwas besser verstaendlich:

Man kann natuerlich argumentieren, dass bestimme Anhaenger auch Teile von echten Ketten sein kønnen. Der erste blaue Punkt in der Abbildung wuerde darunter fallen. Nun ist’s aber so, dass Ketten in „Familien“ vorkommen. Im haeufigsten (und einfachsten) Fall gehøren alle Seiten einer Kette zur selben „Familie“ was sich durch nur minimale Unterschiede im Titel ausdrueckt — die „São Paulo FC“-Kette unterscheidet sich bspw. nur durch die Jahreszahl. Es gibt Ausnahmen, aber auf die komme ich an anderer Stelle zu sprechen.
Anhaenger zeichnen sich dann weiterhin dadurch aus, dass sie zwar technisch gesehen als Kette gelten kønnten, aber thematisch nicht in besagte Kette passen. Letzteres gilt auch bei den Ausnahmen (ist aber technisch schwerer zu unterscheiden). Dadurch sind Anhaenger phaenomenologisch (was immer das auch heiszen mag) Meta-Artefakten naeher als den Ketten, obwohl Erstere manchmal auch ein Kettensignal aufweisen kønnen.
Theoretisch gesehen ein Problem (insb. in Ketten die keinen „Familiennamen“ haben) kønnten Anhaenger am Ende der Kette werden … aber darum kuemmer ich mich wenn es ein Problem werden sollte.

Das soll reichen fuer heute. Als Verbereitung fuer’s naechste Mal sei so viel festzuhalten. Potentielle Kandidaten fuer Kettenseiten finde ich zunaechst durch das Charakteristikum, dass solche Seiten in der Linkfrequenz kein Signal vor einer gewissen Grenze haben und ein „dickes“ Signal danach aufweisen. Desweiteren kønnen Ketten in „Familien“ auftreten, muessen aber nicht. Auszerdem kønnen sich unter den Kandidaten auch „Anhaenger“ befinden. Alle Kandidaten muessen also zunaechst in diese Kategorien sortiert werden, bevor man mal weiterschaut … aber wie gesagt, dazu mehr beim naechsten Mal.

Ich knuepfe ohne weitere Umschweife direkt an das letzte Mal an. Dort schrieb ich zum Ende:

Bei Robert John „Mutt“ Lange sieht die Situation anders aus.

Denn der wird gar nicht von Artefaktseiten zitiert. Die Erklaerung die bei Umuarama gueltig ist, greift in dem Fall also nicht. Da muss ich doch mal genauer schauen und die erste Erkenntnis ist, dass das der Ex-Mann von Shania Twain ist. Auszerdem traegt er die Verantwortung fuer das Zustandekommen bekannter und erfolgreicher Lieder … die zum Teil sogar eigene Wikipediseiten haben (bspw. (Everything I Do) I Do It for You). Deswegen wird er von 504 Wikipediaseiten (zu Songs, Awards und anderem musikrelevantem Zeug) zitiert und ich schaute mir mal deren Linkfrequenzen an um den vielen Zitaten zu Robert John „Mutt“ Lange um LL₂₅ auf die Spur zu kommen.

Hier ist das Resultat dieser Untersuchung:
– 422 Seiten verhalten sich normal; weisen also ein Maximum auf fruehen Linkleveln auf, die Linkfrequenz geht schnell wieder runter und ist insb. um LL₂₅ Null.
– 69 weitere Seiten die auch ein Maximum bei fruehen Linkleveln haben, die aber auf LL₂₅ immer noch, aber wenig zitiert werden. Wenig bedeutet hier, gleich oft oder weniger als 23 Mal … ein fast vøllig willkuerlicher Grenzwert. Im Wesentlichen wie der erste Fall, nur dass sich der „Schwanz“ etwas laenger hinzieht.
– 10 Seiten welche ebenso bei fruehen Linkleveln ein Maximum aufweisen, die aber auch sehr (!) oft um LL₂₅ zitiert werden … aha … das ist so eine Struktur wie sie bei Meta-Artefakten auftritt … das ist ja interessant, denn die werden NICHT vom „São Paulo FC“-Artefakt zitiert. Aber der Clou kommt erst mit den …
– … 3 Seiten die KEIN Maximum bei fruehen Linkleveln (dort also nur wenig (siehe oben) zitiert werden) und nur EIN Maximum um LL₂₅ haben … und das Maximum ist auch noch gespalten … Wait! What!?

Das habe ich nicht erwartet und deswegen schaute ich mir mal an welche drei Seiten das genau sind. Und siehe da es sind: Billboard Top Hits: 1985, Billboard Top Hits: 1986 und Billboard Top Hits: 1988. AHA! Die haben eine Struktur (auch im Titel) die verdaechtig nach ’ner artefaktaehnlichen Reihe aussieht.
Ich behaupte nun, dass es sich dabei auch um ein Artefakt handelt. Nur halt ein bisher Unbekanntes.

Ich hatte schon seit sehr langer Zeit vermutet, dass weitere „Ketten von Seiten“ existieren sollten, deren Verhalten dem entspricht, was ich anhand des „São Paulo FC“-Artefakts ausfuehrlich besprach. In den Messungen der totalen (und neuen) Links gibt es Hinweise darauf bei Linkleveln kleiner als 50 (mglw. sogar kleiner als 60, kann mich nicht so genau erinnern). Aber das ist mitnichten eindeutig und schwer zu verfolgen. Die Signale aller anderen Seiten mischen sich  zu sehr bei so „kleinen“ Linkleveln und deswegen sah ich keine (vernuenftige) Chance die møglichen weiteren Artefakte aus den Messungen der totalen oder neuen Links heraus zu pfriemeln.
Das „São Paulo FC“-Artefakt konnte ich eindeutig bestimmen, denn es reicht von allen (møglichen) Artefakten am Weitesten (bis LL₆₆ und darueber hinaus) weil es bis 1930 zurueck geht. Deswegen liegt das zum Ende in „Reinform“ im Signal vor.  … … … Mhmmmm die Selbstreferenzen eignen sich mglw. (bedingt (!))  dafuer … aber das waere auch mehrdeutig oder zumindest nicht ganz eindeutig (deswegen das Wørtchen „bedingt“).

Wieauchimmer, beim letzten Mal habe ich gezeigt, dass der Querbalken durch gespaltene Maxima (im dortigen Beispiel um LL₂₅) zustande kommt. Von Umstaenden wie bei Umuarama abgesehen kann ein gespaltenes Maximum aber nur bei Artefaktseiten auftreten. Aber das „São Paulo FC“-Artefakt kann auf einem gegebenen Linklevel nur zwei Datenpunkte zum Querbalken beitragen. Die anderen Seiten des Querbalkens kønnen nur duch Meta-Artefakte (wie Umuarama) oder andere Artefakte (wie die Billboard Top Hits) zustande kommen.

Hier kommt nun endlich der beim letzten Mal angekuendigte „Ueberraschungsdatenpunkt“ ins Spiel. Wegen obigen Ueberlegungen wollte ich naemlich mal sehen ob ich weitere Artefakte im Querbalken finde … und gleich die erste, zufaellig ausgewaehlte Seiten war mit 1987 Liga Deportiva Universitaria de Quito season ein Volltreffer (Wortspielkasse):

Cool wa! Da musste ich gar nicht weiter suchen.

Einschub kurz vor Schluss: Ich habe den Namen der „Ueberraschungsseite“ nur deswegen „geheim“ gehalten, weil es ansonsten dieses ganz wunderbare Resultat zu frueh preisgegeben haette.

Wieauchimmer, DAS bringt mich auf eine Idee wie ich auf praktikable (und eindeutige) Weise die weiteren Artefakte erkennen kann … aber nicht mehr heute.

Beim letzten Mal hatte ich im sechsten Diagramm drei Datenpunkt hervorgehoben. Diese wurden zufaellig ausgesucht (bzw. war der einzige „Nichtzufall“, dass die ungefaehr zum Anfang und Ende, bzw. der Mitte des Querbalkens gehøren sollten). Ich erwaehne das nochmal, denn das Verhalten der zugehørigen Seiten habe ich genauer untersucht. Dies zunaechst um den Ursprung des besagten Querbalkens aufzudecken. Das schaffte ich … und darum soll es heute gehen. Aber viel toller ist, dass ich dadurch Beweise fuer einen Sachverhalt fand, dessen Existenz ich schon fast von Anfang an vermutete. Aufgrund der involvierten Datenmenge konnte ich dem aber nie auf die Spur kommen … aber ich bin vor lauter Freude darueber schon viel zu weit im Erzaehlen … daher, der Reihe nach.

Hier nochmals das relevante Diagramm vom letzten Mal:

Fuer diese drei Punkte schaute ich mir die Linkfrequenz per Linklevel an. Zunaechst zeige ich die Daten aber nur fuer Umuarama und Robert John „Mutt“ Lange:

Kein Sorge, das „Chaos“ im rechten Diagramm ist kein Chaos sondern vielmehr das linke Diagramm nur anders aufgetragen.
Beide Seiten verhalten sich zunaechst so wie beim letzten Mal besprochen. Das Durchlaufen des (ersten) Maximums fuehrt zum (ersten) „Kreis“. Dann aber erfahren beide Seiten um LL₂₅  nochmals eine „Welle von Zitierungen“. Naiv wuerde ich jetzt zunaechst denken, dass das zu einem zweiten Kreis fuehrt. Man beachte aber, dass beide Kurven einen „Knick“ im zweiten Maximum haben. Der sieht zwar eher unbedeutend aus, aber es ist dran zu denken, dass die Ordinate des linken Diagramms logarithmisch ist und die des rechten Diagramms linear.
Und plops … wenn man den Kurven im rechten Diagramm folgt (mit einem Auge auf den Kurvenverlauf im linken Diagramm), dann sieht man wieso im obersten Diagramm der Querbalken auftaucht: Das ist ein Resultat gespaltener Maxima (hier) um LL₂₅.

Andererseits erklaert das aber nur die direkte Beobachtung und nicht wie der Querbalken ueberhaupt erst entsteht. Hier aber brachte mich der „Knick“ im zweiten Maximum auf die richtige Spur, denn das sieht verdaechtig wie das „São Paulo FC“-Artefakt aus. Es kann natuerlich nicht das Artefakt selber sein, denn zum Einen sind die Namen der Seiten falsch und zum Anderen werden beide Seiten bereits auf niedrigen Linkleveln zitiert. Dann sind’s vermutlich Meta-Artefakte, welche nur zustande kommen, weil die Seiten vom „São Paulo FC“-Artefakt zitiert werden.

Das kann ich natuerlich kontrollieren und tatsaechlich, Umuarama wird von den Jahren 1972 und 1974 (der São Paulo FC season(s)) zitiert. Kurz ueberschlagen … 1930 ist maximal auf LL₆₆ … 1972 ist 42 Schritte von 1930 entfernt … die erste Spitze des zweiten Maximums von Umuarama liegt bei 24 … plus 42 = 66 … ditt stimmt! Super!
Im Uebrigen ist es sehr gut, dass da die „Zitiatluecke“ bei 1973 ist. Dies deswegen, weil des gespaltene Maximum bei den Artefaktseiten durch „Reflexionen“ zustande kommt. Meta-Artefakte kønnen grundsaetzlich keine Reflexionen aufweisen. Aber weil 1974 von den meisten Seiten zwei Linklevel spaeter erreicht wird, entstehen dennoch zwei Spitzen.

Bei Robert John „Mutt“ Lange sieht die Situation anders aus. Aber der Artikel wuerde zu lang werden, wenn ich darauf noch eingehen wuerde. Darum verschiebe ich das lieber auf’s naechste Mal … und damit auch die im Diagramm angekuendigte „Ueberraschung“.

Nach den linklevelabhaengigen Verteilungen der Linkfrequenz folgt die Abhaengigkeit der Linkfrequenz auf einem Linklevel vom Wert der Linkfrequenz auf dem Linklevel davor.
Gleichartige Untersuchungen waren bei den Selbstreferenzen sehr fruchtbar und mindestens interessant bei den totalen (und neuen) Links. Bei denen hielt sich das „Gezappel“ der Datenpunkte in Grenzen und ich konnte relativ viele (repraesentative) Verteilungen zeigen.
Heute muss ich das kleinteilig aufdrøseln, …

… denn die Daten streuen zu sehr und wuerden sich gegenseitig ueberdecken, wenn ich bei kleinen Linkleveln mehr als eine Verteilung in das selbe Diagramm packen wuerde. Zum Glueck passiert nicht all zu viel Unerwartetes und alles kann ganz schnell generalisiert werden, sodass ich ingesamt nur wenige repraesentative Kurven zeigen muss. Aber der Reihe nach.

Der sich zu nach rechts oben zuspitzende Blob aus Punkten zeigt im Wesentlichen ein Resultat welches schon nach der allerersten Auswertung der zuallererst untersuchten Grøsze (der Summenverteilung der totalen Links) qualitativ hergeleitet werden kann. Es ist wieder eine Kombination aus drei bekannten Sachverhalten. Zum einen wenigen Links und daraus resultierenden wenigen Zitaten anderer Seiten auf LL₁. „Wenig“ bedeutet hier so ca. 1000 oder gar 10-tausend. Zum zweiten ein starker Anstieg der Anzahl von Links beim Uebergang zu LL₂ und dem daraus folgenden starken Anstieg der Linkfrequenz. So Pi mal Daumen und nur ganz schnell auf den Blob geschaut wuerd ich sagen, dass ein Anstieg um zwei Grøszenordnungen stattfindet … was gut (genug) mit den totalen Links uebereinstimmt. Zum dritten halten sich „beliebte Seiten“ nicht bei kleinen Zahlen auf und bilden die nach rechts oben zeigende „Spitze“.

Im rechten oberen Diagramm ist der Uebergang von LL₃ zu LL₄ zu sehen; es wurde also nur ein Schritt ausgelassen. Der „Blob“ bei kleinen Werten nimmt zwar ab, aber verschwindet nicht. Das ist auch sinnvoll, denn es gibt immer noch Seiten mit niedrigen Linkfrequenzen, mindestens die im „São Paulo FC“-Artefakt.
Die meisten Seiten hingegen befinden sich jetzt im (breiten)  Maximum bzgl. der Links die sie jetzt „sehen“. Da die Linkfrequenz aber nur zaehlt _ob_ und nicht wie oft eine Seite gezaehlt wird, gibt es eine „scharfe Kante“ bzgl. der Linkfrequenz. Und das macht sich im 90-Grad-Knick rechts oben bemerkbar. Im Maximum werden Seiten von anderen Seiten maximal zitiert und beim naechsten Schritt gilt das weiterhin (die Seiten befinden sich immer noch im Maximum, oder nicht weit weg davon). Das fuehrt dazu, dass sich viele Seiten in die obere Ecke draengen.
Weiterhin wissen wir bereits, dass das Maximum fast genauso schnell wie es angestiegen ist, auch wieder abfaellt. Die Datenpunkte befinden sich also auf der Abzsisse immer noch bei hohen Werten, brechen im naechsten Schritt aber um bis zu drei Grøszenordnungen auf der Ordinate ein. Das ist da wo die Kurve eine Wende macht und sich „auf dem Weg zurueck“ begibt.

Im linken unteren Diagramm ist die Entwicklung um weitere drei Linklevel voran geschritten. Die Daten beschreiben jetzt einen „Kreis“ (im uebertragenen Sinne). Die Kurve „zieht“ ihr Ende nicht mit (wie bspw. bei den „Orbits“ der totalen Links), sondern wird immer weiter gedehnt … wie ein Kaugummi. Die Erklaerungen sind im Wesentlichen wie oben.

Im rechten unteren Diagramm sind beispielhaft drei deutlich høhere Linklevel gezeigt. Das Bild aendert sich quantitativ, aber nicht qualitiativ; das „Gezappel“ nimmt ab (weil weniger Seiten ingesamt zitiert werden), aber der zugrundeliegende Mechanismus aendert sich nicht. Die gruenen Punkte replizieren dann (wieder einmal) die bereits bekannten Werte aus dem „São Paulo FC“-Artefakt (nur auf andere Weise).

Mhmmm … also eigtl. scheint hier nix Interessantes zu passieren … bis man sich das Ganze mal (beispielhaft am Uebergang von LL₂₅ zu LL₂₆) in linearer Darstellung anschaut:

Wait! What!? Das aus der Ellipse ein Viereck wird verwundert mich nicht … aber wo zum Teufel kommt denn der Querbalken her? Ich muss das wohl wieder mal der Reihe nach angehen und nicht versuchen gleich alles auf einmal zu bearbeiten.

Zunaechst ist das gelbe Quadrat da mit Absicht drin. Es verdeutlicht ganz beeindruckend die logarithmische Komprimierung: bei linearer Darstellung sind die kleinen Werte, welche in der doppellogarithmischen Darstellung zu sehen sind, an den Rand und noch mehr in die Ecke gedraengt. Wir sehen die also „nicht“ mehr. Umgekehrt gilt natuerlich das Gleiche fuer grosze Werte.
Das ist natuerlich kein Nachteil der einen oder der anderen Darstellung. Beide sind sehr wertvoll und offenbaren unterschiedliche Informationen.

Was ist nun aber mit dem gigantischen Querbalken? Nun ja, der ist fuer die feine „innere Rundung“ in der logarithmischen Darstellung verantwortlich. Nach dem oben Besprochenen sollte es hier nur eine spitze Ecke geben (und die sehen wir ja auch). Durch den Querbalken, welcher (bei linearer Darstellung) Werte „in der Mitte des gelben Quadrats“ repraesentiert, wird die Bedingung der  „scharfe Kante“ aber „aufgeweicht“ und die Kurve nach innen abgerundet. Durch das Hervorheben von drei Datenpunkten versuche ich diesen Sachverhalt zu verdeutlichen.

Das soll fuer heute reichen. Ich habe den zugrundeliegend Mechanismus der zur Entstehung des „Kreises“ so ausfuehrlich behandelt, weil das Wissen darum nuetzlich wird, wenn ich beim naechsten Mal versuche der Entstehung des Querbalkens auf die Spur zu kommen.

Beim letzten Mal erklaerte ich detailliert anhand der totalen Links und den Selbstreferenzen was ich mit den „Seiten pro Grøzenordnung“ meine. Deswegen kann ich heute ohne viel Aufhebens sofort zur Linkfrequenz uebergehen. Zunaechst wieder zwei repraesentative Verteilungen zur Erinnerung:

Am Beispiel der Daten von LL₁₆ kann man noch einen anderen Grund sehen, warum ich ueberhaupt auf die Idee gekommen bin die Seiten pro Grøszenordnung zu untersuchen (abgesehen davon, dass ich die „kollektive Bewegung“ untersuchen wollte). Aufgrund der Ueberlappung der Datenpunkte und weil diese (scheinbar?) gleichverteilt sind (die „Amplitude bleibt im Mittel gleich ab einer Linkfrequenz von ca. 100), sieht es so aus, als ob in jedem Intervall ungefaehr gleich viele Seiten liegen. Dem sollte aber nicht so sein, allein schon wg. der (visuellen) „logarithmischen Komprimierung“.
Bei den totalen Links kommt so ein Eindruck nicht auf, weil sich die Seiten nicht gleich verteilen. Bei den Selbstreferenzen ebenso nicht aufgrund des linearen Zusammenhangs (die Amplitude veraendert sich ueber ein Intervall).

Darum nun endlich die Verteilung der Seiten ueber die Grøszenordnung(en) in Abhaengigkeit vom Linklevel:

Uff, hier passiert am Anfang viel. Deswegen gehe ich da Schritt fuer Schritt durch.

Zunaechst lasse ich Gruppe 0 auszen vor. Die ist erstmal nicht relevant.
Auf LL₀ befinden sich die meisten Seiten in Gruppe 1, werden also nur 1 bis 10 mal von anderen Seiten auf diesem Linklevel zitiert. Nur noch halb so viele Seiten werden 11 bis 100 mal zitiert (Gruppe 2) und gar 20 mal weniger Seiten befinden sich in Gruppe 3. Noch sehr viel (viel viel) weniger Seiten sind in den Gruppen 4 bis 6. Keine einzige Seite wir mehr als 1 Million mal zitiert.
Auf LL₁ gibt es dann aber schon massiv viel mehr (totale) Links (zu LL₂) und deswegen bewegen sich 80 % der Seiten aus Gruppe 1 raus und in høhere Gruppen hinein (werden also von (deutlich) mehr als 10 anderen Seiten zitiert, auch wenn der Wert von Gruppe 2 ebenso etwas abnimmt). Entsprechend steigt der Wert fuer alle høheren Gruppen an und wir sehen auch zum ersten mal Seiten die sich in Gruppe 7 befinden.
Auf den naechsten paar Linkleveln nimmt der Wert fuer høhere Gruppen weiter zu. Aber je „tiefer“ eine Gruppe liegt, um so eher ereilt sie das gleiche Schicksal wie Gruppe 1 und 2; die Seiten bewegen sich von dort zu høheren Gruppen. Fuer Gruppen 3 und 4 geschieht das auf LL₂, fuer Gruppen 5 und 6 auf LL₃ bzw. LL₄.
Letztlich landen die allermeisten Seiten in Gruppe 7 deren (zugegeben relativ breites) Maximum ungefaehr mit den Minima der anderen Gruppen zusammen faellt.

Nach dem Durchschreiten des Maximums von Gruppe 7 aendert sich das Vorzeichen der „Bewegung“ und die Werte aller Gruppen (auszer von Gruppe 7) steigen ab LL₇ wieder an. Hier aber geschieht das Gegenteil zum Anfang. Je „høher“ eine Gruppe ist, um so kuerzer ist die „Erholungsperiode“, denn die Seiten „migrieren“ schnell weiter zu „tieferen“ Gruppen. Entsprechend fallen die Werte aller Gruppen nach durchlaufen eines (weiteren) Maximums rasch wieder ab.

Ab LL₉ fangen die meisten Seiten an in Gruppe 0 ueber zu gehen und ab LL₁₁ sind die allermeisten Seiten dort angelangt, werden also nicht mehr zitiert.
Ich wuerde noch nicht sagen, dass dort dann schon die zitierenden Ursprungsseiten ins „São Paulo FC“-Artefakt „eingetreten“ sind. Dafuer ist die Dynamik in den Kurven der Gruppen noch zu grosz. Aber das laeszt nicht lange auf sich warten und auch wenn ich den genauen „Eingang ins Artefakt“ bisher nicht entdeckt habe, so ist mir das in so vielen „Messungen“ begegnet, dass ich sagen wuerde, dass der um LL₂₀ liegt. Der ganze lange Schwanz kann ab dort eigentlich auszer acht gelassen werden.

Als ich mir die Kurven genauer anschaute wurde ich stutzig. Das sieht doch so aus, als ob das (zweite) Maximum von Gruppe 1 genau am Wendepunkt der Kurve von Gruppe 7 ist.  Faszinierend! Also habe ich die Gruppe 7 Kurve zwei Mal (numerisch) abgeleitet und siehe da …

… qualitiativ (also von der Form) aehnelt die Kurve von Gruppe 1 tatsaechlich der 2. Ableitung der Kurve von Gruppe 7.
Ich zerbrach mir einen Abend und den darauffolgenden Morgen den Kopf wie das sein kønnte. Ich ueberlegte hin und her wie die kollektive Bewegung der Seiten aussieht und verlor manches Mal den Ueberblick wo sich denn eine Seite nun befindet von einem Linklevel zum naechsten bzw. was eine Bewegung bedeutet. Am Ende kam ich auf den folgenden Mechanismus der obige Beobachtung erklaeren wuerde.

Die erste Ableitung ist der Anstieg einer Kurve. In diesem Zusammenhang also wie viel grøszer (oder kleiner) der Wert der Kurve von Gruppe 7 auf dem im naechsten Linklevel ist. Der Wert auf dem naechsten Linklevel wird aber dadurch bestimmt, wieviele Seiten von „niedrigeren“ Gruppen sich zu Gruppe 7 bewegen. Das wuerde zur Folge haben, dass die Kurven von niedrigeren Gruppen eigtl. der 1. Ableitung aehneln sollten. Und wenn man da mal schaut, dann findet sich durchaus eine Aehnlichkeit (auch wenn ich das hier nicht zeige, weil’s reicht das zu sagen). Fetzt ja.
Aber warum aehnelt die Kurve von Gruppe 1 dann der 2. Ableitung? Nun ja, (fast) alle Seiten befinden sich zunaechst in Gruppe 1. Von dort migrieren sie aber nur in den seltensten Faellen direkt zu Gruppe 7 (wenn ueberhaupt, ich habe das nicht kontrolliert). Viel mehr ist es so, dass sich die Seiten von Gruppe 1 zunaechst in die Gruppen 2 bis 6 bewegen. Damit „treiben“ die Seiten die Aenderung der Werte in diesen „Zwischengruppen“. Aha! Gruppe 0 ist demnach der Anstieg von denen. Und wenn die Zwischengruppen den Anstieg von Gruppe 7 bestimmen, so ist Gruppe 0 der Anstieg vom Anstieg und das ist genau das was die 2. Ableitung ist. Cool wa!

Da hab ich mich urst gefreut, dass ich darauf gekommen bin … … … und dann machten sich bereits am fruehen Nachmittag Zweifel breit, denn das ist alles viel zu gut um wahr zu sein.
Deswegen suchte ich nach Fehlern und fand die nicht in der Argumentation sondern in der Ausgangslage. Denn wenn man mal genauer hinschaut, dann aehnelt die Kurve von Gruppe 1 deutlich weniger der 2. Ableitung der Kurve von Gruppe 7, als es im obigen Diagramm den Anschein hat. Da ist mein Gehirn auf seine eigene, von der Evolution so eingerichteten, Mustererkennung hereingefallen.

Klar, das sieht auf den ersten Blick so aus, aber die Minima und Maxima der beiden Kurven sind selbst bei groszzuegiger Interpretierung um mindestens ein Linkelvel verschoben. Das fuer sich allein ist erstmal nicht so schlimm. Ich bin sicher, dass man dafuer eine Erklaerung finden kann und ich hatte schon angefangen nach einer zu suchen.
Dann kommt aber hinzu, dass die Funktionswerte auch nicht hinhauen. Klar, oben sind die linke und die rechte Ordinate schøn skaliert (hab ich mit Absicht gemacht). Aber die 2. Ableitung hat viel kleinere und auszerdem auch negative (!) Werte.
Es bleibt also nur noch die Form der Kurven ueber. Und wenn ich da ehrlich bin, sollte man nicht das Eine logarithmisch und das Andere linear darstellen sondern beide linear und das sieht dann so aus:

Tjaaaa … da war die grosze Aehnlichkeit dann (fast) ganz fort. Naja, intellektuell war’s dennoch ein interessantes Puzzle, auch wenn’s nicht stimmt.
Andererseits wiederum denke ich, dass obiger Mechanismus plausibel ist. Mein Bauchgefuehl sagt mir, dass das zumindest eine Rolle bei der „kollektiven Bewegung“ spielt. Aber in der mathematisch „geschlossenen“ Form wie besagter Mechanismus vorgaukelt sicherlich nicht.

Ich finde es wichtig auch die Fehler und wie man zu denen kommt und diese erkennt zu zeigen. „Falsch“ eingeschlagene Wege und daraus gelernte Lektionen sind (sehr) oft ein Weg zu neuen Erkenntnissen. Fehler sind also ein wichtiger Teil der wissenschaftlichen Methode, aber meistens unsichtbar, weil man ja nur die Erfolge aufschreibt.

Ach ja, es war natuerlich natuerlich ein „brain fart„, dass ich aus der (scheinbaren) Position des (zweiten) Maximums von Gruppe Null ueber dem Wendepunkt von Gruppe 7 schloss, dass Erstere die 2. Ableitung der Letzteren ist. Im Wendepunkt wird die 2. Ableitung naemlich null.

Und damit soll’s genug sein fuer heute.

Weil das „gemischten Verhalten“ der Linkfrequenzverteilungen so schwer zu interpretieren war, nahm ich mir beim letzten Mal vor mal zu schauen, wie sich das „Kollektiv“ der Wikipediaseiten von  niedrigen zu hohen Linkfrequenzen „bewegt“. Die schiere Datenmenge steht sich dabei selbst im Weg und deswegen entschied ich mich diese zu komprimieren und mir fuer jedes Linklevel nur anzuschauen …

[…] wieviele Seiten eigentlich in jeder Grøszenordnung „stecken“ […]

Ich gab auch eine kurze Erklaerung was ich damit meinte:

[…] ich [schaue] mir an, wie viele Seiten eine bis zehn Zitierungen, wie viele Seiten 11 bis 100 Zitierungen, wie viele Seiten 101 bis 1000 Zitierungen usw. usf. […] erhalten haben.

Das ist ein neues Konzept und recht viel auf einmal. Deswegen zeige ich erstmal wie das bei den totalen Links und den Selbstreferenzen aussieht, auch wenn man die „kolletkive Bewegung“ schon aus den einzeilnen Verteilunge ablesen kann.

Zur Erinnerung sind hier alle Verteilungen bzgl. der totalen Links pro Linklevel zu sehen und ich zeige nochmal zwei (mehr oder weniger) repraesentative Verteilungen:

Die grauen gestrichelten Linien illustrieren einen Teil des Konzepts der Datenkomprimierung. Weiterhin ist auch gleich eine weitere Vereinfachung zu sehen; anstatt immer zu sagen „wie viele Seiten 11 bis 100 Zitierungen haben“ (usw. usf.) sag ich einfach (in diesem Fall) Gruppe 2. Die Gruppennummer ist dabei die Zehnerpotenz der oberen Grenze des Intervalls auf der Abszisse. Der Wert fuer die untere Grenze is i.A. der Wert de oberen Grenze geteilt durch 10. Der Wert an der oberen Grenze ist in der jeweiligen Gruppe enthalten, der an der unteren Grenze nicht. Die einzigen Ausnahmen sind Gruppe 0 und Gruppe 1 wegen der Besonerheiten der nullten Potenz. Zur Ersteren zaehlen NUR die Seiten, die den Nullwert annehmen (der rote Balken, der zu LL₂ gehørt). Zur Letzteren zaehle ich auch alle Seiten die den Wert eins annehmen.

Bei den zwei Beispielverteilungen wuerde ich also auf LL₂ erwarten, dass alle Gruppen einen Wert haben, waehrend auf LL₁₆ nur Gruppe 4 einen Wert hat.
Damit soll genug gesagt sein zum Prinzip und das ist das Ergebnis:

Weil das bei kleinen Linkleveln so unuebersichtlich ist habe ich nur ein paar repraesentative Gruppen reingepackt. Auszerdem ist das Diagramm ausnahmsweise laenger, damit man bei besagten kleinen Linkleveln nicht die Uebersicht verliert. Gestrichelte Linien verbinden Teile der Kurve einer Gruppe zwischen denen es keine Werte gibt.

Beim letzten Mal schrieb ich diesbzgl.:

Wikipediaseiten haben zuerst wenige, dann viel mehr, dann viel viel viel mehr totale Links um dann wieder weniger, viel weniger, viel viel viel weniger und letztlich gar keine Links mehr zu haben.

Und das ist genau das was man hier sieht … abgesehen von der letzten Aussage, weil ich Gruppe 0 weggelassen hab. Diese replizierte naemlich wieder nur ein altbekanntes Resultat, welches durch die ausfuehrliche und mehrfache Besprechung des „São Paulo FC“-Artefakts hinreichend bekannt ist. Aber der Reihe nach (und es mag helfen, wenn man das Gezappel der individuellen Verteilungen, die oben verlinkt sind, nochmal anschaut).

Auf LL₀ befinden sich (im Diagram) viele Seiten in den Gruppen 1 bis 3, nur eine Seite in Gruppe 5 und keine Seite in Gruppe 8. Auf LL₁ nimmt die Anzahl der Seiten in den drei erstgenannten Gruppen rapide ab, dafuer aber in Gruppe 5 rapide zu. Das ist die „kollektive Bewegung“ von der ich sprach. Auf LL₂ wird dann auch Gruppe 8 (zunaechst etwas zøgerlich) besetzt und von LL₃ bis LL₆ halten sich praktisch (fast) alle Seiten dort auf und die Gruppen 1 bis 3 sind komplett leergeraeumt.
Abe LL₇ setzt dann die „Rueckwaertsbewegung“ ein. Diese ist aber nicht so „chaotisch“ wie die „Vorwaertsbewegung“ und die Gruppen werden in absteigender Reihenfolge nach und nach gefuellt und dann wieder geleert, wenn die Seiten zur naechsttieferen Gruppe „weiterwandern“. Zunaechst natuerlich Gruppe 5, aber dann auch die Gruppen 3 und 2. Gruppe 1 wird nie wieder besetzt, da am Ende alle Seiten direkt von Gruppe 2 zu Gruppe 0 springen.

Das war letztlich easy peasy zu verstehen, insb. wenn man (wie bereits erwaehnt), das (oben verlinkte) Gezappel der linklevlabhaengigen Verteilungen der totalen Links sich nochmal anschaut.
Deswegen geht’s gleich weiter mit den Selbstreferenzen. Zur Erinnerung zwei Beispielverteilungen:

Die Gruppen gehen nicht ganz so weit wie bei den totalen Links und nicht gezeigt ist Gruppe 6, weil sich da ueber alle Linklevel gesehen nur zwei Seiten aufhalten (siehe das naechste Diagramm). Von der Andersartigkeit der Verteilungen abgesehen (welche aber bereits ausfuehrlich besprochen wurde) gibt’s aber letztlich nichts Neues und deswegen geht’s gleich weiter mit den Seiten pro Grøszenordnung:

Das hier ist so viel uebersichtlicher, dass ich alle Gruppen dringelassen habe. Beim letzten Mal schrieb ich nur kurz:

[e]s ist viel wahrscheinlicher, dass eine Seite sehr wenige Selbstreferenzen als viele hat […]

… und das ist was man sieht; Gruppe 1 ist immer høher als Gruppe 2 ist immer høher als Gruppe 3 usw. usf. Das aendert sich auch dann nicht, wenn Gruppen die Seiten mit mehr (und viel mehr) Selbstreferenzen repraesentieren, bei LL₂ oder LL₃ ein høheres Signal aufweisen als am Anfang. Die Erhøhung kommt naemlich durch das Vorhandensein von mehr totalen Links zustande und wenn ich davon mehr habe, habe ich (dem maechtigen Gesetz entsrpechend) auch mehr Seiten in Gruppe 1.
Wieauchimmer, ab ungefaehr LL₁₀ befinden sich onehin die meisten Seiten in Gruppe 0 und es passiert nicht mehr wirklich was.

Alles in allem sind die Seiten pro Grøszenordnung sowohl fuer die totalen Links, als auch fuer die Selbstreferenzen leicht zu verstehen, da diese relativ direkt aus den Verteilungen pro Linklevel folgen. Das ist der Hauptgrund, warum ich zunaechst diese abgehandelt habe, damit man etwas vertrauter wird mit der Datenkomprimierung und was man da dann eigtl. sieht.
Das bedeutet aber auch, dass man fuer diese beiden Grøszen da nichts weiter „rausholen“ kann.
Beim naechsten Mal dann das Gleiche fuer die Linkfrequenzen. Das ist komplizierter und da passiert viel mehr.

Ich hatte zwar bereits individuelle Linkfrequenzverteilungen gezeigt, aber noch nicht die „kollektiven“ Linkfrequenzverteilungen per Linklevel, so wie es „Tradition“ ist. Das hole ich heute nach.

Bei den totalen Links war nicht viel. Wikipediaseiten haben zuerst wenige, dann viel mehr, dann viel viel viel mehr totale Links um dann wieder weniger, viel weniger, viel viel viel weniger und letztlich gar keine Links mehr zu haben. Es gab keine Seite die wenige totale Links hatte, waehrend andere sehr sehr sehr viele hatten (und umgekehrt).
Eine Idee die mir in dem Zusammenhang in den kopf kam fuehrte mich in eine Sackgasse. Aber letztlich wurde ich dadurch auch das erste Mal auf das „São Paulo FC“-Artefakt aufmerksam und das Wissen darum half mir ein paar Mal weitere Seltsamkeiten richtig einzuordnen.

Weil die neuen Links letztlich zu aehnlich den totalen Links sind, gab es da entsprechend nix Neues zu holen.

Die Selbstreferenzen hatten ganz andere Verteilungen. Die Andersartigkeit folgte aber aus der Natur der Selbstreferenzen und der Wikipedia. Es ist viel wahrscheinlicher, dass eine Seite sehr wenige Selbstreferenzen als viele hat und dies folgt einem maechtigen Gesetz. Letztlich entdeckte ich dadurch aber die Gesetzmaeszigkeit wie schnell die thematische Aehnlichkeit der Wikipediaseiten von Linklevel zu Linklevel abnimmt, was eine urst coole Entdeckung ist. Ebenso brachte mich das auf die Idee mich mal an einer Simulation des Ganzen zu versuchen.

Ich will damit auf das Folgende hinaus: auch wenn diese Verteilungen immer erstmal eher langweilig sind, so bin ich aber letztlich dadurch immer auf coole Sachen aufmerksam geworden. Deswegen heute die Verteilungen der Linkfrequenzen pro Linklevel anhand repraesentativer Beispiele:

Hier passiert viel, aber der Reihe nach, beginnend mit dem linken oberen Diagramm in dem die Verteilungen von LL₀ bis LL₄ zu sehen sind.
Zunaechst einmal scheint mir hier (mehr oder weniger fuer alle Veteilungen) eine Mischung im Verhalten vorzuliegen, welches man bei den totalen Links und den Selbstreferenzen sieht. Die Verteilungen von LL₀ (welche uebrigens wieder nur eine alte Beobachtung auf andere Weise repliziert ist) bis LL₂ sind qualitativ noch naeher an den Selbstreferenzen. Aber ab LL₃ „zerfasert“ sich die Verteilung ab Linkfrequenzen ueber ca. 1000 (Zitierungen von anderen Seiten), was man daran sieht, dass die blauen Punkte ein breites Band bilden. Dadurch gibt es in der Summe mehr Seiten mit vielen bis sehr vielen Zitierungen von anderen Seiten als solche mit wenigen. Aber die gehen nicht alle in „Zustaende“ nahe dem Ende der Abszisse (wie bei den totalen Links), sondern verteilen sich ueber (fast) die ganze Breite ab ca. 1000 Zitierungen (das ist was ich mit „Zerfaserung“ meine).
Dieses Verhalten verstaerkt sich noch fuer LL₄ und LL₅ (dann schon im Diagramm rechts oben). Immer mehr Seiten mit wenigen Zitierungen gehen ueber in das „zerfaserte Band“. Die „Amplitude“ des linearen Teils nimmt ab.

Dann aber kehrt sich das Verhalten um. Zunaechst waechst auf LL₆ ein „Buckel“ zwischen ca. 100 und ca. 10,000 Zitierungen. Von LL₇ bis LL₉ nimmt die „Amplitude“ des linearen Teils wieder zu, waehrend das „zerfaserte Band“ nicht verschwindet, aber die Høhe abnimmt.
Im linken unteren Diagramm sieht man dann, dass sich diese Entwicklung ueber etliche Linklevel fortsetzt. Zu beachten ist aber, dass die Amplitude des linearen Teils wieder abnimmt, denn die Seiten „wandern“ in den „Nullzustand“; dem Punkt der sich links oben an die Ordinate schmiegt.

Am Ende haben wir ein bereits bekanntes Bild in anderer Form. Alle zitierenden Ursprungsseiten befinden sich um Artefakt und nur noch ca. 75 Seiten werden ueberhaupt zitiert (davon aber einige sehr sehr oft).

Die Verteilungen sind nicht so eindeutig wie bei den Selbstreferenzen oder den totalen Links. Deswegen wollte ich gerne mal sehen, wie die Seiten sich von niedrigen zu hohen Linkfrequenzen „bewegen“. Also nicht einzelne Seiten, sondern wie die „kollektive Bewegung“ aussieht. Nun kann ich mir aber nicht alle fast 6 Millionen Seiten anschauen. Ich musste also einen Weg finden die Information zu komprimieren.
Dabei kommt mir (ausnahmsweise) zur Hilfe, dass bei den Werten fuer die Linkfrequenz (aber auch bei den totalen Links und den Selbstreferenzen) mehrere Grøszenordnungen „ueberstrichen“ werden. Da bot sich førmlich an, dass ich mir mal anschaute, wieviele Seiten eigentlich in jeder Grøszenordnung „stecken“; das Ganze natuerlich pro Linklevel … … … HAEH?
In kurz und knapp, schaute ich mir an, wie viele Seiten eine bis zehn Zitierungen, wie viele Seiten 11 bis 100 Zitierungen, wie viele Seiten 101 bis 1000 Zitierungen usw. usf. (also von einem langen Strich auf der Abszisse zum naechsten) auf jedem Linklevel erhalten haben. Dadurch kann ich die Information von ueber 12 Millionen Datenpunkten (verteilt ueber mehr als 70 Linklevel) auf nur 8 Datenpunkte pro Linklevel reduzieren.

Aber das wuerde zu viel werden fuer heute. Deswegen erklaer ich das Ganze beim naechsten Mal nochmal an einem Beispiel (und hoffe, dass dann klarer wird worauf ich hinaus will). Auszerdem fange ich am Besten auch nicht gleich mit dem Schwersten (also den Linkfrequenzen) an, sondern erstmal „nur“ mit den totalen Links und den Selbstreferenzen. Die sind naemlich leichter zu verstehen.
So, das soll genug sein fuer heute.

Obligtorischer Videoschnipsel.

Nach dem vielen Text vom letzten Mal, muss ich heute nix mehr erklaeren und kann sofort in die Vollen gehen:

Woohoo! Es ist genau so wie ich es beim letzten Mal vorausgesehen habe!

Zum Ersten kann die Verteilung der Summe der Linkfrequenzen ueber aller Linklevel tatsaechlich in zwei unterschiedliche, deutlich (!) voneinander getrennte Gruppen eingeteilt werden.
Zum Zweiten weist die erste Gruppe keine hohen Summenwerte auf. Nicht eine einzige Seite liegt ueber einem Summewert von 150.
Zum Dritten liegt die zweite Gruppe ueber einem „strengen“ Grenzwert welcher bei 5,692,712 liegt.

Cool wa! Der Clou kommt aber erst noch. Die Anzahl der Seiten aus denen die ersten Gruppe besteht betraegt naemlich 481,522 Seiten. Dieser Wert entspricht exakt dem beim letzten Mal angegebenen Wert fuer die Anzahl aller Archipelseiten.
Dadurch wird nicht nur die dort aufgestellte Behauptung, dass sich im „Nullwertbalken“ der dortigen Verteilung Archipelseiten verstecken, indirekt bestaetigt sondern das bedeutet auch, dass mir bei meiner urspruenglichen Analyse keine Archipele „entkommen“ sind … Jippie!

Haette ich die obige Infornation bereits vor besagter urspruenglichen Analyse gehabt, so haette ich eben diese auf nur die Seiten mit einer kleinen Linkfrequenzsumme einschraenken kønnen. Das haette die rekursiv durchzugehende Datenmenge auf weniger als 1/10 reduziert …

… *ueberleg* …

Kurz ueberschlagen (und die Zahlen gerundet so dass es sich einfacher ueberschlagen laeszt) gibt es 5 Millionen Seiten. Diese weren auf 1/10 reduziert. Aber die 5 Millionen Seiten haben insgesamt 150 Millionen Links die alle durchgegangen werden muessten. Hier brauche ich aber nur Links zu anderen Archipelseiten was eine Reduzierung um einen Faktor 300 bedeutet! Die Analyse waere also 3000 Mal schneller gegangen! Das sind drei Grøszenordnungen! Krassomat … naja … nun bin ich fertig aber ’s ist schon interessant zu sehen was møglich ist, wenn man mehr Information hat.

Joa … øhm … das war’s fuer heute … ich musste ja beim letzten Mal so viel erklaeren, da ist’s auch mal schøn, wenn’s mal schnell geht :)

Das zweite Diagramm beim letzten Mal zeigte die linklevelabhaengigen Linkfrequenzen  dreier Beispielseiten. Die Summe ueber alle Linklevel einer Seite war da weit unter 1000. Dies im starken Gegensatz zu allem was ich davor gesehen hatte. Die drei Beispiele sehen alle aus als ob das Archipelseiten sind (ohne das zu pruefen … ist nur so’n Bauchgefuehl weil ich mich ja jetzt ein bisschen damit auskenne) und entsprechend schrieb ich:

Das bringt mich aber auf eine Idee, ob ich damit nicht alle Archipelseiten auf einfache Art und Weise identifizieren kønnte.

Mit „damit“ meine ich die Summe ueber alle Linklevel einer Seite (in diesem Fall fuer die Linkfrequenz) und die erste Frage ist nun, warum das mglw. klappen kønnte.

Eine kurze Ueberlegung nimmt die (oben nochmals verlinkten) individuellen Linkfrequenzverteilungen dreier Seiten des „São Paulo FC“-Artefakts heran.
Diese Seiten gehøren zu den am wenigsten zitierten Seiten die aber dennoch Teil des gesamten Wikipedianetzes sind (also NICHT zum Archipel gehøren). Das ist so, weil alle (anderen) Seiten nie direkt dorthin zitieren. Jedes Jahr des Artefakts kann nur ueber des jeweils spaetere Jahre zitiert werden. Jede Artefaktseite erhaelt also von jeder anderen Ursprungsseite maximal ein Zitat. Reflexionen lasse ich der Einfachheit mal auszen vor, bzw. kønnte man auch nur das Jahr 1930 des Artefakts betrachten, denn dieses hat keine Reflexionen in der Linkfrequenz.
Die Summe der Linkfrequenzen ueber alle Linklevel betraegt demnach mindestens 5.5 Millionen (sogar etwas mehr) fuer solche Seiten.

Seiten die zwei Mal zitiert werden sieht man in der roten und schwarzen Kurve im zweiten Diagramm des selben Beitrags. Das sind die, bei denen sich „Metaartefakte“ im Schwanz bemerkbar machen, weil die dort nochmal massiv zitiert werden. Die Summe der Linkfrequenz ueber alle Linklevel verdoppelt sich also (so ungefaehr).
Eine Verdopplung ist das Maximale was in dem Fall passieren kann, denn die zwei Peaks kønnten sich auch ueberlagern und dann waere es weniger als das Doppelte. Das Wichtige ist, dass die obigen 5.5 Millionen eine harte untere Grenze sind, unter die keine Seite kommt, wenn diese irgendwie aus dem gesamten Linknetzwerk zu erreichen ist.

Und das ist der Clou, denn Archipelseiten sind NICHT aus dem gesamten Linknetzwerk zu erreichen. Es ist ja gerade das Merkmal der Seiten aus denen das Archipel besteht, dass diese (wenn ueberhaupt) _nur_ von anderen Archipelseiten zitiert werden, waehrend sie im Allgemeinen aber durchaus auch „nach drauszen“ linken .
Und deswegen nehme ich an, dass die Summe ueber alle Linklevel einer Seite bei den Linkfrequenzen von Archipelseiten immer unter obiger Grenze liegt. In den allermeisten Faellen sogar drastisch darunter, also bei null oder eins oder zwei oder vielleicht auch mal zehn oder 69 wie bei Chrysoprasis beim letzten Mal.
Ich gebe aber zu, dass das vor allem eine praktische Ueberlegung ist, mit Wissen darueber wie das Archipel aussieht. Prinzipiell kønnte eine Archipelseite ueber den Grenzwert kommen, wenn es eine starke Vernetzung gibt und besagte Seite von vielen (Archipel-)Ursprungsseiten auf mehreren Linkleveln zitiert wird. Da gibt es konzeptionell keinen Unterschied zum Rest des Wikipedianetzwerkes. Aber wie gesagt, so sieht das Archipel nicht aus.

Die naechste Frage ist, warum ich das wuerde machen wollen, denn ich habe doch alle Seiten des Archipels bereits identifiziert.
Der Grund liegt darin dass die dortige Identifizierung eher umstaendlich war. Sowohl vom Konzept, als auch von der Implementierung.
Mir hat das natuerlich Freude bereitet, war es letztlich doch ein intellektuelles Puzzle. Aber insbesondere die Implementierung hatte ihre Schwaechen, denn ich musste rekursiv oft ueber viele Daten „fahren“ um Archipelseiten zu identifizieren. Die Schwaeche liegt dabei nicht in der Rekursion, diese machte eher den grøszten Reisz fuer mich aus … auch wenn viele Leute das mglw. anders sehen. Aber das „oft ueber viele Daten fahren“ dauert sehr lange. Mitunter mehrere Stunden, was das Testen und Ausprobieren arg beschraenkt. Deswegen setzte ich eine Limitierungen bei der ich annahm, dass wenn ein Netzwerk von zitierenden Seiten grøszer als so und so viele zitierende Seiten ist (bspw. 100), die Ursprungssite høchstwahrscheinlich nicht zum Archipel gehørt.
Das ist eine durchaus sinnvolle Annahme denke ich und ich testete den maximalen Wert fuer die Limitierung, bis es nicht mehr sinnvoll war (einfach, weil es zu lange dauerte). Ab einem Wert von ca. 100 zitierenden Seiten (also nahe an den Werten der drei Beispiele vom letzten Mal) sah ich dann keine Veraenderungen mehr, es schien also als ob alle Archipelseiten weniger Zitate erhalten als das Limit erlaubt. Aber eine Garantie ist das natuerlich nicht, mir kønnten durchaus Archipele „entkommen“ sein.

Wieauchimmer, die Summe ueber die alle Linkfrequenzen einer Seite zu bilden und zu schauen ob diese (weit) unter einem Grenzwert liegt ist natuerlich deutlich einfacher, viel schneller und einfach zu implementieren. Und wie immer interessieren mich einzelne Seiten weniger sondern die Verteilung dieser Summen.

Daraus stellt sich dann gleich die dritte Frage: worin liegt denn der Unterschied zu den bisherigen Summenverteilungen?
Nach all dem oben Geschriebenen sollte das einfach zu verstehen sein: bei allen vorherigen Summenverteilungen summierte ich fuer jedes Linklevel ueber alle Seiten. Das fuehrte zu linklevelahaengigen Verteilungen mit maximal 73 Werten. Hier aber summiere ich (wie bereits erwaehnt) ueber alle Linklevel einer Seite und das sollte bei ca. 6 Millionen Seiten zu einer Verteilung mit deutlich mehr als 73 Werten fuehren. Kurioserweise nur deswegen weil es das Archipel gibt, aber dazu mehr weiter unten.

Als Letztes stellt sich dann die Frage, warum ich das nicht schon mit den totalen / neuen Links bzw. den Selbstreferenzen gemacht habe.
Nun das ist ganz einfach zu beantworten: weil das nicht sinnvoll erschien … aber fuer die Begruendung der Antwort muss ich etwas ausholen und ich fange mit den totalen Links an.

Zunaechst lasse ich die Archipelseiten auszen vor. Dies auch deswegen, weil ich vom Archipel noch nicht mal etwas ahnte, als ich die totalen Links genauer untersuchte. Unter der Annahme, dass es kein Archipel gibt, sollte die Verteilung der Summen ueber die totalen Links genau zwei Werte haben: Null und ungefaher 165 Millionen.
Der Wert Null kommt durch die Seiten zustande die zwar zitiert werden, aber selber keine Links haben. Hier sollten sich nur ein paar tausend Seiten tummeln. Der weitaus grøszte Anteil der Seiten sollte sich beim Wert von ca. 165 Millionen Wert aufhalten, denn das ist natuerlich genau die Anzahl aller Links ueber alle Seiten. Dies folgt daraus, weil jede Seite im Linknetzwerk zu jeder anderen Seite kommt and dadurch alle Links sieht. Das heiszt aber auch, dass jede Seite am Ende ihres Linknetzwerkes die selbe Anzahl an totalen Links gesehen hat wie jede andere Seite.
Daraus folgt, dass es nur zwei Werte geben sollte und das war der Grund warum ich das damals nicht machte.

Wie man im linken Diagramm dieses Bildes sieht, ist das auch tatsaechlich (fast) so:

Mein Bauchgefuehl sagt mir, dass das schon stimmt mit den ca. 5500 Seiten beim Nullwert. Die ca. 6 Millionen Seiten die sich bei einem Wert von knapp unter 200 Millionen versammeln sind ja genau wie „vorhergesagt“. Und auch wenn ich mich wiederhole: dieses Ergebnis bestaetigt, dass es nicht sinnvoll war die „neue Summe“ ueber die totalen Links zu bilden.

Diese Aussage stimmt nur noch bedingt, wenn man Archipele mit in die Betrachtungen einbezieht, denn diese fuehren zu mehreren (relativ kleinen) Modifikationen.

Zum Einen ist obiger zweiter Wert um ein paar Millionen Seiten kleiner als theoretisch angenommen. Das Archipel besteht aus ungefaehr 500-tausend Seiten und im Durchschnitt hat jede Seite so 10 bis 30 Links. Die durchschnittliche Anzahl an Links pro Seite (und die Nachteile dieses Ansatzes) wurde bereits mehrfach diskutiert, ich finde auf die Schnelle aber nicht wo genau das war. Wenn man sich in der Mitte bei 20 Links pro Seite trifft, fuehrt das zu einem um 10 Millionen kleineren Hauptwert. Und das ist auch das was man sieht … zuegegeben, nicht im linken Diagramm, aber wenn man reinzoomt (so wie im rechten Diagramm, mehr dazu weiter unten), dann ist das tatsaechlich so.

Zum Zweiten wuerde ich vermuten, dass mglw. ein paar niedrige Werte in der Verteilung dazu kommen. Dabei wuerde es sich um Archipelseiten handeln, die bspw. Links zu nur einer oder ein paar wenigen andere Seiten haben und von dort zurueck zitiert wird und wenn keine einzige dieser Seiten einen Link zum groszen Wikipedianetzwerk hat. Davon sollte es aber nicht viele geben, denn es ist selten, dass eine Seite nicht irgendwie ins grosze Linknetzwerk zitiert, selbst wenn sie von da keine Zitate bekommt.
Obiger (linker) Graf bestaetigt das durch die kurzen Balken bei den Werten eins, zwei und drei.

Zum Dritten sollte es etliche (aber maximal ca. 500-tausend, der Anzahl der Archipelseiten, vermutlich deutlich weniger) Werte geben, die ueber den Wert von ca. 155 Millionen (siehe der erste Punkt) hinaus gehen.
Bei kleinen Abweichungen vom Wert den die allermeisten Seiten annehmen handelt es sich um Seiten, die zusaetzlich zum groszen Linknetzwerk nur ihre eigenen Links sehen. Das sind also Seiten des „No-way-home“-Archipels die NUR ins grosze Linknetzwerk zitieren, aber NICHT auf andere Archipelseiten. Fuer Archipelseiten die auch andere Archipelseiten zitieren nimmt der Abstand vom „Hauptwert“ natuerlich entsprechend mehr zu.
Aber alles in allem sollten diese Abweichungen nicht all zu grosz sein. Deswegen sieht man die im linken Diagramm nicht, denn wegen der logarithmischen Abzsisse schmiegen die Balken sich an den Hauptwert. Wenn man aber mal beim Hauptwert rein zoomt (so wie im rechten Bild; man beachte die lineare Abzsisse!) sieht man, dass da tatsaechlich noch was hinter dem høchsten Balken kommt und das verhaelt sich qualitativ so wie erwartet.
Um zu sehen ob das auch quantitativ stimmt  muss man mal die Anzahl der Seiten bestimmen, die sich in den „zusaetzlichen“ Balken befinden und mit der Anzahl der Archipelseiten vergleichen.

Ersteres ist einfach, denn da muss ich nur zaehlen und komme auf 65 + 45 + 3 Seiten bei den Werten von eins bis drei und 481,118 Seiten _hinter_ dem Hauptwert. Zusammen sind das 481,231 Seiten.
Die Anzahl der Archipelseiten hatte ich schonmal, deren Menge wurde da nur nicht erwaehnt. Diese entspricht aber dem Integral unter der roten „Kurve“ (jaja, es sind Punkte) im zweiten Diagramm dieses Beitrags. Da komme ich auf 481.522 … also ein paar mehr … mhmmm … das kønnten Seiten sein die nur von Archipelseiten zitiert werden und selber keine Links haben.
Jau! Das haut hin wenn man das mal grob ueberschlaegt. Es gibt ungefaehr zehn mal mehr Seiten im groszen Netzwerk als auf den Archipelen. Letztere unterscheiden sich aber nicht von Ersteren (auszer, dass die nicht von denen zitiert werden). Deswegen wuerde ich erwarten, dass es auch zehn Mal weniger „Nullwertseiten“ gibt, die nur von Archipelseiten zitiert werden. Das waeren dann so Pi mal Daumen 300. Die Diskrepanz liegt also im „Nullwertbalken“ versteckt und den kann ich nicht ohne weiteres auseinanderpopeln.

Festzuhalten ist das Folgende: haette ich die „neue Summe“ schon bei den totalen Links angeschaut, dann waere ich auf die Existenz der Archipele mglw. schon frueher aufmerksam geworden. Hab ich aber nicht, weil es mir nicht sinnvoll erschien.

Sososososo … der Beitrag ist schon lang genug … ach doch … zwei Sachen noch, die gehen aber schnell.

Es war auch nicht sinnvoll diese „neue Summe“ ueber die neuen Links zu bilden, denn da sieht das (fast) genauso so aus. Der grøszte Unterschied liegt darin, dass der Hauptwert nicht (ungefaehr) bei der Anzahl aller Links, sondern bei der Anzahl aller Seiten liegt … muss ja so sein. Ich habe das natuerlich kontrolliert und es ist tatsaechlich so.

Und schlussendlich war das auch nicht sinnvoll diese „neue Summe“ ueber die Selbstreferenzen zu bilden, denn da wuerde ich ja nur zaehlen wie oft eine Seite von anderen Seiten zitiert wird. Das habe ich aber vor langer Zeit schonmal anders untersucht und die Kontrolle ergibt, dass das auch mit der „neuen Summe“ genau so raus kommt.

Nun ist aber wirklich Schluss fuer heute. Die Verteilung der „neuen Summe(n)“ bzgl. der Linkfrequenzen aller Seiten verschiebe ich auf’s naechste Mal.

Ich gehe nochmal zurueck zum Anfang und verweise auf das zweite Diagramm in welchem die Position des Maximums dargestellt ist. Wie schon bei den Selbstreferenzen erschien mir der erste Balken mit einem Wert von fast 470-tausend viel zu hoch.

Der Verweis auf die Selbstreferenzen ist gut, denn dort liegt auch des Raetsels Løsung: die Høhe des Balkens wird im Wesentlichen bereits durch das „No-way-home“-Archipel beschrieben.
Die ungefaehr 320-tausend „Einwohner“ der

„isolierte[n] Insel der Unzitierten“

werden ja ueberhaupt nicht zitiert und somit liegt das „Maximum“ am Anfang der konstanten Verteilung (mit Wert Null) also auf LL₀. Desweiteren stellte ich damals fest, dass

[…] 124.139 Seiten […] zwar nicht Teil der „isolierten Insel“ sind, aber NUR von dort Zitate erhalten.

Das bedeutet, dass die Seiten der „isolierte Insel der Unzitierten“ die Ursprungsseiten sind und dann sofort (also auf LL₀) diese anderen 124.139 Seiten zitieren. Da die zitierten Seiten keine weiteren Zitate erhalten ist das dann automatisch auch das Maximum. Da werden zwar sicherlich Mehrfachzaehlungen dabei sein, aber von der Grøszenordnung haut das schon hin. Summa Summarum kønnen vom Wert 470-tausend ungefaehr 445-tausend sofort erklaert werden.

Um den fehlenden 25-tausend auf die Spur zu kommen schaute ich mir mal an, wie die Verteilung der Werte der Maxima aussieht von den Seiten die auf LL₀ ihr Maximum in der Linkfrequenz haben:

Aha! Da sind sie, die ca. 320-tausend Seiten mit null Zitierungen. Der zweite Balken ist mit fast 135-tausend Seiten etwas høher als die oben erwaehnten ungefaehr 125-tausend Seiten (ich gebe zu, dass man das im Diagramm nicht sieht). Das war zu erwarten, denn es gibt ja noch ca. 20-tausend Seiten die sich nicht auf dem „No-way-home“-Archipel, aber immer noch auf dem Archipel, befinden.
Hierbei ist daran zu denken, dass eine Seite die aus dem groszen Linknetzwerk zitiert wird letztlich von (fast) allen Seiten der Wikipedia gesehen wird. Der Maximumswert der meisten Seiten sollte also deutlich høher als 1 oder 2 oder gar 10 oder 100 sein. Siehe auch die hier gezeigten individuellen Verteilungen ausgewaehlter Seiten.
Wieauchimmer, von den „fehlenden“ 25-tausend Seiten befinden sich 10-tausend im zweiten Balken. 10-tausend weitere folgen gleich im dritten Balken und was dann noch fehlt ist im Rest. Ich will jetzt aber nicht wieder ins Erbsenzaehlen verfallen. Zum Glueck sieht das alles schon richtig aus und die Verteilung geht auch schnell genug runter. Das ein paar hundert Seiten mehr als ein mal zitiert werden ist normal und war zu erwarten.
Wie mehr als ein oder zwei Zitate zustande kommen ist leicht zu erklaeren, wenn man sich mal die Ausreiszer anschaut (und von dort „rueckwaerts argumentiert“):

Ja, die Linkfrequenzzaehler der Ausreiszer gehen nicht ueber LL₂ hinaus und das vom Cheshmeh Ziarat Rural District geht gar nur bis zum ersten Linklevel. Das ist uebrigens ein Verwandter einer unserer Bekannten, den wir von den „Information Operations“ von vor langer Zeit kennen.
Die Vehicle registration plates of the Canal Zone sind uns (dem køniglichen) vor nicht all zu langer Zeit schonmal begegnet.

Chrysoprasis ist uns direkt noch nicht, aber in aehnlicher Form (bspw. als Lepidoptera (auch) bei den „Information Operations“) dann doch schon untergekommen  … und wie diese Seite sich verhaelt ist uns bekannt, denn das ist eine weitere Reflexion. Wenn man dem Link folgt findet man 69 (weitere) Links die alle zu Kaefern dieser Gattung gehøren. Ich finde die Seiten aus Prinzip uebrigens voll toll, denn da hat sich anscheinend eine Expertin mal hingesetzt und aufgeschrieben wer die entsprechenden Krabbeltiere als erstes beschrieben hat. Manchmal sogar mit Bildern.
Wieauchimmer, diese 69 Kaefer zitieren die Gattung Chrysoprasis auf LL₀ und werden dort dann alle „reflektiert“ um nochmal auf LL₂ (von sich selbst aus gesehen, das sind also Selbstreferenzen) zitiert zu werden. Das eine Zitat auf LL₁ kommt von Chrysoprasis selber, denn die Seite geht von LL₀ zu den 69 Kaefern, befindet sich dann auf LL₁ und wird da 69 mal zitiert … aber das wird nur ein Mal gezaehlt, weil es sich um die Linkfrequenz handelt.

So, das soll reichen fuer heute. Das bringt mich aber auf eine Idee, ob ich damit nicht alle Archipelseiten auf einfache Art und Weise identifizieren kønnte … mhmmmm … naechstes Mal!