Søren in Norwegen

Das urspruengliche Projekt hatte ich Ende 2023 abgeschlossen (auch wenn einige Artikel dazu erst danach erschienen). Ich war froh und habe dann den Reproduzierbarkeitsteil aus zwei Gruenden angefangen.

Zum Einen weil ich einen inneren Drang habe Projekte ordentlich abzuschlieszen und wenn ein Projekt Code enthaelt, dann heiszt das den ordentlich zu machen (und mglw. zu verøffentlichen). In diesem Fall war das dann doch deutlich mehr und schwieriger als ich dachte.

(Deutlich) Mehr weil ich vergessen hatte wie viele Analysen ich eigentlich urspruenglich durchfuehrte und weil ich dann doch auch wirklich so ziemlich jede „Ablenkung“ im originalen Projekt die ich eigtl. nicht nochmal machen wollte dann doch gemacht habe. Ebenso weil ich das Meiste generalisierte und dann pløtzlich neue Werkzeuge zur Hand hatte die ja auch ordentlich besprochen werden mussten.
Hinzu kommt, dass ich eine ordentliche Dokumentation der Programme schreiben wollte und das wurde dann recht viel.

Schwieriger war es deswegen, weil der originale Code Experimentalcode war. Das bedeutet sehr wenige, meist gar keine Kommentare und jede Menge Codestuecke mittendrin von denen ich nicht mehr wusste was die (im Zusammenhang) machen, aber bei denen offesichtlich ist, dass die da irgendwie nicht so richtig hin gehøren. Eben weil ich oft genug eigentlich nur mal was ausprobieren wollte, das dann aber gut ging und ich dann nie drauf zurueck gekommen bin. Oder anders: ich dachte halt .oO(Bin ja bald fertig. Da muss ich das jetzt nicht so super ordentlich machen, denn naechste Woche weisz ich noch was hier geschieht) … Tja … wenn mir Kevin eine Sache nahe gebracht hat, dann dass immer alles viiiiiiiieeeeeeeel laenger dauert, weil er mit noch was anderem Spannendem um die Ecke kommt. Zum Ende hatte ich das anscheinend begriffen, denn fuer die zwei allerletzten urspruenglichen Analysen war der Code richtig fein und ich konnte den fast 1:1 kopieren.
Schwieriger war es ebenso, wieder weil ich generalisieren wollte und das bedeutete oft ein komplettes Umdenken. Auch wenn der Code immer ordentlich gewesen waere, so waren die urspruenglichen Analysen meist _sehr_ spezifisch und fallabhaengig … und das beiszt sich mit dem Ziel der Generalisierung.

Naja … und mit diesem ersten Grund dachte ich mir dann, dass ich den neuen Code nicht nur mit den alten Daten testen sollte (was man eh machen muss um zu schauen ob das selbe (!) Ergebnis bei raus kommt), sondern dann gleich mal schauen kann, inwieweit meine Ergebnisse … nun ja, reproduzierbar sind. Das ist der zweite Grund, denn in der Wissenschaft sollte man sowas machen … ich gebe aber zu, dass ich das vermutlich nicht getan haette, waere da nicht der aufzuraeumende Code gewesen.

Natuerlich dachte ich wieder, dass ich damit nur ein paar Wochen, høchstens ein halbes Jahr beschaeftigt bin … hehe.

Soweit dazu … der Reproduzierung war im Wesentlichen genau das — alles wurde, innerhalb der gegebenen Limitierungen, reproduziert. Bis auf einen schwerwiegenden Methodenfehler (der aber rein rechnerisch keinen groszen Unterschied zur Folge hat), wurden nur kleinere Fehler entdeckt und korrigiert.

Die oben erwaehnten neuen (Analyse)Werkzeuge konnte ich „bauen“, weil ich dann einen guten Ueberblick ueber die ganze Sache hatte. Das war es auch was mir erlaubte ganz neue Analysemethoden zu entwickeln. Ein Beispiel sind die Grøszenordnungsdiagramme. Das fuehrte in so ziemlich allen Faellen dazu, dass ich mehr als „damals“ (wie ich so oft schrieb) ausrechnen und noch mehr schicke Diagramme machen konnte.

Alles in allem entspricht dieses Projekt einem dritten Doktorgrad … waer fetzig, wenn ich mir ’nen offiziellen dritten Titel zulegen kønnte deswegen.

Bzw. war’s eigtl. sogar noch mehr, denn all das was ich oben schrieb (was sich ja eigtl. nur auf den Reproduktionsteil bezieht) macht man nicht als Doktorand. Eben weil man den Ueberblick nicht hat. Das ist die Aufgabe der Professoren, die jahrelang an Problemstellungen sitzen und mehrere Diplmandeninnen und Doktoranden und PostDoc’s fuer sich arbeiten lassen. (Mehr oder weniger stark) verallgemeinernd ist der Prozess ungefaeher wie folgt.

Die erste Diplomandin macht dann einen Teil der urspruenglichen Analyse, ein Doktorand sitzt dann an mehr, einer zweiten Doktorandin wird ein weiterer Aspekt des Problems als Aufgabe zugeteilt. So bringt jeder ein Puzzlestueck zur Professorin und nach einiger Zeit kann die dann das Gesamtbild zusammenbauen. Nach ein paar Jahren sind generelle, mehr als nur spezifische Fragestellungen umfassende „Strømungen“ im Gesamtproblem erkennbar und weitere Doktoranden muessen dann von den spezifischen Problemen der vorherigen Jahre die generalisierten Konzepte im Detail ausarbeiten. Die Professorin denkt sich neue Analysemethoden aus und die dazugehørigen Werkzeuge werden wieder von den Doktoranden implementiert.

Im hiesigen, letztlich dann doch eher kleinen und ziemlich spezifischen, Aufgabenfeld habe ich das alles selbst gemacht … und es war fetzig, denn das ist was Wissenschaft ist und was mich in die Wissenschaft „getrieben“ hat. Und bzgl. Wissenschaft mein ich (immer noch) das hier:

Der urspruengliche Link zum Original geht nicht mehr, aber zum Glueck war es unter dieser Lizenz zu haben .oO(I still love CC), Grøsze angepasst und Dateiformat des modifizierten Bildes von GIF zu PNG geaendert. Der Kuenstler kann jetzt unter dem selben Namen (VectorBelly) auf instgram und tumblr gefunden werden … ohne Anmeldung kann ich da aber nicht weit genug zurueck schauen um dieses Bild zu finden … deswegen kein Link.

Genau so war das Kevin-Bacon-Projekt durch und durch … und das hat mir grosze Genugtuung bereitet.

Dennoch, nach ueber 5 Jahren habe ich keine Lust mehr und will dieses Groszprojekt endlich abschlieszen. Ich haette zwar noch mehr Ideen was man sich alles anschauen kønnte … aber mein „Fass“ ist schon laenger voll und jetzt wo alles reproduziert und der Code ordentlich ist, ignoriere ich das und steuere schnurstracks auf’s Ende zu … aber noch nicht heute, denn ich will noch schauen wie viel ich eigentlich „zu Papier gebracht“ habe … als (winzig)kleine (und defintiv nicht ausreichende) Veranschaulichung all der Arbeit die ich in Kevin gesteckt habe … aber das kommt dann erst beim naechsten Mal.

Die beim letzten Mal mittels der 2020 Daten vorgestellte Methode wende ich heute auf die 2023 Daten und vergleiche die Ergebnisse beider Datensaetze mittels bewegter Bilder. Ich erwarte, dass man nicht unbedingt sehr viel sieht, denn in den, beim vorletzten Mal praesentierten, durchschnittlichen Kurven sind nur aeuszerst geringfuegige Unterschiede zu sehen.

Zunaechst die nach der Anzahl der Links sortierten Untergruppen bezueglich der neuen Links:

Muss ich gar nix weiter zu sagen. Wie erwartet gibt es zwar Unterschiede, die sind aber nicht signifikant. Deswegen sofort und ohne weitere Umschweife die nach der Anzahl der Zitate (von anderen Seiten) sortierten Untergruppen (immer noch bezueglich der neuen Links):

Auch das zappelt im Wesentlichen nur auf der Stelle. Zurueck zu den nach der Anzahl der Links sortierten Untergruppen, aber diesmal bezueglich der Linkfrequenz:

Dito; deswegen ganz schnell und als Letztes die nach der Anzahl der Zitate (von anderen Seiten) sortierten Untergruppen (auch bezueglich der Linkfrequenz):

Ist ja auch mal schøn, wenn man nicht so viel erklaeren und schreiben muss.

Und das war der letzte Artikel mit frischen Resultaten in dieser Maxiserie, von der ich urspruenglich dachte, dass sie nur sechs Beitrage lang wird. So sehr kann man sich verschaetzen … aber apropos Schaetze: ich wusste ja vorher nicht, was fuer Wissens- und Erkentnissschaetze mich im Linknetzwerk der Wikipedia erwarteten. Ich denke, dass da sogar noch mehr zu holen ist … aber nicht mehr von mir, das kan jetzt wer anderes machen.

Ganz am Ende bin ich aber noch nicht mit Kevin Bacon … es folgt noch ein Artikel in dem ich die Reproduktion aus einer Metaperspektive kommentiere, ein Artikel der sich die „Metastatistik“ mal anschaut und ein Abschluss … oder vielmehr zwei, die bleiben aber beide noch geheim.

Wie beim letzten Mal versprochen gibt es diesmal Verteilungen … und das bedeutet natuerlich: 2D-Falschfarbenbilder, oder in kurz: Heatmaps.

Das ist zwar i.A. nix Neues, in diesem Zusammenhang aber schon. Deswegen erklaer ich heute alles ganz genau und benutze dafuer NUR die 2020 Daten. Die Reproduktion der Bilder folgt dann beim naechsten Mal. Ohne weitere Umschweife kann’s jetzt losgehen.

Die Durchschnitte beim letzten Mal waren zwei Summen und jeder Summe folgte eine Divisionen. Die eine Summe (und Division) war individuell fuer jede Seite und die wird beibehalten. Hierbei handelt es sich naemlich um den „kumulativen Teil“ im kumulativen, prozentualen Anteil (des neuen Links / Linkfrequenz Signals) — also das was betrachtet werden soll.

Die andere Summe (und Division) war der normale Durchschnitt ueber alle Seiten und das ist der heikle Teil.
Ein all zu simples Beispiel diesbezueglich: 9 Seiten haben auf LL₀ fuenf Links, 1 Seite linkt zu allen Wikipediaseiten (nehmen wir wieder an es sind 5 Millionen). Dann sehen die ersten neun Seiten 0.0001 Prozent aller Seiten und die letzte Seite sieht 100 Prozent. Im Durchschnitt sieht jede der Seiten 10 % aller anderen Seiten … das ist „nur“ eine Grøszenordnung von der letzten Seite entfernt, aber 5 Grøszenordnungen von den ersten neun. Ich denke das veranschaulicht das Problem.

Man kønnte anstatt des Durchschnitts den Median nehmen. Der sagt oft mehr (und andere Sachen) aus, aber ist letztlich auch nur eine Zahl die nicht alles erfasst. Im Beispiel liegt der Median 6 Grøzszenordnungen von der letzten Seite entfernt; der grøszte Unterschied zwischen der Zahl die das System beschreiben soll und einem Mitglied dieses Systems wird also um einen Faktor zehn verschlimmert. Auszerdem traegt diese eine Seite sicherlich krass zur gesamten Dynamik bei und das wird durch den Median noch weniger dargestellt. Desweiteren sagt der Median was ueber „50 % der Seiten liegen unter diesem Wert“ aus … aber die 9 Seiten entsprechen 90 % der Seiten und die liegen nicht drunter sondern drauf.
Wieauchimmer, es gibt Gruende, warum ich Histogramme bevorzuge in denen die Verteilung der Grøsze von Interesse ueber alle Seiten dargestellt werden.

Die Grøsze von Interesse ist hier der kumulative, prozentuale Anteil. Auf einem gegebenen Linklevel rechne ich den fuer jede einzelne Seite aus und der „Zaehler“ im Histogramm geht bei den entsprechenden Werten pro Seite um eins nach oben. Jedes Linklevel hat ein eigenes Histogramm und ich stelle alle zusammen in einer Heatmap dar. Wobei ich hier nur LL₀ bis LL₁₀ darstelle (weil nur da wirklich was passiert) und auch nur bis zu einem kumulativen, prozentualen Anteil bis 100 Prozent. Letzteres ist nur bei der Linkfrequenz von Interesse und es ist nicht ganz uninteressant was bei høheren Linkleveln und jenseits von 100 % passiert. Das muesste eigentlich genauer untersucht und erklaert werden um zu verstehen wo das herkommt … aber wir naehern uns endlich dem Ende dieses Groszprojekts und da mach ich das nicht mehr … in kurz ist’s eh alles nur ein Effekt der Mehrfachzaehlungen im Linkfrequenzsignal.

Hier nun die entsprechende Heatmap fuer die neuen Links:

Man beachte, dass das Linklevel ausnahmsweise auf der Abzsisse abgetragen ist; das war sinnvoller. Auszerdem ist die Farbskala (wieder) logarithmisch, damit man nicht nur in den Extremen was sieht.

Wenn man das mit den Ergebnissen vom letzten Mal vergleichen will, muss man die „Schwerpunkte“ der Streifen betrachten. Auf LL₃ „verschmiert“ sich alles relativ breit zwischen null und ca. 80 Prozent. Aber besagter Schwerpunkt liegt um 30 Prozent wuerde ich sagen. Fuer LL₄ dann ist die Intensitaet bei Werten unter 50 Prozent schon relativ schwach und die meisten Seiten „tuemmeln“ sich um ca. 75 Prozent … *nachschau* … was ziemlich gut mit dem Ergebnissen vom letzten Mal ueberein stimmt.

Nun fuer die nach der Anzahl der Links eingeteilten Untergruppen:

Man beachte, dass die Farbskala fuer alle Diagramme die Selbe (!) ist; deswegen ist’s so dunkel fuer die UVL, denn da gibt es insgesamt nur so wenige Seiten.
Ich habe die „Schwerpunktregionen“ markiert und wenn man das untereinander und mit den Durchschnittswerten vergleicht, dann haut das wieder alles hin. Aber der Informationsgehalt ist natuerlich viel grøszer in so ’ner Heatmap; insb. sieht man die Dynamik (der einzeilnen Untergruppen) viel besser.

Fuer die nach der Anzahl der Zitate (von anderen Seiten) eingeteilten Untergruppen sieht das so aus:

Da kann ich nur sagen: dito. Bzgl. der neuen Links ist alles relativ klar und einfach zu verstehen, weswegen ich die zuerst gezeigt habe.

Fuer die Linkfrequenz gelten die selben Prinzipien, die Heatmaps sehen aber auf den ersten Blick deutlich anders aus (erstmal wieder nur die nach der Anzahl der Links sortierten Untergruppen), …

… aber wenn man genauer hinschaut ist’s gar nicht so anders und im Vergleich mit den durchschnittlichen Werten stimmt das wieder gut (genug) ueberein. Die Markierungen sind ’ne „Abschaetzung nach bestem Wissen“ … also was mein Bauchgefuehl mir sagt.

Hier „verschmiert“ sich alles viel mehr, die Lage ist also mitnichten so eindeutig wie bei den neuen Links oben. Das wusste ich nicht bevor ich die Bilder zum ersten Mal sah, ist ist aber genau der Grund warum ich meine, dass die Durchschnitte heikel sind.
Man sollte sich die Histogramme der einzelnen Linklevel im Detail ansehen um sicherere / genauere Aussagen treffen zu kønnen … aber das kann wer anders machen; mein Bauchgefuehl reicht mir an dieser Stelle zur Bestaetigung der vormaligen Ergebnisse und ich wollte ohnehin vor allem „nur“ die Machbarkeit und Nuetzlichkeit des Prinzips zeigen.

Fehlen noch die nach der Anzahl der Zitate (anderer Seiten) eingeteilten Untergruppen bzgl. der Linkfrequenz … Hier sind ’se:

Bis auf eine Sache gibt’s nix anderes dazu zu sagen was nicht schon oben steht. Die eine Sache sieht man in der UWZ-Heatmap. Auf LL₄ geht der Streifen mit relativ gleichmaesziger Intensitaet ueber die gesamte Breite. Aber wenn ich die Augen ein bisschen zukeife, dann sieht das so aus, als ob’s in der Mitte ein klein wenig dunkler ist — sich dort mglw. weniger Seiten tuemmeln als links oder rechts davon. Das waere dann eine „gespaltene Verteilung“, die im Durchschnitt ’ne „Zahl in der Mitte“ ergibt, welche aber nicht beschreibt wie die Seiten sich wirklich verhalten. Wieder: das kann wer anders mal genauer untersuchen, ich wollte aber drauf hinweisen … der Informationsinhalt sollte naemlich auch ausgenutzt werden.

Ich denke, dass ihr, meine lieben Leserinnen und Leser, das Prinzip verstandan habt. Damit soll’s fuer heute reichen und beim naechsten Mal kommt dann der Vergleich mit den 2023 Daten.

So langsam aber sicher komme ich tatsaechlich zum Ende. Aber zunaechst geht’s nochmal ganz an den Anfang zurueck.
Dieses umfangreiche Projekt begann, weil ich ueber „Six degrees of Wikipedia“ stolperte und mich dann fragte wie viele Schritte (spaeter Linklevel genannt) man im Durchschnitt (!) braucht um von einer beliebigen Wikipediaseite zu einer anderen zu kommen. Dann liesz ich mich fast drei Jahre lang von fetizgen Sachen ablenken lassen und beantwortet die Frage die alles in Gang setzte erst am Ende.

Kurze Erinnerung: die Frage oben ist nur die eine Richtung in die man das beantworten muss. Die andere Richtung ist die Frage nach wievielen Linkleveln eine gegebene Seite im Durchschnitt (!) von einer beliebigen anderen Seite besucht (oder gesehen) wurde.
Ersteres kann man mittels der neuen Links (per Linklevel) beantworten, denn die sagen ganz direkt aus, wieviele noch nicht besuchte Seiten eine gegebene Ursprungsseite pro Linklevel sieht.
Fuer Letzteres kann man die Linkfrequenz heran ziehen, denn fuer eine gegebene Seite zaehlt diese pro andere Seite, ob die andere Seite die gegebene Seite auf einem spezifischen Linklevel gesehen hat.

Den Durchschnitt habe ich so definiert, dass der linklevelabhaenige, kumulative, prozentuale Anteil der jeweiligen Signale 50 % erreichen muss.
In den verlinkten Beitraegen gehe ich darauf ein, wie man besagten kumulativen, prozentualen Anteil berechnet und was es dabei zu beachten gibt. Zur Erinnerung: bei der Linkfrequenz kommt es zu Mehrfachzaehlungen, weswegen dieser Anteil ueber 100 % liegen kann. Das soll dazu aber reichen.

Desweiteren untersuchte ich das alles fuer unterschiedliche Gruppen. Die Mitglieder dieser Gruppen wurden danach bestimmt, wieviele Links eine Seite hat, oder wie oft andere Seiten zu einer Seite Links haben (diese also zitieren). Das teilte ich dann grob in Untergruppen mit wenigen, mittleren und vielen Links bzw, Zitaten ein … in kurz U(ntergruppe) W(enige) L(inks), UML & UVL bzw. U(ntergruppe) W(enige) Z(itate), UMZ & UVZ.

Zunaechst handle ich die „Vorwaertsrichtung“ (also alles was aus den neuen Links rausspringt) ab.
Die Grundlage des Ganzen sind die Summenkurven (ueber die jeweiligen Seiten). Damals hatte ich das nur fuer alle Seiten gezeigt, aber natuerlich interessiert mich bei der Reproduktion auch, inwieweit sich die Untergruppen, bzw. deren Dynamik geaendert haben. Hier also besagte Summenkurven fuer alle Gruppen:

Weil’s so viel Kleinkram ist auf den man aufpassen muss und alles irgendwie gleich aussieht, zunaechst ein paar Worte zur „Notation“ in den heutigen Diagrammen (sofern man das bei einer Grafik sagen kann).
An den Kurven ist vermerkt zu welcher Gruppe sie gehøren und ich habe die (jahresabhaengige) Anzahl der Seiten auch mit ran geschrieben. Normalerweise nutze ich schwachfarbige Kurven um aus den alten Daten gewonnene Information zu kennzeichnen. Heute ist das NICHT so, denn damals kennzeichneten vollfarbige Kurven die nach Anzahl der Links sortierten Untergruppen und schwachfarbige Kurven gehørten zu den nach der Anzahl der Zitate (anderer Seiten) sortierten Untergruppen. Das behalte ich hier bei. Die unterschiedlichen Datensaetze sind hier und heute ausnahmsweise durch die „Strichform“ unterscheidbar; gestrichelte Kurven entsprechen den 2020 Daten und durchgezogene Kurven den 2023 Daten.

Man beachte, dass die Abzissen dreier Diagramme linear und gleich skaliert sind. Man kann die Werte also direkt vergleichen. Die nicht mal 3000 Seiten der UVL bzw. UVZ wuerden dann aber nur ’ne flache Kurve sein, weswegen ich dafuer auf eine logarithmische Skala gewechselt bin. Zum besseren Vergleich habe ich die Kurve fuer alle Seiten auch noch mit rein gelegt.

Was man sieht ist … naja … es gibt sichtbare Unterschiede, aber alles liegt im erwarteten Rahmen. Die Kurvenformen der verschiedenen Jahre sind alle SEHR aehnlich und zum Teil sind sogar die absoluten Werten nicht weit voneinander weg … oder anders: Reproduktion erfolgreich. Fuer alle Seiten wussten wir das schon vorher (siehe obiger Link), und nun wissen wir das auch fuer die Untergruppen.

Wenn man dann die jeweiligen Berechnungen durchfuehrt, erhalt man diese kumulativen, prozentualen Anteile:

Ich habe wieder graue, unterbrochene Linien reingelegt, damit leichter zu sehen ist, wann die 50 % erreicht sind. Wie immer so oft gilt, dass die Striche zwischen den Datenpunkten nur zur Orientierung sind. Ansonsten gilt auch hier: Reproduktion gelungen.

Aber Achtung! Im Vergleich mit den damaligen Diagrammen im ganz oben verlinkten Beitrag gibt es einen Unterschied. Die Kurven hier erreichen NICHT 100 % … ist ja erstmal komisch, aber leicht zu erklaeren.
Damals dividierte ich das (doppelte) Summensignal nicht durch die Anzahl der Seiten die zu den jeweiligen Summen beitragen (auch wenn der Beitrag null ist!), sondern durch das Integral unter der Kurve. Prinzipiell ist das das Gleiche … es ist im vorliegenden Fall aber nicht das Selbe. Der Grund sind die Archipele. Die meisten Seiten kommen dort nicht hin und somit fehlen fuer jede Seite ungefaehr fuenf Prozent aller (neuen) Links. Deswegen erreichen die obigen Kurven die 100 % nicht.
Aber eben weil die Archipelseiten nicht gesehen werden, tragen die auch nicht zum Integral des Summensignal bei. Das kompensiert die fehlenden Werte und macht besagtes Integral zu einem kleineren Teiler als man eigtl. benøtigt. Und so erreichte ich urspruenglich fuer die neuen Links 100 Prozent.
Kurioserweise hatte ich es bei der Linkfrequenz auch damals schon richtig gemacht und sogar richtig argumentiert … hab das nur nicht auf die neuen Links uebertragen.

Apropos Linkfrequenz, hier sind die jeweiligen Summensignale:

Im Wesentlichen gilt das Gleiche wie oben … oder anders: alles innerhalb der zu erwartenden Limitierungen reproduziert.

Kurios sind die UVZ Kurven (die ich mir damals nicht angeschaut hatte); ein ganz schøn flaches und sich weit streckendes Maximum. Das sieht auch bei linearer Abzisse (fast) so aus, wenn man da rein zoomt sieht man aber, dass es nicht komplett flach ist. Die Erklaerung dafuer ist ganz einfach und liegt in der Dynamik des gesamten Wikipedianetzwerks und der Besonderheit dieser Gruppe. Das sind die Seiten mit den vielen Zitaten von anderen Seiten. Oder anders: die werden so oft zitiert, dass alle diese Seiten ab LL₂ im Wesentlichen von ALLEN anderen Seiten IMMER gesehen werden … zumindest bis ca. LL₉.

Weiter zu den kumulativen, prozentualen Anteilen (am Linkfrequenzsignal):

Und jetzt alle: Reproduktion erfolgreich.

Sohoho … beim letzten Mal zeigte ich dann etliche, all zu umstaendliche „Grøszenordnungshistogramme“ … damit war ich selbst nicht so richtig zufrieden und das hat mMn auch nicht wirklich viel gebracht. Gleichwohl behandelte es ein wichtiges Thema (auch wenn ich es nicht direkt ansprach): Durchschnitte sind heikel … im Durchschnitt (Wortspielkasse) stimmt das zwar, aber die individuellen Seiten kønnen davon doch gewaltig abweichen. Eigentlich will man also die Entwicklung linklevelabhaengiger Verteilungen sehen.
Das entsprechende Programm dafuer hab ich im Enspurt noch schnell zusammen gehackt … und weil’s ein neues Werkzeug ist die Daten zu betrachten, gibt’s dafuer einen extra Beitrag … beim naechsten Mal.

Nach den, beim letzten Mal reproduzierten, Verhaeltnissen der Grøszen von Interesse zueinander, widmete ich mich damals laengerer Zeit den kumulativen Log-Log-Diagrammen. Das muss ich natuerlich nicht nochmal extra reproduzieren, denn die sind so maechtig, dass ich die regelmaeszig anwende und damit bei vorherigen Reproduktionen schon automatisch mit dabei waren.

Danach bemerkte ich dann damals, dass ich die urspruengliche Frage, welche dieses Projekt ueberhaupt erst anstiesz, noch gar nicht beantwortet hatte (was prompt nachgeholt wurde). Die dazugehørende Wiederholung mit neuen Daten muss noch warten, denn wir naehern uns dem Ende der Reproduktion (endlich) und somit dem Ende des ganzen Projekts (endlich endlich).
Zunaechst will ich mir das „Anhaengsel“ welches die Popularitaetsbetrachtungen waren, nochmals mit den neuen Daten anschauen.

Natuerlich habe ich den Code dazu nochmal neu geschrieben (und selbstverstaendlich ein bisschen erweitert) und das war dieses Mal relativ simpel, denn ausnahmsweise war das kein … øhm … ich sag jetzt Mal experimenteller Code. Ich konnte viele Stuecke davon so verwenden wie sie waren und alles war ziemlich gut kommentiert. Nun ist alles noch alles besser strukturiert und noch (viel) besser kommentiert.

Wieauchimmer, die Anzahl der neuen Seiten pro Monat werden ganz hervorragend (wenn auch nicht zu 100 %) reproduziert:

Die 1 zu 1 Reproduktion gelingt nicht, weil es gewisse Unterschiede zwischen den 2020- und den 2023 Daten gibt. Manche Seiten aus der 2020 Wikipedia tauchen in der 2023 Wikipedia nicht mehr auf. Entweder weil diese geløscht wurden, oder weil zwei thematisch sehr nahe individuelle Seiten zu einer einzigen verschmolzen wurden. Das hat zur Folge, dass die „Referenz“ welche den welche-Seiten-sind-im-jetzigen-Monat-denn-dazu-gekommen Betrachtungen zugrunde liegt, etwas anders ist. Deswegen sehe ich in manchen Monaten ein paar mehr und in anderen Monate ein paar weniger neue Seiten.

Interessant ist, dass der leicht ansteigende Trend von ca. 2015 bis ca. 2020 direkt nach meinen urspruenglichen Untersuchungen aufhørte und die Anzahl der neuen Seiten pro Monat seitdem stagniert. Ich fragte mich beim ersten Mal als ich das sah, wie sich das wohl entwicklen wird. Nun weisz ich das.

Damals schaute ich mir dann die Anzahl der durchschnittlichen Seitenaufrufe einer (gegebenen) Seite pro Monat in Abhaengigkeit von der Anzahl der Links oder Zitate der besagten Seite an. Jetzt gibt’s das auch in ausfuehrlich …

… was hoffentlich zum Verstaendniss der Ergebnisse beitraegt.

Diese Diagramme zeigen (erstmal) nur die Abhaengigkeit von der Anzahl der Links einer Seite. Wie so oft immer tragen zu einem Datenpunkt alle Seiten mit einer gegebene Anzahl Links bei.
Im oberen linken Diagramm sieht man dann den Urpsrung der Betrachtungen, naemlich einfach die Summe aller Seitenaufrufe aller Seiten (mit einer gegebenen Anzahl Links). Das ist leicht zu verstehen und die 2023 -Daten liegen i.A. etwas ueber den 2020-Daten … was zu erwarten war, denn seitdem sind drei Jahre vergangen und (mehr oder weniger) alle Seiten wurden in dieser Zeit (noch) øfter angeschaut.

Das sollte sich bei der durchschnittlichen Anzahl an Seitenaufrufen (also die obige Summe der Seitenaufrufe dividiert durch die Anzahl der zur Summe beitragenden Seiten) ebenso zeigen, denn die Anzahl der zusaetzlichen Seitenaufrufe wuerde ich zunaechst als proportional zur Anzahl der Tage zwischen den Daten annehmen. Dito (mutatis mutandis) bzgl. der Anzahl der neu hinzugekommenen Seiten … ABER ’ne (alte) Seite anzuklicken ist schneller (und deswegen øfter) getan als ’ne neue Seite zu erstellen. Deswegen wuerde ich annehmen, dass der Zaehler dieses Verhaeltnisses (etwas) schneller waechst als der Nenner und die 2023-Daten somit systematisch ueber den 2020-Daten liegen sollten.
Wenn man genau hinschaut, dann sieht man das auch im rechten, oberen Diagramm … OKOK, vermutlich nicht in dem Bild hier in diesem Beitrag, aber wenn man sich das in einem Datenvisualisierungsprogramm im Detail anschaut, dann ist das so.

Das bringt mich zum linken unteren Diagramm, in dem das was ich damals zeigte reproduziert wird. Dafuer dividierte ich fuer jede Seite (mit einer gegebenen Anzahl an Links) zunaechst die Anzahl der Seitenaufrufe durch die (bisherige) „Lebensdauer“ der Seite. Damals benutzte ich die „Lebensdauer“ in Monaten, diesmal in Tagen. Fuer alle Seiten (mit einer gegebenen Anzahl an Links) addierte ich diese individuellen Verhaeltnisse und die Summe wurde dann wieder durch die Anzahl der zur Summe beitragenden Seiten dividiert.
Ich wuerde davon ausgehen, dass die „Lebensdauer“ schneller zunimmt als Leute eine Seite anklicken. Somit sollte sich das oben Gesagte umkehren … was genau das ist, was man im besagten Diagramm sieht (auch wenn es schlecht zu erkennen ist) — die roten Quadrate liegen systematisch unter den schwarzen Punkten.

So „nebenbei“ faellt bei den Betrachtungen noch die durchschnittle „Lebensdauer“ der Seiten an. Die sieht man im etwas abgesetzten, rechten, unteren Diagramm. Wie zu erwaten war, sind die 2023-Daten (im Wesentlichen) parallelverschoben um drei Jahre nach oben.
Die „Saettigung“ nach oben tritt immer dann auf, wenn man auf eine Seite mit einer einzigartige Anzahl an Links trifft, welche es schon „von Anfang an“ (also die maximale Anzahl an Tagen) gibt. Die durchschnittliche „Lebensdauer“ wird in solchen Faellen also nicht durch andere Seiten mit der selben Anzahl an Links (aber weniger Anzahl an Tagen) „verduennt“, denn es gibt keine Seiten mit der selben Anzahl an Links. Und mehr als diese Anzahl an Tagen geht auch nicht, denn fuer alle Seiten in der „Referenz“ (das sind die von-Anfang-an-dabei-Seiten) wird das gleiche „Geburtstdatum“ angenommen. Letzteres ergibt sich aus den „Klickzahlen“, und eine Seite wird „geboren“, wenn der Autor diese nach der Erstellung anklickt und besagte Seite dann zum ersten Mal in den „Klickzahlen“ auftaucht. Diese Information wurde aber nicht vor 2007 erhoben. Deswegen die „Saettigung“.

Mehr als zu den Unterschieden zwischen den Datensaetzen sage ich nicht, denn das habe ich damals alles schon abgehandelt.

Bleibt nur noch nach das Ganze auch fuer die Abhaengigkeit von der Anzahl der Zitate die eine Seite erhaelt zu zeigen … tadaaaa:

Ich ueberlasse es euch, meinen lieben Leserinnen und Lesern, das oben Gesagte auf diese Diagramme anzuwenden.

Und wie so oft: Rreproduktion gelungen.

Tjaaaa … wenn ich nicht doch noch ’n Rappel kriege und zwei Ideen umsetze die mir im Kopf rumschwirren, dann gibt’s nur noch eine zu taetigende Reproduktion … und z.Z. sieht es „duester“ aus fuer die zwei Ideen … ich hab naemlich wirklich keine Lust mehr auf Kevin Bacon … ich will das Projekt nach sechs Jahren endlich abschlieszen.

Ich knuepfe (beinahe) nahtlos an die (ausfuehrliche) Diskussion vom letzten Mal an zeige. Deswegen sofort die Diagramme von Interesse:

Zunaechst zum rechten unteren Bild, in dem die Verhaeltnisse de jeweiligen Summenkurven der zwei Datensaetze zu sehen ist.
Man sieht deutlich, dass bei kleinen Linkleveln (ich sag jetzt mal bis ca. LL₂₅) die Anzahl der neuen Links und der Selbstreferenzen sowie der Wert der Linkfrequenz direkt mit der Anzahl der totalen Links zusammenhaegt. Das ist sinnvoll. Fuer die zwei letzteren Grøszen bleibt das auch so ueber alle Linklevel. Das ist logisch, denn Selbstreferenzen sind im Wesentllichen ein zufaelliger Prozess der umso wahrscheinlicher wird, je mehr Links vorliegen. Und die Linkfrequenz ist ohnehin direkt an alle (einzigartigen) Links (und somit deren (totale) Anzahl) gekoppelt.
Wenn also die Anzal der totalen Links in den 2023 Daten halbiert wird bei høheren Linkleveln, dann hat das auch eine Halbierung der Selbstreferenzen und der Linkfrequenz zur Folge.

Aufgrund der Ketten entkoppeln sich die neuen Links allerdings von der Anzahl der totalen Links. Im einfachsten Bild ist die Anzahl der neuen Links in der Kette konstant (eben nur noch der Vorwaerts-Link in der Kette ist neu), egal wie sehr die Anzahl der totalen Links schwankt.

Nun zu den Verhaeltnissen der neuen Links im oberen linken Bild. Die 2023 Kurve weicht ab ca. LL₂₅ systematisch um ca. einen Faktor 4 von der 2020 Kurve ab. Was natuerlich daran liegt, dass es nur noch ungefaehr halb so viele totale Links (und damit Selbstreferenzen bzw. Linkfrequenz“en“), aber ca. doppelt so viele neue Links gibt … wie beim letzten Mal ausfuehrlich besrpochen. Das ist kein abrupter Vorgang, was den Anstieg der Kurven erklaert (im Gegensatz zu den (irgendwann, mehr oder weniger) konstanten Kurven der 2020 Daten).
Die Verdopplung der neuen Links macht sich in den anderen Verhaeltnissen immer dann bemerkbar, wenn die Anzahl der neuen Links im Nenner steht, womit das nicht weiter besprochen werden muss.

Einen Unterschied gibt es, der auch beim letzten Mal erwaehnt, aber nicht weiter besprochen wurde. Es geht um das Verhaeltniss zur Linkfrequenz. Hier ist es so, dass sich in den 2020 Daten die Verhaeltnisse zu den totalen Links und zur Linkfrequenz eng aneinander schmiegen, ja beinahe deckungslgleich sind, aber bei den 2023 Daten etwas auseinander gehen.

Prinzipiell wuerde ich erstmal sagen: reproduziert, weil das kein groszer Unterschied ist … aber beim letzten Mal haben wir ja gelernt, dass da mglw. mehr dahinter steckt. Das ist aber leicht zu erklaeren

Das Anschmiegen (wenn auch nicht perfekt) ist dem Umstand geschuldet, …

[…] dass die Linkfrequenz im wesentlichen die „gedeckelte“ Anzahl der totalen Links ist […].

Das Wørtchen „gedeckelt“ ist hierbei tragend.

Zur Erinnerung: der Linkfrequenzzaehler einer Seite wird (bei der Netzwerkanalyse mit einer bestimmten Startseite) um eins erhøht, wenn diese Seite (auf einem gegebenen Linklevel) „erwaehnt“ wird … man also einen Link zu dieser Seite sieht. Der Linkfrequenzzaehler zaehlt aber NICHT wie oft ein Link zu dieser Seite auf diesem Linklevel „gesehen“ wird. Deswegen „gedeckelt“, denn wenn jeder Link zu einer Seite geht dann sind der Wert fuer die Linkfrequenz und die Anzahl der totalen Links gleich; wenn man sich aber auf zwei verschiedenen Seiten in der Kette befindet (in den einfachen Modellen beim letzten Mal bspw. B und B-Strich), dann kønnen die zur selben Seite in der groszen weiten Wikipedia einen Link haben. In dem Fall geht der Zaehler fuer die totalen Links um zwei hoch, aber der fuer die Linkfrequenz nur um eins.
Da die Seiten einer Kette thematisch zusammenhaengen ist es sinnvoll anzunehmen, dass die auch ab und zu mal zu den selben (bereits vorher gesehenen) Seiten verlinken.

Das sieht man auch im rechten unteren Diagramm. Ab (ich sag jetzt mal) ca. LL₄₅ „entkoppelt“ sich das 2023-zu-2020-Linkfrequenzverhaeltniss (lila Kurve) in Teilen vom 2023-zu-2020-totale-Links-Verhaeltniss (schwarze Kurve) … das ist ein kleiner Effekt und normalerweise wuerd ich sagen „reproduziert“ (das also „natuerlichen Schwankungen“ zuordnen“), aber ich denke das ist eine echte und systematische Abweichung und die Erklaerung dafuer ist ja auch durchaus logisch.

Damit kann ich zum Diagramm bzgl. den Selbstreferenzverhaeltnissen kommen (rechts oben) … und das auch ganz schnell wieder abschlieszen, denn dazu gibt es nix zu sagen, was nicht schon gesagt wurde.

Es bleibt das Diagramm bzgl. den Linkfrequenzverhaeltnissen (links unten). Von einer Ausnahme abgesehen, muss das bereits Gesagte nur angewendet werden um das Verhalten der Kurven (und eventuelle Unterschiede) zu begreifen. Die Ausnahme ist (wieder) das Verhaeltniss zu den neuen Links. Die Abweichung der 2023 Kurve nach unten bei høheren Linkleveln hat die selben Gruende wie vorher. Aber die Abweichung der selben Kurve nach OBEN bei kleinen Linkleveln … ist mir ein Raetsel … … … oder kein Raetsel an sich, denn das laeszt sich einfach dadurch erklaeren, dass es nur noch ca. halb so viele neue Links gibt verglichen mit den 2020 Daten. Aber wieso sollte das so sein?
Die einzige Erklaerung die mir einfaellt waere eine doppelt so gute Vernetzung der Seiten. Aber das kann ich nicht wirklich pruefen … bzw. ich kønnte mglw. schon, denn im einfachsten Fall wuerden einfach nur doppelt so viele Seiten „zurueck linken“ zu der Seite die sie zuerst zitiert … aber um das ordentlich zu untersuchen muesste ich nochmal ein ganz neues Fass aufmachen und das wuerde sich vermutlich ziemlich lange hinziehen … und da hab ich keine Lust mehr drauf und ich lasse das Mysterium einfach stehen, damit sich da wer anders drum kuemmert.

Joa … und das war das dann mit den Verhaeltnissen. Es bleibt zu sagen, dass die Reproduktion teilweise, aber sicherlich nicht in Gaenze gelungen ist. Die Hauptursache der Unterschiede konnten geklaert werden und es zeigte sich, wie empfindlich gewisse Ergebnisse auf kleine Aenderungen reagieren, auch wenn im Groszen und Ganzen alles erstmal aussieht wie immer.
Und das war ja irgendwie auch Sinn und Zweck als ich mich entschlossen habe alle Ergebnisse mit einem neuen Datensatz nochmal zu reproduzieren. Ich wollte sehen wo ich falsch lag. Nicht, dass ich hier falsch lag bei den 2020 Daten, aber es zeigte sich in den 2023 Daten, dass es auch anders geht.

Ach so … die „lustigen VierVielecke“ vom Beitrag der damals direkt nach den Verhaeltnissen kam werde ich nicht reproduzieren. Die Aenderungen bei den neuen Links werden sich sicherlich darin niederschlagen. Das ist aber erst bei høheren Linkleveln relevant. Bbesagte Vielecke erschuf ich aber um die Unterschiede in den Maximumspositionen der jeweiligen Verhaeltnisse zu erklaeren … und die liegen bei (sehr) kleinen Linkleveln. Damit habe ich eine gute Ausrede das sein zu lassen.

Ich hatte mir damals aus den Summenkurven (hier und hier die Reproduktion) das Verhaeltniss der totalen Links zu den neuen Links angeschaut, weil ich einen (mehr oder weniger) konstanten Faktor vermutete. Dies um Ueberschlagsrechnungen und eventuelle Simulation zu erleichtern. Das Ergebniss war OK.
Spaeter schaute ich mir auch das Verhaeltniss der totalen Links zu den zwei anderen Grøszen von Interesse an. Da kam aber nicht so viel bei rum und ich verfolgte das nicht weiter.

Nun dachte ich mir: ach, das ist unkompliziert, da kann ich schnell ’nen kurzen Reproduktionsbeitrag zu schreiben … tjaaaa … ich habe anscheinend die Kevin Bacon Lektion auch zum Ende des Projekts nicht gelernt: nix geht schnell und es passiert (fast) immer was Spannendes war einer genaueren Untersuchung bedarf. In kurz (Achtung Spoiler): Eine Sache reproduziert nicht.

Die einzelnen Effekte sind relativ subtil und laufen (zu Recht) unter „Reproduktion gelungen“. Aber im (entgegenlaufenden) Zusammenspiel kommt es zu einer Verstaerkung und erst wenn man dieses Zusammenspiel betrachtet (bspw. in Form besagter Verhaeltnisse), dann sieht man die „grøszeren Wellen“ die das Ganze „schlaegt“.

Deswegen habe ich mich entschlossen, diese Reproduktionsbetrachtungen in zwei Artikel zu packen. Hier die (hoffentlich) etwas leichter zu verstehende Sache, die Verhaeltnisse des Summensignals der totalen Links zum Summensignal der neuen Links, den Selbstreferenzen und der Linkfrequenz. Beim naechsten Mal dann die Verhaeltnisse mit den letztgenannten drei Grøszen von Interesse im Zaehler.

Ach so, gleich vorweg: was hier untersucht wird geht natuerlich nur mit zwei Datenquellen. Deswegen lass ich das unter „Reproduktion“ fallen, aber eigtl. ist das ein ein neues Phaenomen … im Zusammenspiel mit bereits bekannten („aelteren“) Phaenomenen.

Und nun geht’s direkt los mit den Diagrammen:

Zunaechst zum „Stein des Anstoszes“ und dem urspruenglichen „Aufhaenger“ dieses (und des naechsten) Artikels: die besagten Verhaeltniss der totalen Links zu den drei anderen Grøszen im linken, oberen Diagramm.

Die „schwachfarbigen“ Kurven zeigen die 2020 Daten und die „vollfarbigen“ Kurven die 2023 Daten. Wie damals gilt: wenn da ein „x 5“ (oder so) steht, dann muss der an der Ordinate abgelesen Wert mit dem entsprechenden Faktor multipliziert werden um zum eigentlichen Wert zu kommen (welche aber nicht weiter von Interesse sind).

Zunaechst das Einfache: das Verhaeltniss der totalen Links zu den Selbstreferenzen (blaue Kurven) ist im Wesentlichen unveraendert. Innerhalb der natuerlichen Schwankungen sind Kurvenform und absolute Werte gleich … also reproduziert.
Das scheint auch fuer das Verhaeltniss der totalen Links zur Linkfrequenz zu gelten (lila Kurven) … ab ca. LL₄₅ hebt sich die 2023 Kurve zwar etwas von der 2020 Kurve ab, aber im Allgemeinen wuerde ich die Abweichungen als zu gering einstufen und zunaechst auch von einer gelungenen Reproduktion sprechen … ABER … das hier ist der erste subtile Effekt und die Reproduktion ist nicht wirklich gelungen … genauere Betrachtungen dazu muessen bis zum naechsten Mal warten.

Und nun der „Elefant im Raum“: das Verhaeltniss der totalen Links zu den neuen Links (rote Kurven). Bis ungefaeher LL₂₅ scheint eine Reproduktion vorzuliegen … aber dann fangen die Kurven immer deutlicher an voneinander abzuweichen. Und zwar nicht nur im Rahmen der zu erwartenden Schwankungen wie bei den blauen Kurven, sondern systematisch wird das 2023 Verhaeltniss kleiner als das 2020 Verhaeltniss. Von den Schwankungen abgesehen wuerde ich abschaetzen, dass ein systematischer Unterschied um bis zu einen Faktor fuenf zu erklaeren ist … sagen wir mal vier, das rechnet sich einfacher. Und da mach ich mich jetzt ran.

Zur Erklaerung verweise ich erstmal auf das rechte obere und und linke untere Diagramm, in welchen die erwaehnten Summensignale der totalen und neuen Links zu sehen sind. Damals sagte ich dazu, dass das reproduziert und das stimmt auch so. Es gibt kleinere Abweichungen bei mittleren bzw. høheren Linkleveln, aber nur um ca. einen Faktor zwei und das ist zu erwarten zwischen verschiedenen Datensaetzen.
Was man aber auch sieht ist, dass dies (wieder) systematische Abweichungen sind — die 2023 Daten liegen bei den totalen Links immer unter den 2020 und umgekehrt bei den neuen Links.

Damit nicht nur immer alles abgeschaetzt bleibt, habe ich die linklevelabhaengigen Verhaeltnisse der jeweiligen 2023 Summenkurve zur jeweiligen 2020 Summenkurve im rechten unteren Diagramm dargestellt. Man sieht, dass meine Abschaetzung (ein Faktor zwei bei høheren Linkleveln) gar nicht mal so schlecht war.

Einzeln fuer sich genommen behaupte ich noch immer, dass die Summenkurven reproduziert werden. Aber wenn die Summenkurven der totalen Links ab mittleren Linkleveln sytematisch um ca. einen Faktor zwei nach UNTEN abweichen und die entsprechenden Kurven der neuen Links systematisch um einen Faktor zwei nach OBEN … dann muss man das multiplizieren fuer das Verhaeltniss der beiden unterschiedlichen Summenkurven zueinander; das ergibt in dem Fall ungefaehr einen Faktor vier zwischen den 2023 und den 2020 Daten … wie aus dem linken, oberen Diagramm abgeschaetzt.

Was fuer’n Mechanismus steckt nun dahinter, der die Anzahl der totalen Links halbiert, aber die Anzahl der neuen Links verdoppelt? Im Allgemeinen ist das sicherlich sehr kompliziert mit vielen „Wechselwirkungen“. Aber der Effekt tritt erst im Bereich der langen Ketten auf und wir wissen, dass zum Ende jeder Kurve alle Wikipediaseiten sich nur entlang einer Kette bewegen — in den 2020 Daten die São-Paulo-Kette, in den 2023 Daten in der Meshir-Kette. Damit kann ich einen einfachen Mechanismus diskutieren, der das Verhalten erklaeren wuerde.

Zunaechst dachte ich, dass ich am Ende ZWEI, parallel „laufende“ Ketten habe. Da kam ich vor einer ganzen Weile zum ersten Mal drauf, als das „Wert am Ausgang“-Diagramm der 2023 Daten ZWEI hohe Balken aufwies. Ich hatte in dem zugehørigen Beitrag geschrieben, dass ich mich da nochmal drum kuemmern werde … hatte das aber vergessen … bis eben gerade.
Der klare Gegenbeweis gegen die zwei-Ketten-These zeigt sich ganz eindeutig in den Resultaten der Reproduktionsuntersuchungen zu den Ketten von neulich … kein einziges Zeichen einer zweiten, parallel laufenden Kette. Also gruebelte ich ’ne Weile drueber nach … und muss dafuer erstmal etwas ausholen und zunaechst nochmal die bekannte Situation der São-Paulo-Kette schildern.

Vereinfacht sieht man das in dieser Skizze:

Aus dem groszen Wikipedialinknetzwerk kommend, steigen (so ziemlich) alle Seiten in die Kette bei A ein. Hierbei lassen wir auszer acht, dass das eigtl. ’ne Verteilung ist. Zum Einen weil wir hier nur den einfachsten, prinzipiellen Mechanismus betrachten um die Beobachtungen zu erklaeren. Zum Anderen weil die allermeisten (Start)seiten (der jeweiligen Linknetzwerkanalyse) ohnehin auf dem selben (!) Linklevel an den Anfang der Kette gelangen.

Wenn wir mitten in … oder eher auf? … der Kette sind (B oder C) gibt’s immer zwei Links total — einen zur naechsten und einen zur vorherigen Seite in der Kette. Davon ist natuerlich nur Ersterer ein neuer Link, denn die vorherige Seite wurde ja zwangslaeufig schon besucht. Bei Kettenseite D geht’s dann nicht weiter (sondern nur zurueck, was verboten ist).

Wie die rote Kurve im Diagramm rechts unten zeigt, muss die Anzahl der _neuen_ Links verdoppelt werden. Das entspricht einer Verdopplung der durchgehenden, „vollfarbigen“ Pfeile. Wenn aber keine zweite Kette zugelassen ist geht das nur, wenn der Einstieg von BEIDEN Seiten der Kette geschieht und man sich in der Mitte trifft. Das wuerde dann so aussehen:

Das muss ich jetzt nicht weiter erklaeren, denn mit der Skizze muss die obige Erklaerung nur gleichzeitig ein zweites Mal angewendet werden. Auf einem gegebenen Linklevel befindet sich „das System“ also bspw. gleichzeitig in B und in B-Strich.
Man beachte, dass die Anzahl der Schritte bis zum Ende (D bzw. D-Strich) gleich bleibt, obwohl die Kette doppelt so viele Seiten enthaelt. Ungefaehr doppelt so viele Seiten sieht man uebrigens tatsaechlich in der Meshir-Kette (im Vergleich zur São-Paulo-Kette).

Super, damit ist der Faktor zwei bei den neuen Links erklaert … das obige Modell ist aber zu einfach, denn es gibt ein Problem: wenn ich die Kette gleichzeitig von beiden Enden kommend entlangscrhreite, dann verdoppelt sich in dem obigen Modell auch die Anzahl der totalen Links. Zunaechst wollte ich das dadurch løsen, dass ich keine „Rueckwaertspfeile“ zulasse … das geht zwar „mathematisch“ … widerspricht aber der Realitaet. Die Seiten der Meshir-Kette zitieren sich immer fein vor- und rueckwaerts.
Die selbe Realitaet hilft aber aus der Misere heraus, denn alle Seiten verlinken ja auch zurueck ins grosze Wikipedialinknetzwerk … (das sind halt alles nur keine neuen Links). Die Situation bei den 2020 Daten sieht also so aus:

Der Einfachheit halber habe ich jeder Kettenseite acht totale Links gegeben … denn das laeszt sich leicht halbieren und nochmal halbieren fuer die Situation bei den 2023 Daten:

Zweimal halbieren muss man das deswegen, weil ich ja die Kette von beiden Ende „ablaufe“. Auf einem gegebenen Linklevel in 2023 hat man also die Summe der Links bspw. von C und C-Strich … diese SUMME muss die Haelfte der Anzahl der totalen Links fuer 2020-C sein. Also kønnen 2023-C und 2023-C-Strich jeweils nur ein viertel der totalen Links von 2020-C haben.
Und das sieht man auch — die Seiten der São-Paulo-Kette haben im Durchschnitt ca. 30 Links pro Seite, waehrend die Seiten der Meshir-Kette im Durchschnitt nur ca. 9 haben. Ist jetzt nicht ganz ein Faktor von vier, aber in dem einfachen Modell haut das schon hin.

Letzteres sieht man uebrigens in dem oben erwaehnten „Wert am Ausgang“-Diagramm. In den den 2020-Daten steigen alle (Start)Seiten bei einer Kettenseite mit 27 Links aus. Hingegen steigt ca. 1/3 der (Start)Seiten in den 2023 Daten bei einer Kettenseite mit 14 Links aus und der Rest bei einer Kettenseite mit 7 Links. Und 1/3 x 14 plus 2/3 x 7 ergibt ungefaehr 9 und das ist naeher an 1/4 von 27 dran als an 1/2 von 27.
Dass das nicht genau hinhaut liegt natuerlich daran, dass die Endseiten nicht genau dem Durchschnitt entsprechen (aber ziemlich nah dran liegen) … und das ist auch ueberhaupt nicht schlimm, denn wenn man nochmal auf das rechte untere Diagramm schaut, dann betraegt das Verhaeltniss der 2023 totalen Links zu den 2020 totalen Links zum Ende ohnehin eher 75 % als 1/2 … und das ist dann schon beinahe die obige 9.

Das soll reichen fuer heute. Es ist ’ne gute Grundlage um die restlichen Verhaeltnisse der Grøszen von Interesse beim naechsten Mal zu besrpechen.

Nur eine Sache noch zum „Wert am Ausgang“-Diagramm. Wie gesagt, damals vermutete ich, dass das durch zwei Ketten zustande kommt, wobei 1/3 der Seiten ein bisschen eher in der einen Kette ist, als in der anderen. Nun gibt es keine zwei Ketten, aber den Einstieg in die Meshir-Kette von beiden Seiten ist analog. Hier ist’s dann so, dass ein Drittel der (Start)Seiten ein Linklevel eher von (ich sag jetzt mal) links als von rechts in die Kette einsteigt. Die kommen dann auch ein Linklevel weiter bevor sie auf die von „rechts kommenden“ (Start)Seiten stoszen. Damit ist fuer 1/3 der (Start)Seiten (der Linknetzwerkanalyse) das Wikipedialinknetzwerk auf C-Strich Schluss (also ueber D = D-Strich hinaus gehend), waehrend alle anderen (Start)Seiten immer noch bei D = D-Strich zum Ende kommen. Zwei verschiedene Seiten mit unterschiedlicher Anzahl an Links gibt zwei Peaks in dem besagten Diagramm.

Fetzt wa! Wie sich das alles aufklaert wenn man mal genauer hinschaut. Und die „Erweiterung“ des Modells aendert (zum Glueck) auch nichts an der (verdoppelten) Anzahl der neuen Links.

Ach ja … ich bin voll froh, dass in den 2020 Daten die São-Paulo-Kette nur von einer Seite durchlaufen wird. Das machte es damals deutlich einfacher alles zu analysieren und zu modellieren. So viel schwerer ist das „beidseitige Abschreiten“ der Meshir-Kette nun auch nicht … aber nur unter der Bedingung, dass man schon von den Ketten weisz … die fallen aber nicht sofort aus den Daten raus. Vielmehr musste ich mir das damals in vielen, zeitlich oft lange auseinanderliegenden, Schritten zusammenreimen. Und die Schritte um zu den Ketten zu kommen tat ich oft genug nur, weil es „Komischkeiten“ in verschiedenen anderen, nur mittelbar mit den Ketten zusammenhaengenden Resultaten gab. Und besagtes Zusammreimen war (vermutlich deutlich) einfacher, weil die São-Paulo-Kettensituation einfacher ist.

Im Zuge der Erforschung langer Ketten ging ich ging ich damals nochmal der Idee eines Phasenuebergangs in der Wikipedia nach. Ich denke weiterhin, dass der Ansatz sich mglw. durchaus als Fruchtbar erweisen kønnte, auch wenn ich dann doch nicht viel mehr draus gemacht habe.
Damals beschaeftigte ich mich dann mit der Existenz eines Ordnungsparameters welcher den Phasenuebergangs charakterisieren kønnte. Ich probierte die Anzahl der zitierten Seiten und den „Volumenanteil“ der Kettenseiten an alle Zitaten aus (natuerlich jeweils pro Linklevel). Beides funktioniert qualitativ, und ich meine auch vom Prinzip her, ganz gut. Letztlich kam ich aber zu dem Schluss, dass die Anzahl der NICHT zitierten Seiten pro Linklevel sich am besten als Ordungsparameter eignet.

Wieauchimmer, auf das Thema an sich gehe ich nicht nochmal ein, aber die Anzahl der zitierten Seiten pro Linklevel ist durchaus auch unabhaengig von den Betrachtungen eines Phasenuebergangs und der Diskussion um einen Ordnungsparameter von Interesse. Deswegen hab ich das nochmal fix programmiert und hier ist das Ergebniss:

Da kann ich doch sofort verkuenden: Reproduktion gelungen. Und das obwohl die Kettenseiten sich in den 2023 Daten doch recht anders verhalten. Aber wenn man sich die Resultate diesbezueglich nochmal anschaut und insb. auf die Skala der Ordinate achtet … dann sieht man, dass das „recht anders“ durchaus auch hier zu sehen ist. Denn da wo die Unterschiede in den Kettenseiten bsonders grosz sind, „duempelt“  besagte Skala bei absoluten Weren um ca. 100 rum (ich bin groszzuegig und ueberabaschaetze das jetzt mal massiv), waehrend die Skala der Ordinate im obigen Diagramm ca. ’ne Grøszeordnung grøszer ist. Deswegen haut das mit den Unterschieden hier und da schon hin.

Ein kleiner aber durchaus interessanter Unterschied ist, dass die 2023 Daten im Uebergangsbereich etwas fixer „absteigen“. Da ist die Dynamik also schneller … deswegen ist das interessant … aber das muss sich wer anders mal genauer anschauen.

Die Anzahl der NICHT zitierten Seiten folgt direkt aus den obigen Daten. Mehr oder weniger direkt auch der erwaehnte Volumenanteil der Kettenseiten, aber bei der Quantifizierung dieser Idee konnte man mit gutem Willen in den 2020 Daten zwar einen Trend erkennen, aber das zappelte alles ganz schøn rum. Dewegen wuerde selbst bei sehr aehnlicher Kurve mit den 2023 Daten die Aussagekraft dieser Idee nicht gesteigert werden. Und umgekehrt gilt etwas sehr aehnliches: wenn das alles mit den 2023 Daten anders aussieht, dann ist das nur noch mehr rumzappeln und aus entgegengesetztem Rumzappeln von Daten durch „Rauschen“ kann man nicht notwendigerweise das Gegenteil schlieszen.

Wieauchimmer, das soll’s gewesen sein fuer heute, denn mehr habe ich dazu nicht zu sagen.

Ist ja fein wenn’s auch mal schnell geht. Das war die urpsruengliche Idee die ich fuer die Reproduktion angedacht hatte. Ich konnte ja nicht ahnen, dass ich bei so vielen Sachen nochmal ganze Faesser aufmachen konnte und dass sich das jetzt (schon wieder) viel laenger hinzieht als anfangs geplant … andererseits … so ging das ja die ganze Zeit und immer zu in dieser Maxiserie … vllt. haette ich das doch ahnen kønnen … aaaaaaaaber … ein Ende ist jetzt dann doch endlich mal in tatsaechlich greifbare Naehe gerueckt … das fuehlt sich nicht mehr wie ’ne Fata Morgana an … so wie in den vorhergehenden (fast) sechs Jahren seitdem ich das erste Mal die Idee hatte mir mal das Wikipedialinknetzwerk genauer anzuschauen.

Beim letzten Mal habe ich aufgrund der Laenge den Artikel zu einem Ende gebracht. Es fehlt aber noch das hier:

Im linken Diagramm sieht man die Anzahl der Seiten in Ketten mit zwei Seiten. Man erinnere sich, dass diese eine wichtige Rolle spielten, um beim letzten Mal Unterschiede zwischen dem alten und dem neuen Algorithmus zu erklaeren.
Nun sieht man hier, dass die mittels des neuen Algorithmus gefundenen Resultate fuer die 2020 Daten (rote Punkte) reproduziert werden von den Resultaten der 2023 Daten (blaue Punkte).
Man baechte, dass ich das nicht mit dem alten Algorithmus vergleichen kann. Denn der hat das nicht gesondert betrachtet und solche Seiten direkt in die Familien mit reingepackt (wo ich die in den aggregierten Daten nicht mehr identifizieren kann).

„Ketten“ mit einer Seite wurden vom alten Algorithmus auch nicht gesondert betrachtet. Aber die kann ich einfach ausrechnen, wenn man von der Gesamtzahl der potentiellen Kettenseitenkandidaten alles abzieht das betrachtet wurde (denn was uebrig bleibt konnten weder Familienseiten noch Anhaenger sein). Und wie man im rechten Diagramm sieht, stimmt das alles im Wesentlichen mit dem was der neue Algorithmus produziert ueberein und auch die neueren Daten reproduzieren das Ganze. Warum das am Anfang unterschiedlich ist wurde ausfuehrlich beim letzten Mal diskutiert.

Mehr gibt’s dazu nicht zu erzaehlen. Zusammenfassend bzgl. der Ketten sei das Folgende gesagt: Waehrend „laufender Untersuchungen“ (auch wenn es nur die Reproduktion war) wurde der Algorithmus geaendert. Das sollte man nicht machen, selbst wenn man die selben Ergebnisse bekommt. aber wenn man’s macht, dann ist es wichtig die Unterschiede zu diskutieren. Deswegen wurde der letzte Artikel so lang.
In diesem Fall kann ich sagen: Reproduktion geglueckt, sowohl zwischen alten und neuen Daten, als auch zwischen altem und neuem Algorithmus. Alle Unterschiede finden eine Erklaerung entweder im geaenderten Algorithmus und dessen geaenderten Parametern, oder in einer (zum Teil extrem) geaenderten Datenlage.

Mit letzterem meine ich natuerlich die „Meshir-Kette“ die ein weiteres Kommentar verdient. Was ich gestern diesbezueglich sagte kønnte ich prinzipiell im Code anpassen. Das waeren aber spezielle Faelle und die machen mich immer etwas unruhig. Lieber habe ich es, dass man „Fehler“ in den Daten sieht und dann versteht wo die herkommen. Denn so bekommt man die eingeordnet um dann (hoffentlich) zu sehen, dass die eigtl. nix Besonderes sind. Und wenn doch, dass man dann neues cooles Zeuch entdeckt. Diese Herangehensweise ist besser, als das vor den Nutzern im Code zu verstecken … erwartet von besagten Nutzern dann aber auch, dass sie mitdenken und neugierig sind.

Nach den theoretischen Vorbetrachtungen zu den Aenderungen bzgl. der Reproduktion der thematisch zusammenhaengenden Ketten vom letzten Mal, kann ich heute ohne Umschweife sofort mit den Resultaten loslegen.

Im linken Diagramm …

… sieht man die Anzahl der „regulaeren Familien“, also solche Ketten von Wikipediaseiten die alle (fast) den gleichen Titel haben (welcher im Wesentlichen dem Thema der Kette entspricht).

Die grauen Punkte sind die alten Resultate und von (sehr) kleinen Linkleveln abgesehen, reproduziert der neue Algorithmus bei selber Datenlage (rote Punkte, Ende 2020 Daten) die alten Resultate (mit geringsten Unterschieden ueber den Rest der Kurve … ich komme darauf zurueck). Und die neueren Daten (blaue Punkte, Ende 2023 Daten) wiederum reproduzieren im Wesentlichen die alten Daten.
Im Diagramm deutlich sichtbar  ist, dass der alte Algorithmus ’ne Grøszenordnung mehr regulaere Familien um LL₅ aufsammelt. Ich komme auch darauf zurueck.

Die „Patchworkfamilien“ nun werden bei selbem (neuen) Algorithmus reproduziert; das rote Signal hat im Wesentlichen die gleiche Staerke und den gleichen Verlauf wie das blaue Signal.
Aber man sieht einen sichtbaren Unterschied zu den mittels des alten Algorithmus produzierten Resultats. Auch darauf komme ich zurueck.

Die Grundlage einer Familie sind die Kettenseiten an sich und deren Entwicklung per Linklevel fuer die Daten aus verschiedenen Jahren und verschiene Algorithmen sieht man hier:

Ich beginne mit der Diskussion des linken, oberen Diagramms; der totalen Anzahl an potentiellen Kettenseitenkandidaten. Der gewaltige Unterschied zwischen der roten und blauen Kurve kommt durch die (deutlich) gaenderte Datenlage zustande. Ich hatte das bereits kurz beim letzten Mal anklingen lassen (siehe der Kettenkønig … die Tage des Meshir, Tobi, Koiak und Paremhat, die es in den 2020 Daten noch nicht gab) und werde das im Zuge zweier andere Diagramme genauer beleuchten.

Der neue Algorithmus reproduziert mit den 2020-Daten im Wesentlichen die Resultate des alten Algorithmus es gibt aber wieder eine signifikanten Abweichung bei (sehr) kleinen Linkleveln. Das ist einfach zu erklaeren: die Suchparameter wurden leicht veraendert. Wenn ich mit dem neuen Algorithmus die alten Suchparameter benutze, komme ich auf die selbe Anzahl an potentiellen Kettenseitenkandidaten fuer alle Linklevel. Das war zu erwarten (aber es ist wichtig, dass ich das geprueft habe). Ab LL₁₉ waren die Ergebnisse ohnehin die selben, auch bei geaenderten Parametern.
Oder anders: mit den urspruenglichen Parametern hab ich fuer (sehr) kleine Linklevel viele falsche positive Ergebnisse (vulgo: „Muell“) aufgesammelt. Was uebrigens der Grund war, warum ich die aenderte. Das heiszt natuerlich NICHT, dass der neue Algorithmus keinen „Muell“ mehr aufsammelt. Es ist nur deutlich weniger.

Damit ist das geklaert und das gilt in dem selben Linklevelbereich mal mehr („Patchworkfamilien“) mal weniger (bei den regularen Familien … aber nicht unbedingt null) fuer alle anderen Diagramme.

Damit geht es zu den regularen Familien und da kann ich die Resultate in „Kernfamilie“ (die mit dem gleichen „Familiennamen, also die eigentliche Kette; rechtes oberes Diagramm) und „Anhaenger“ zur Kette (also Seiten die einen anderen Titel haben, aber von den eigentlichen Kernkettenseiten zitiert werden; linkes unteres Diagramm) unterteilen.

Zunaechst die „Kernfamilien“. In den 2020 Daten ist der Grund fuer den Unterschied bei (sehr) kleinen Linkleveln zwischen den roten (neuer Algorithmus) und den grauen (alter Algorithmus) Punkten ein anderer als oben erklaert (wobei Obiges mglw. auch eine kleine Rolle spielt). Vielmehr kommt der Unterschied durch eine Aenderung im Algorithmus an sich zustande, denn Ketten mit zwei oder weniger Seite werden jetzt „rausgeschmissen“. Und tatsaechlich, wenn ich eine Stichprobe bei LL₅ mache (das Maximum in der Linkfrequenz ist also NACH LL₅), dann finde ich urst viele aussortierte Zwei-Seiten-Ketten mit dem gleichen „Familiennamen“. Ich hab das jetzt nicht nachgezaehlt, aber mein Bauchgefuehl sagt mir, dass das schon hinhaut.
Der selbe Prozess stoppt aber nicht bei høheren Linkleveln sondern passiert immer und immer wieder genau dann, wenn die Anzahl der „Mitglieder“ einer regulaeren Familie auf zwei zusammenschrumpft. Das sieht man aber natuerlich nicht im Diagramm, weil ein Unterschied von zwei Seiten von den dicken roten Quadraten ueberdeckt wird.

Jetzt erstmal schnell zu den „Anhaengern“ in den 2020 Daten: alter und neuer Algorithmus liefern die gleichen Resultate. Unterschiede ergeben sich aus dem eben Beschriebenen: wenn eine Familie zu klein wird, wird diese nicht mehr als Familie angesehen und ihr werden damit auch keine „Anhaenger“ zugeteilt.

Jetzt die 2023 Daten (blaue Punkte). Ich erwaehnte bereits, dass dies durch eine deutliche geaenderte Datengrundlage zustande kommt. Und ich muss eigentlich auch nur die Besonderheiten der „Meshir-Kette“ betrachten, um die Form der blauen Kurve im rechten oberen und linken unteren Diagramm zu erklaeren.
Der neue Algorithmus findet zunaechst alle Seiten einer Kette. Danach werden regulaere Familien daran erkannt, dass die den gleichen Titel haben. Der gleiche Titel wird via eines Histogramms der Wørter in ALLEN Titeln der Seiten der Kette bestimmt. Die Wørter mit den meisten „Treffern“ in besagtem Histogramm werden als der „Familienname“ angesehen. Danach werden die Seiten welche ALLE Wørter des Familiennamens im Titel haben der „Kernfamilie“ zugeordnet. Alle Seiten wo das nicht der Fall ist werden als Anhaenger angesehen. Das funktioniert sehr gut bei Familien die solch eine Namensstruktur haben wie unser guter alter Bekannter, das „São-Paulo-FC-Artefakt“ (alle Titel gleich, bis auf eine Jahreszahl). Die allermeisten regularen Familien verhalten sich auch tatsaechlich so.

Bei der Meshir-Kette ist das jetzt anders. Alle Monate haben gleich viele Tage und damit (zunaechst) gleich viele Seiten in der Kette. Das heiszt, der Algorithmus erkennt, dass der Familienname (zu Recht), „Meshir“, „Tobi“, „Koiak“ und „Paremhat“ zur gleichen Zeit enthalten muss (weil diese Wørter alle gleichhaeufig vorkommen) … was natuerlich nicht geht, weswegen hier (zu Recht) eine regulaere Familie erkannt wird, aber ohne Kernfamilie sondern nur mit Anhaengern. Die Seiten der Meshir-Kette werden im obigen rechten Diagramm also zunaechst gar nicht mitgezaehlt und deswegen geht die blaue Kurve runter, weil immer mehr Kernkettenseiten „rausfallen“.
Je høher das Linklevel umso mehr Seiten fallen auch aus der Meshir-Kette raus. Wenn dann bspw. „Paremhat“ ein Mal seltener im Histogramm auftritt als „Meshir“, „Tobi“ und „Koiak“, wird „Paremhat“ als Teil des Familiennames gestrichen. Das geht immr so weiter, bis tatsaechlich NUR noch „Meshir“ den Spitzenplatz im Histogramm einnimmt und der Familienname dann NUR noch aus „Meshir“ besteht.

Wenn das von LL₃₆ zu LL₃₇ passiert, kann der Algorithmus pløtzlich Seiten einer Kernkette zuordnen (eben alle eigentlichen Meshir-Seiten) und es kommt zu einem Sprung in den beiden blauen Kurven. Nach oben bei der Anzahl der Kernfamilienseiten (dahin werden die Meshir-Seiten pløtzlich einsortiert) und nach unten bei den Anhaengern (denn da zaehlen die Meshir-Seiten pløtzlich nicht mehr mit dazu). Der Sprung betraegt nicht genau 30, weil die Dynamik der Kurve ja auch von anderen Seiten abhaengig ist.

Pøøøøh … was fuer ein Ritt … an der Stelle hab ich mich entschieden diesbezueglich doch noch einen dritten Artikel folgen zu lassen.

Aber das rechte untere Diagramm, die Seiten in Patchworkfamilien, muss noch kurz besprochen werden. Hier sind die roten und blauen Punkte beinahe deckungslgleich … es gibt naemlich keinen „Mesir-Fall“, die Datengrundlage ist also sehr aehnlich.

Man sieht aber einen systematischen Unterschied von einem Faktor ca. zwei bis ca. vier zum alten Algorithmus. Fuer (sehr) kleine Linklevel ist der obige Grund sicherlich wieder, dass durch die Suchparameteraenderung weniger „Muell“ eingesammelt wird.
Zunaechst wuerde ich vermuten, dass das aber nicht die Erklaerung fuer die spaetere Diskrepanz sein (denn wie gesagt, irgendwann erkennen alter und neuer Algorithmus die selbe Anzahl an Kettenseitenkandidaten). Dann sehe ich aber, dass die rote Kurve sowieso nur bis ungefaehr in den Bereich geht wo alter und neuer Algorithmus unterschiedlich viele Seiten erkennen. Mglw. ist das also doch ein Teil der Erklaerung fuer den Unterschied, zusammen mit der Tatsache, dass Zwei-Seiten-Ketten rausfliegen. Ich wuerde das als des Raetsels Løsung anerkennen  … das muesste aber wer anderes genauer untersuchen.

Kurios sind in den alten Daten die (grauen) Punkte um LL₄₂. Denn die haben einen Wert von eins … høh? „Ketten“ mit einer Seite? das geht doch gar nicht … doch doch, das geht im alten Algorithmus, denn es gibt Seiten die sich selbst zitieren und damit als „Patchworkfamilien“ (falsch) „erkannt“ werden, weil sie ja von einer potentiellen Kettenseite (eben sich selber) zitiert werden. Und das zieht sich nicht durch von kleineren Linkleveln, weil das mglw. urpsruenglich zu regulaeren Familien gehørende Seiten waren … oder sowas.

Aber das ist nun wirklich genug fuer heute.