bundestag/conferenceweekdetails

Conference Week Details scraped from the German Parliament (Bundestag)

conferenceweekdetails's Issues

Inkonsistenzen in der Rückgabe des Status

Der Status-Text der Tagesordnungen variiert.

So wird z.B. auf der URL der conferenceWeekDetails von KW 8/2018 für die Sitzung 14 Tagesordnungspunkt 3 einmal beendet und einmal Entschließungsantrag 19/854 abgelehnt zurückgegeben.

Dieses Verhalten ist nicht vorhersehbar.

Es ist zu vermuten das hier ein Fehler Seitens des Bundestages vorliegt und sich nicht ausschließlich auf den Status beschränkt.

Inkonsistenzen der Rückgabe bei gleicher URL

Die Rückgabe der Inhalte auf den URLs des Bundestages unter https://www.bundestag.de/apps/plenar/plenar/conferenceweekDetail.form?year=${year}&week=${week} variiert.

So wird in diesem Beispiel unter der URL von KW 5/201 die Tagesordnung von KW 36/2014 zurückgegeben.

Da die Datensätze immer den nächsten referenzieren und es keine Übersicht über alle Kalenderwochen mit Bundestag-Sitzungen gibt, führt das zu einer unabschätzbaren Laufzeit, da es zu Schleifen im Abrufen der Daten kommt.
Zur Zeit liegt die durchschnittliche Laufzeit des Scrape-Prozesses bei ~5min, kann aber mindestens auf ~2min verkürzt werden, wenn dieses Problem behoben werden sollte. Auch die Anzahl der Abfragen kann dadurch deutlich reduziert werden.

Travis mit Loops: https://travis-ci.org/demokratie-live/scapacra-bt/jobs/595035531

Min. benötigte Abfragen: 118 (100%) ~85s
Getätigte Abfragen in diesem Scrape: 743 (630%) 532.54s

Eine Auffälligkeit in diesem Verhalten ist, dass die Loops in der Regel zwischen KW1 und 16 auftreten und auf die letzen Kalenderwochen des vorherigen Jahren verlinken (KW37 bis KW50).
Ein Loop hat dabei eine Länge zwischen 8 und 15 Abfragen.

Es ist zu vermuten das hier ein Fehler Seitens des Bundestages vorliegt.