bundestag / conferenceweekdetails Goto Github PK
View Code? Open in Web Editor NEWConference Week Details scraped from the German Parliament (Bundestag)
License: The Unlicense
Conference Week Details scraped from the German Parliament (Bundestag)
License: The Unlicense
Der Status-Text der Tagesordnungen variiert.
So wird z.B. auf der URL der conferenceWeekDetails von KW 8/2018 für die Sitzung 14 Tagesordnungspunkt 3 einmal beendet
und einmal Entschließungsantrag 19/854 abgelehnt
zurückgegeben.
Dieses Verhalten ist nicht vorhersehbar.
Es ist zu vermuten das hier ein Fehler Seitens des Bundestages vorliegt und sich nicht ausschließlich auf den Status beschränkt.
Die Rückgabe der Inhalte auf den URLs des Bundestages unter https://www.bundestag.de/apps/plenar/plenar/conferenceweekDetail.form?year=${year}&week=${week}
variiert.
So wird in diesem Beispiel unter der URL von KW 5/201 die Tagesordnung von KW 36/2014 zurückgegeben.
Da die Datensätze immer den nächsten referenzieren und es keine Übersicht über alle Kalenderwochen mit Bundestag-Sitzungen gibt, führt das zu einer unabschätzbaren Laufzeit, da es zu Schleifen im Abrufen der Daten kommt.
Zur Zeit liegt die durchschnittliche Laufzeit des Scrape-Prozesses bei ~5min, kann aber mindestens auf ~2min verkürzt werden, wenn dieses Problem behoben werden sollte. Auch die Anzahl der Abfragen kann dadurch deutlich reduziert werden.
Travis mit Loops: https://travis-ci.org/demokratie-live/scapacra-bt/jobs/595035531
Min. benötigte Abfragen: 118 (100%) ~85s
Getätigte Abfragen in diesem Scrape: 743 (630%) 532.54s
Eine Auffälligkeit in diesem Verhalten ist, dass die Loops in der Regel zwischen KW1 und 16 auftreten und auf die letzen Kalenderwochen des vorherigen Jahren verlinken (KW37 bis KW50).
Ein Loop hat dabei eine Länge zwischen 8 und 15 Abfragen.
Es ist zu vermuten das hier ein Fehler Seitens des Bundestages vorliegt.
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.