meine-stadt-transparent/meine-stadt-transparent

A website to bring municipal politics to citizens

meine-stadt-transparent's Issues

Suchfacetten durch elastic search aggregates einschränken

z.B. wie in https://blog.madewithlove.be/post/faceted-search-using-elasticsearch/

Optional logging to a file

Logfiles are often prefered to logging to stdout. It should be possible to log to a file.

Marker Clustern

Leaflet has missing images

Linkchecker found there were missing files:

• /static/bundles/_/node_modules/leaflet/dist/images/layers.png
• /static/bundles/_/node_modules/leaflet/dist/images/layers-2x.png
• /static/bundles/_/node_modules/leaflet/dist/images/marker-icon.png

$ linkchecker http://127.0.0.1:8000
INFO 2017-10-24 19:56:33,626 MainThread Checking intern URLs only; use --check-extern to check extern URLs.
LinkChecker 9.3              Copyright (C) 2000-2014 Bastian Kleineidam
LinkChecker comes with ABSOLUTELY NO WARRANTY!
This is free software, and you are welcome to redistribute it
under certain conditions. Look at the file `LICENSE' within this
distribution.
Die neueste Version gibt es unter http://wummel.github.io/linkchecker/
Schreiben Sie Kommentare und Fehler an https://github.com/wummel/linkchecker/issues
Unterstütze dieses Projekt unter http://wummel.github.io/linkchecker/donations.html

Beginne Prüfen am 2017-10-24 19:56:33+002
 1 thread active,     0 links queued,    0 links in   0 URLs checked, Laufzeit 1 Sekunden
 1 thread active,     0 links queued,    0 links in   0 URLs checked, Laufzeit 6 Sekunden
10 threads active,    44 links queued,   25 links in   4 URLs checked, Laufzeit 11 Sekunden
10 threads active,   153 links queued,  114 links in  18 URLs checked, Laufzeit 16 Sekunden

URL             `_/node_modules/leaflet/dist/images/layers.png'
Vater URL       http://127.0.0.1:8000/static/bundles/mainapp.css, Zeile 1, Spalte 5631
Tats. URL       http://127.0.0.1:8000/static/bundles/_/node_modules/leaflet/dist/images/layers.png
Prüfzeit        2.621 Sekunden
Ergebnis        Fehler: 404 Not Found

URL             `_/node_modules/leaflet/dist/images/layers-2x.png'
Vater URL       http://127.0.0.1:8000/static/bundles/mainapp.css, Zeile 1, Spalte 5769
Tats. URL       http://127.0.0.1:8000/static/bundles/_/node_modules/leaflet/dist/images/layers-2x.png
Prüfzeit        2.622 Sekunden
Ergebnis        Fehler: 404 Not Found

URL             `_/node_modules/leaflet/dist/images/marker-icon.png'
Vater URL       http://127.0.0.1:8000/static/bundles/mainapp.css, Zeile 1, Spalte 6572
Tats. URL       http://127.0.0.1:8000/static/bundles/_/node_modules/leaflet/dist/images/marker-icon.png
Prüfzeit        2.483 Sekunden
Ergebnis        Fehler: 404 Not Found
10 threads active,   191 links queued,  226 links in  35 URLs checked, Laufzeit 21 Sekunden
/usr/lib/python2.7/dist-packages/urllib3/connectionpool.py:823: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.org/en/latest/security.html
  InsecureRequestWarning)
10 threads active,   171 links queued,  328 links in  50 URLs checked, Laufzeit 26 Sekunden
10 threads active,   181 links queued,  449 links in  61 URLs checked, Laufzeit 31 Sekunden
10 threads active,   192 links queued,  618 links in  76 URLs checked, Laufzeit 36 Sekunden
10 threads active,    78 links queued,  860 links in  90 URLs checked, Laufzeit 41 Sekunden
10 threads active,    71 links queued, 1023 links in 101 URLs checked, Laufzeit 46 Sekunden
10 threads active,    55 links queued, 1274 links in 104 URLs checked, Laufzeit 51 Sekunden
10 threads active,    26 links queued, 1433 links in 111 URLs checked, Laufzeit 56 Sekunden
10 threads active,    14 links queued, 1581 links in 114 URLs checked, Laufzeit 1 Minute, 1 Sekunden
10 threads active,     1 link queued, 1737 links in 116 URLs checked, Laufzeit 1 Minute, 6 Sekunden

Statistik:
Downloaded: 652.03KB.
Inhalte: 1 Bild, 1224 Text, 0 Video, 0 Audio, 316 Anwendung, 0 E-Mail und 317 andere Inhalte.
URL Längen: min=21, max=303, mittel=41

Das war's. 1858 links in 117 URLs checked. 0 Warnungen gefunden. 3 Fehler gefunden.
Beende Prüfen am 2017-10-24 19:57:43+002 (1 Minute, 9 Sekunden)

Django complains about readded timezones

RuntimeWarning: DateTimeField Paper.modified received a naive datetime (2017-10-10 00:00:00) while time zone support is active.

Something must be wrong with the timestamp conversion and/or storing which should be investigated.

Titel im Importer verbessern

Z.B. indem bei Dateinamen Sitzungsvorlage \((.*)\) nach $1 umgeschrieben wird, wenn die Vorlage schon passend heißt.

Dafür sollte eine recht allgemeine Lösung gebaut werden, die die Regeln aus einer Konfigurationsdatei liest. Das hat aber keine hohe Priorität, da die jetzigen Titel und Namen an sich korrekt sind, wenn auch nicht schön.

Kalender-Export / abonnieren

Es sollten nicht nur einzelne Termine per iCal abrufbar sein, sondern auch der komplette Kalender abonnierbar - damit man neue Termine automatisch im Kalender bekommt. Sollte dank der Vorarbeit beim Einzel-Termin-Export ziemlich simpel einzurichten sein.

Direktlinks zu Dateien in der Tagesordnung

Es sollte direkt in der Tagesordnung nicht nur Links zum Paper geben, sondern auch direkt zu den Dokumenten. Evtl. mit einer Mini-Drop-Down-Auswahl, wenn es mehrere gibt. Wichtig: wenn man von der Tagesordnung zu einer Datei geht, und dann mit der Datei-Auswahl-Sidebar alle Dateien durchliest, muss es wieder einen Weg zurück zur Tagesordnung geben.

Für elasticsearch den deutschen Analyzer auswählen

Herausfinden, wie https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html#german-analyzer mit elasticsearch-dsl umsetzbar ist-

Refactor `_extract_text`

_extract_text in document_parsing.py ist durch die Menge an Metaprogrammierung absolut unverständlich. Außerdem werden die Funktionsparameter nicht genutzt.

Highlighting der Suchergebnisse verbessern

• Anordnung der einzelnen Elemente verbessern (evtl. Typ / Datum rechtsbündig und die Fundstelle links davon?)
• Falls die Fundstelle im Titel ist, sollte direkt der Titel gehighlightet werden uns nicht nochmal wiederholt werden

Delete embedded objects

If an object has been set to deleted, the importer deletes the object and returns, so all the embedded objects stay. Fixing this will need some refactoring.

FIx organization import

Fix travis build

For some reason, chrome crashes on startup.

Use Minio as object storage

Instead of just dropping dynamic files (i.e. the pdfs from the oparl api) to a docker volume we should drop them into minio. Docker compose integration should be easy.

Übersetzungen

Alles auf Deutsch übersetzen

Warn on outdated brosers

In our sector it's unfortunately quite common that users have dangerously outdated browsers. We should warn about them about that with a big red sign.

Finish Dockerization

docker-compose up should start all the services. Also research how to start services from the docker compose config selectively. (Maybe it's as simple as using the override file)

django-admin makemessages fails

> django-admin makemessages -a
CommandError: Unable to find a locale path to store translations for file bedburg_transparent/templates/info/contact.html

Änderungshistorie

Alle wichtigen Tabellen brauchen eine Änderungshistorie und zumindest eine rudimentäre Oberfläche, um die Änderungen im zeitlichen Verlauf anzuzeigen.

Test the importer

Abuse the caching mechanism to create an oparl api which is actually just a bunch of predefined text files. The test should check for basic import as well as it should check the modified and deleted detection.

It should als check the organization type story.

Fix travis build

There is an apparently non-deterministic build failure in travis ci. This should be investigated.

Feld "Mit Tabelle"

Feedback von Hacks/Hackers, da das bei kleineanfragen sehr praktisch ist

Bug in endless scrolling

1. Go to https://meine-stadt-transparent.de/search/query/frei/
2. Remove frei, enter open source
3. Scroll down, click on "load more", Scroll down even further
4. See results for frei instead of open source

OParl Export

Ist zwar im momentanen Status nicht relevant, steht aber in der Featureliste drinnen.

RSS-Feeds

Fast 20 Jahre alt, aber nicht tot zu kriegen und erfüllt noch immer seinen Zweck.

• Neueste Dokumente
• Pauschal jede Suche (indem man /rss/ an die URL angängt)
• Alle abonnierten Benachrichtigungen auf einmal
• Tests
• Per Meta-link im HEAD abonnierbar
• In der UI verlinken
• Description for other types, especially files and meetings

Antragstitel und Gremiennamen in die Autovervollständigung

Die meisten werden eher nach Anträgen als nach Personen suchen. Die Gremien sollten aber in jedem Fall auch in der Autovervollständigung sein.

Make the search filter pretty

The search filters are working, yet they are much bigger and uglier than they'd need to be.

Kleinigkeiten

• Erklärtext auf der Registrierungsseite (Benachrichtigungen brauchen das technisch / Wir verkaufen keine Nutzerdaten / Ehrenamtlich)
• Benachrichtigungen statt einloggen auf der Startseite
• "Wie funktioniert Stadtpolitik" rauswerfen
• Das Personen-Modul für Gremium weiterverwerten
• Links zu leeren Gremien auf der Gremienseite deaktivieren
• "Zur Suche" in Person und in Gremium
• Seitenleiste in File mit den anderen Dateien der Drucksache
• Kalendar wackelt durch den Spinner
• Kalendar Tests von js-Injection auf URLs umstellen
• Neue Termine auf der Startseite
• Sitze pro Fraktion / Mitglieder pro Gremium
• Leerer Dropdown Header unter mein Zugang
• Get rid of simple_model_view
• Die Übersetzungen für das "Submitting" in der Historie sind noch etwas unstimmig
• https://meine-stadt-transparent.de/paper/60/
• Die Signup-Seite braucht auch die Social Login Buttons und passende CSP
• Bekannte Typen in der Organisationsübersicht übersetzen

Namenskürzung verschönern und testen

Das Namenskürzen funktioniert an sich, ist aber an einigen Stellen nicht schön und außerdem noch nicht getestet.

Test js of search

Seite, um einen Kartenbereich zu abonnieren

Der momentane Weg (Suche -> Punkt auf Karte auswählen -> Text löschen -> abonnieren drücken) ist zu versteckt. Das abonnieren von Kartenausschnitten sollte daher wie bei Politik bei Uns 2 auf einer Seite oder wie bei München Transparent auf der Nutzerseite möglich sein.

Social login should not weaken CSP on every page

SOCIALACCOUNT_USE_FACEBOOK currently sets 'unsafe-eval' and 'unsafe-inline' on every page which is bad.

EDIT: Test for reference: https://observatory.mozilla.org/analyze.html?host=meine-stadt-transparent.de

Neue UI Komponenten in pdfjs anschauen

pdfjs hat anscheinend neue UI Komponenten, für die man kein iframe mehr braucht. Wir sollten uns die bei Gelegenheit mal anschauen.

More search filter

• Person
• Any organization
• Sort by: Best Match | Newest first | Oldest first

Add a section on the social login on the privacy page

Alternative Dokumentenanzeige

Wir sollten zumindest die Möglichkeit einbauen, Bilder anzuzeigen, und einen guten Fallback für sonstige Dateitypen haben.

Body-Seiten

Bei einem Body sollte die Body versteckt werden, für die anderen Fälle sollte eine minimale Body-Seite angezeigt werden.

Fix twitter config

Wir brauchen die E-Mail-Adresse.

Datumssortierung verbessern

Problem bei der Datumssortierung:

• Im längerfristigen Betrieb dürfte wahrscheinlich das modified-Feld relevanter sein als das legal_date, u.a. da nicht alle Datenobjekte ein legal_date haben
• modified ist aber erst ab dem Zeitpunkt sinnvoll, wann die Erstindizierung abgeschlossen ist.

Vorschlag:
Es gibt eine setzbare Django-Setting "Erstindizierung" und in Elasticsearch ein zusätzliches Feld sort_date. Wenn das modified neuer ist als die Erstindizierung, zählt modified. Wenn älter, dann abhängig vom Datentyp: legal_date wenn vorhanden, ansonsten Zeitpunkt der Erstindizierung. (Ergebnis wäre: bei Sortierung nach Datum würden Personen, Gremien etc. zu dem Zeitpunkt der Erstindizierung einsortiert werden. Alternative wäre: sort_datum auf null setzen, sprich dass sie gar nicht / nur am Schluss auftauchen)

Bug im Query-String-Handling

Aus https://meine-stadt-transparent.de/search/query/after:2018-01-01%20before:2018-01-31%20after:2001-01-01%20open%20source/ sollte das doppelte after entfernt werden

Import automization

There should be a command where you only need to enter the name of a city and it imports the oparl data and sets the correct settings.

ARIA

Go through https://developer.mozilla.org/en-US/docs/Web/Accessibility/ARIA and see what we're missing.

Feedback vom 34c3 einarbeiten

• Dokumententyp -> Person ist verwirrend, wenn es noch Person als eigenes Dropdown gibt
• Leere Woche sollte nicht scrollbar sein
• Loading im Kalender anzeigen
• Beschreibung zur Uhr im Gremium
• Übergeordnetes Dokument über dem pdfjs als solches bezeichnen
• Animation ist schick
• Bei den Migliedschaften die Ausschussnamen ausschreiben, s. /person/82
• Marker auf der Karte erklären
• Nicht die Kontaktseite Impressum überschreiben
• Nicht direkt auf Prototype Fund und Github verlinken, sondern eine Seite (about) dazwischenschalten

Filter für die Organisationsübersicht

list.js einfügen und https://stackoverflow.com/questions/30150017/list-js-search-from-multiple-locations ausprobieren.

Importer: Beziehung Meeting <-> Organizaitons

Irgendwie hatte ich das vergessen

Namen besser kürzen

Momentan kürzt der Importer zu lange Namen recht krude zusammen. Stattdessen sollte er für alle Kurztitel sinnvoll kürzen, vermutlich am besten weiterhin mit der \u2026 (…). Die richtigen Namen sollten dafür auf keinen Fall gekürzt werden.

Die Oberfläche, insbesondere die Antrags-, die Gremien-, und die Dokumentenseiten sollten auch sehr lange Titel passend anzeigen, sowohl auf dem Desktop als auch mobil.

Versternifizierung der Suchanfragen

Wenn sonst keine Ergebnisse gefunden werden sollte die Suche automatisch auf *suchbegriff* erweitert werden.

Nicht geänderte Objekte nicht aktualisieren

Aktuell scheinen z.B. bei den Files bei jedem Import immer alle Dateien neu eingelesen zu werden. Im Code scheint mir zwar eine Variable do_update angelegt, aber nicht weiter berücksichtigt zu werden. Schaust du dir das mal an?

Stable links for the calendar

The calendar should provide stable urls to each view and each selected timeframe. If this isn't possible with the current library, we should consider alternative libraries as well as evaluate adding this to the library. If both isn't feasible this ticket should be closed as wontfix.