correlaid/compgen-ii-cgv

Historische Ortsnamen in Verlustlisten des 1. Weltkrieges vereinheitlichen

compgen-ii-cgv's Issues

gov_matching: Anzahl der möglichen finalen Matches reduzieren

Beispiel Aabel: Wenn man eine Gemeinde und ein Dorf findet und Dorf und Gemeinde in einer Beziehung stehen, dann sollte man das höhere Objekt nehmen (also die Gemeinde). Das hat aber Grenzen. Im Fall von Aachen und Kreis Aachen wäre es zu ungenau, den Kreis zu wählen.

Editierdistanz als Preprocessing?

Masterarbeit "Toponym Resolution on Historical Serial Sources" von Dennis Sen studieren

GOV erkunden (WebGUI)

Best practices im Github-Wiki festhalten

**Automation**

Automatically move your cards to the right place based on the status and activity of your issues and pull requests.

Abkürzungsliste in Pipeline implementieren

• für VL
• für GOV?
  @PatMaier92

Sonderzeichen implementieren

• Entferne Sonderzeichen
• Abkürzungen ausschreiben
• Einbauen in die pipeline.py

Logs für Bestandteile Pipeline

Übersicht, welche Konfiguration zu welcher Performance geführt hat

• bspw. mit MLFlow

Automatisch generierte Abkürzungsliste -> Levenshtein-Distanz?

Frie nach Jesper fragen

Kandidaten Entscheidung Logik (ein Bestandteil)

Implementiere die Logik der Kandidaten Entscheidung (siehe KAE im Mural, ein Bestandteil).

Get gov objects of specific hierarchy levels. "Kreis" or higher.

GOV Sonderzeichen Analyse

Analyse der Sonderzeichen im GOV

Bindestrich in die Matching-Logik mit einbeziehen

Levenshtein für Testdatensatz "vorberechnen"

• mit Preprocessing (siehe Notebook test_data.py)

Kölner Phonetik Klasse schreiben

• EInbauen in Matcher

Öster. Verlustliste testen -> Besonderheit: immer 3 Bestandteile

Notebooks löschen

Test Set bauen

Baue eine Test-Set auf Grundlage der Verlustliste-Korrekturliste
http://wiki-de.genealogy.net/Verlustlisten_Erster_Weltkrieg/Projekt/Ortsnamen

• Notebook in Klasse umwandeln
• Test-Notebook für alle vorgeben

Improve filtering of types and names

Kölner Phonetik in Matcher einbauen

MLflow Server aufsetzen

hängt zusammen mit #34

Benchmarking Preprocessing vs Non-Preprocessing

Kompletter GOV Auszug mit Verknüpfung

Lege einen Auszug an, in dem zu jeder Stadt/Ort/Dorf auch die höheren Objekte angegeben sind.

GOV object mit API erstellen

GOV erkunden (Datenbank)

• Eventuell hilfreiche sql queries im Github-Wiki festhalten
• CompGen-I-Team oder Jesper können helfen

Auf Graphdatenbank als Kern API umsteigen, neo4j?

Ausgabe-Format mit Jesper klären

• Ausgabeformat als JSON mit allen Infos ok -> Microservice gedacht
• Finale textual_id?

Levenshtein-Distanz-Methode

Methode schreiben, die die Levenshtein-Kosten eines String-Paares berechnet

Erste Datenexploration deutsche-verlustlisten-1wk.tsv

Jedes Team-Mitglied nimmt sich die Zeit mit deutsche-verlustlisten-1wk.tsv zu spielen und vertraut zu werden.

Die zentralen Erkenntnisse halten wir im Github-Wiki fest

Levenshtein: Stufenweise Ausführung beschleunigen

Der Levenshtein-Algorithmus wird derzeit stufenweise mit wachsenden Kosten aufgerufen.
Hier gibt es Möglichkeit, die Performance zu verbessern.

Mural überarbeiten

• Meta-Algorithmus aktualisieren
• Ablaufdiagramm überarbeiten

Implement method that reads GOV data live from the DB

Editierdistanz als Modul anlegen (ein Bestandteil)

• Implementiere die Editierdistanz für die Kandidatensuche

Ideen:

• unterstütze verschiedene Modi bei der Suche: Ersetzen ja/nein, Insertion: ja/nein, Deletion: ja/nein
• Input: Liste an Namen aus dem GOV, Sucheintrag
• Output: Liste an Namen, die übert maxCost von Sucheintrag zu finden sind
• Suche einschränken: Wir sollten nicht das Gesamte GOV als Suchraum nehmen, sondern sinnvoll einschränken:
  • Nur Namen, die beispielsweise mit dem zweiten Bestandteil zusmamenhängen ("Aaachen, Sachsen" -> Aaachen kann nicht gefunden werden, aber Sachsen, daher nur Namen als Suchraum nehmen, die über Sachsen erreichbar sind)
  • Beginne bei einem BEstandteil oder mehreren falschen Bestandteilen nicht mit ganzem GOV, sondern mit oberster Ebene und arbeite dich schrittweise nach unten vor

Modell Performance erstellen (synthetische Daten)

Scoring aufbauen, wie wir all unsere verschiedenen Algorithmen scoren und ranken können.

Dafür aus dem GOV synthetische Daten erstellen.

Verbessere Wahl der textual_id bei mehreren Kandidaten (nicht first, sondern z.B. über Typ):

• einerseits Auswahl der tatsächlichen textual_id als finaler match
• andererseits Transparenz im Output (Score!)

Beispiele:
Aachen Kreis, Aachen Stadt, Aachen Bauernhof
Berlin Stadt, Berlin Bauernhof
vs.
Neustadt1, Neustadt2

Abkürzungsliste ausarbeiten

Output erweitern um Angabe Korrekturen und Gründe für Nicht-Match

Codeübergabe mit Jesper vorbereiten/klären

• Python Script/Microserivce ist ausreichend
• aktuelle README/Codebeispiele
• Ablaufdiagramm aus Mural
• getestete requirements
• finale Demo am 29.11.

EInbau des Levenshtein cache für testset

Wiki im Github anlegen

Konzept für cross validation VL (kleine Batches statt komplett)

Github Notebook Struktur anlegen

Baseline/Abdeckung der Verlustliste

Hängt zusammen mit Issue #13.

Wieviel können wir mappen ohne große Logik?
Welche Orte in der Verlustliste können wir schon mit dem Base-Matching abdecken?

Wann sagen wir das matching ist fertig?

Geokoordinaten

• kann durchaus sinnvoll sein wenn der genaue Ort nicht bekannt war und etwas in der Nähe genannt wurde -> dann eben so nicht im GOV

Preprocessingklasse für VL und GOV überarbeiten/erstellen/bereitstellen

README schreiben

Clustering Verlustliste

Eine Idee könnte es sein, aus den zweiten Bestandteilen in der Verlustliste Cluster vorab zu bilden basierend auf ihrer Ähnlichkeit bezüglich Editierdistanz. Möglicherweise findet man über die Cluster dann Lücken in GOV. Oder man könnte aus den Clustern eine Abkürzungsliste erstellen.

Gov verkleinern durch Weglassen der untersten Ebene

Matchlogik bei Bestandteilen ohne ID

Zweischrittlogik
Siehe Ausarbeitung im draw_io Diagramm

@sitongye Kannst du das Bild bitte hier anhängen? Danke!