Data pipeline stuck since Saturday 25th of June

[robert-koch-institut]

Data pipeline stuck since Saturday 25th of June

[icestorm972]

Ja @corneliusroemer, im Datenstand vom 26. Juni sind die beiden Sequenzen noch enthalten (benutze zur Zeit ein Hybrid aus diesem Datenstand und dem neuesten als "Update" als Workaround):

IMS_ID               IMS-10122-CVDP-8BC99213-B079-44EC-9AC3-91D4EF41D330 IMS-10122-CVDP-2497D58F-DEEB-4B84-A6C1-370B2D1BA2D9
DATE_DRAW                                           2022-06-06 00:00:00                                 2022-06-03 00:00:00 
SEQ_REASON                                                            X                                                   X 
Nextclade_pango                                                    BA.2                                                BA.2 
aaSubstitutions       E:T9I,E:T11A,M:Q19E,M:A63T,N:P13L,N:R203K,N:G2...   E:T9I,E:T11A,M:Q19E,M:A63T,N:P13L,N:R203K,N:G2... 
aaDeletions           N:E31-,N:R32-,N:S33-,ORF1a:S3675-,ORF1a:G3676-...   N:E31-,N:R32-,N:S33-,ORF1a:S3675-,ORF1a:G3676-... 
aaInsertions                                                        NaN                                                 NaN 
S:K147E                                                               1                                                   1 
S:W152R                                                               1                                                   1 
S:F147L                                                               0                                                   0 
S:I210V                                                               0                                                   0 
S:G257S                                                               1                                                   1 
S:D339H                                                               0                                                   0 
S:G446S                                                               1                                                   1 
S:N460K                                                               1                                                   1 
ORF1a:S1221L                                                          1                                                   1 
Mut. in Sample                                                        6                                                   6 
BA.2.75 (6 out of 9)                                                  1                                                   1 
total                                                                 1                                                   1 

[icestorm972]

Wenn ich gerade richtig gesehen habe, ist die vorhin hochgeladenene Version der Sequenzdaten identisch mit der vom 26.06.22, sprich ohne das Datenloch wie die Tage zuvor aber ohne neue Daten nach 24.06.22

P.S.
Gestern Nacht sieht auf den ersten Blick gut aus :-)

[icestorm972]

Heute Nacht kam zwar ein Update, aber die Dateien sind kleiner als Stand 25.06.22 und alle Einträge/Sequenzen für IMS_IDs ab Ende Mai / Anfang Juni scheinen zu fehlen?

Nachtrag / Zur Info:
Der neueste Upload enthielt Daten ab Prozessierungsdatum 2022-06-29, aber wie im vorherigen fehlt für 2022-06-01 die Einträge direkt nach "IMS-10116-CVDP-8D195B36-9E33-4C9D-869A-53504E94FF2C", und alle von 2022-06-02 bis Prozessierungsdatum 2022-06-28.

[corneliusroemer]

I see, danke für das Update!

Ich hatte mich grad gefragt, warum ich die beiden deutschen BA.2.75 nicht in den DESH-Daten finden konnte und wollte gerade ein Issue öffnen - aber das erklärt es ja wunderbar.

In den neuesten 10k Sequenzen ist immerhin kein BA.2.75 - das ist schonmal gut.

Hier die Uploaddaten, man sieht die Lücke von 2. Juni bis 28. Juni.

2022-05-29      220
2022-05-30      1635
2022-05-31      1100
2022-06-01      352
2022-06-29      2213
2022-06-30      3967
2022-07-01      1762
2022-07-02      754