code-for-yamaguchi/covid19-yamaguchi-opendata

山口県公認 新型コロナウイルス感染症対策サイト https://yamaguchi.stopcovid19.jp/ 用データ生成スクリプト

covid19-yamaguchi-opendata's Issues

Makefileを作成

ゴール

• Makefileで環境構築ができる

概要

dockerコマンドが長く環境構築がめんどくさいため、Makefileでショートカットを設定する

【最新のお知らせ】の完全自動化

Code-for-Yamaguchi/covid19-yamaguchi#53 と同様

PCR検査人数のデータを追加

山口県の新型コロナウイルス感染症対策室の方から"PCR検査件数のデータを業務の都合上、今後集計しない"との連絡が入ったため、PCR検査件数のデータを廃止し、PCR検査人数のデータに変更する
※PCR検査件数データの廃止作業は、本リポジトリでの変更作業が修了しmasterにpushされた後に行う

【市区町村別陽性患者の累計】の画像のUI改善

本家issue#187

例外処理の追加

想定外のデータに対しての処理を十分にコーディングしていないため、追加する

【最新のお知らせ】のデータの変更

現在、rssでデータ更新しているが、コロナ以外のnewsもあるため以下のサイトの該当箇所のスクレイピングに変更
https://www.pref.yamaguchi.lg.jp/cms/a10000/korona2020/202004240002.html

本家issue#160

市区町村別陽性患者の累計の図の不具合

Code-for-Yamaguchi/covid19-yamaguchi#135 の修正

github actionsが実行失敗した際にslackに通知を送る

改善詳細 / Details of Improvement

• オープンデータのカラムが変更された場合など、github actionsが実行失敗した際にすぐ修正できるようにslackに通知を送るようにする

期待する見せ方・挙動 / Expected behavior

• github actionsが失敗した際にログとともにslackワークスペースに通知を送る

動作環境・ブラウザ / Environment

• macOS / Windows / Linux / iOS / Android
• Chrome / Safari / Firefox / Edge / Internet Explorer

オープンデータの陽性確定日に年が記載されてないものがある

発生している問題

オープンデータの陽性確定日に年が記載されてないものがあることにより、スクリプトが動作していない

対処法

日付フォーマット処理の前に年を補間する処理を追加する@Tomitomi

参考

slackでの議論

検査実施件数データページの削除に伴うエラー

検査実施件数データページ自体が削除されたので、データの更新が止まっているので修正
https://yamaguchi-opendata.jp/ckan/dataset/350001-covid19

オープンデータの誤入力に対するスクリプトエラーの検知

発生している問題

オープンデータに誤入力があり、スクリプトエラーが起きている

対処

各行ですべてのデータが埋まっていない時はスルーする
（辺に途中行で検知するといけないので最終行のみ適用）

buildエラーが発生していてデータ更新が止まっている

actionsが失敗している。
データに欠番が入っているのが原因と思われるので、該当箇所の詳細を調査し修正を行う

検査陽性者の状況データの陽性者数（累計）のデータがおかしい

検査陽性者の状況データの陽性者数（累計）データの集計が間違っているので、修正する

Actionsを無駄に回しすぎている

15分ごとに常に回している。
県庁の勤務時間+αくらいでいい。

199例の方が欠番になった件について

オープンデータからのデータ整形時にエラーが発生しているので、修正する
Code-for-Yamaguchi/covid19-yamaguchi#144

リファクタリング

コードをリファクタリングする

国土地理院データの活用について

国土地理院データについて、現状のリポジトリ内にデータを保存して利用する方法ではなく、国土地理院から直接データAPIが提供されていないかなど他に活用手段がないか調査する

自治体別マップの追加

Code-for-Yamaguchi/covid19-yamaguchi#52 と同様

データの誤字

https://nishidayoshikatsu.github.io/covid19-yamaguchi-opendata/patients.json の1903例目の居住地に誤字があるようなのですが…

最新のお知らせの内容をコロナ関連のみにする

new.jsonの内容をコロナ関連のnews上位4件を表示するようにする

年末年始に日付の誤り

年末年始の多く (37件、No. 5854-5890) に日付の誤りが見られます。

https://nishidayoshikatsu.github.io/covid19-yamaguchi-opendata/patients.json

山口県のオープンデータにも同じ間違いが見られました。

データ更新エラーを修正

発生している問題

• 以下のエラーが発生していることを確認している

Traceback (most recent call last):
File "main.py", line 11, in
dm.validate()
File "/root/dataloader.py", line 122, in validate
jsonschema.validate(self.data[key], self.SCHEMAS[key])
File "/usr/local/lib/python3.7/site-packages/jsonschema/validators.py", line 934, in validate
raise error
jsonschema.exceptions.ValidationError: '入院' is a required property

Failed validating 'required' in schema['properties']['data']['items']:
{'default': {},
'properties': {'入院': {'default': '', 'type': 'integer'},
'全国地方公共団体コード': {'default': '', 'type': 'string'},
'受付_年月日': {'default': '', 'type': 'string'},
'市区町村名': {'default': '', 'type': 'string'},
'死亡': {'default': '', 'type': 'integer'},
'退院': {'default': '', 'type': 'integer'},
'都道府県名 ': {'default': '', 'type': 'string'}},
'required': ['受付_年月日', '入院', '退院', '死亡'],
'type': 'object'}

On instance['data'][0]:
{' 市区町村名 ': '',
' 都道府県名': '山口県',
'入院等': '15',
'全国地方公共団体コード': '350001',
'受付_年月日': '2020/4/15',
'死亡': 0,
'退院': 5}
make: *** [exec] Error 1