定期スクレイピングプログラム
$ git clone <REPOSITORY_URL>
$ cd ./periodically_scraper/
$ docker-compose build
-
「Google Cloud > API とサービス > 認証情報」から認証情報を取得し,
client_secrets.json
という名前でリポジトリ直下に保存する -
Google ドライブとの認証を行う.認証は Docker コンテナ内の Python で次のコードを実行することで行える
>>> from periodically_scraper.shared.gdrive_client import GDriveClient
>>> gdrive = GDriveClient()
.env.sample
をコピー- 各種環境変数を設定する
$ docker-compose up -d
- Google ドライブの
html/
にサイトのドメイン名でフォルダを作る services/
にスクレイピングコードを実装するsave-article.yml
に実装したコードの実行コマンドを追加する
Google ドライブの操作に利用しているサービスアカウントのデフォルトの有効時間は 1 時間のため、有効時間を変更していないと実行から 1 時間後に認証エラーで処理が落ちてしまう