isaonakamura/webscraper

This is Web-Scrapeing Tool for Japan EC site.

WebScraper

This is Web-Scrapeing Tool for Japan EC site.
これは日本の販売サイト向けのスクレイピングツールです。

前提

• python3実行環境
• インターネット接続環境
• LINE Developerの登録とアクセス鍵の取得
• Google Cloud Platformの登録とアクセス鍵の取得
• Googleスプレッドシートへのアクセス許可およびワークブックキーの取得

インストール方法

プログラム実行に必要なモジュールをインストールします。

cd WebScraper
pip3 install -y -r requirements.txt

使い方

検索ワードの一覧を入力

以下のようにGoogleスプレッドシートの検索ワード用シートに検索したい商品のキーワードと条件を記入します。

プログラムの実行

ターミナルから以下のようにしてスクレイピングツールのプログラムを実行します。
(以下はメルカリサイトを検索対象とした場合の例)

cd WebScraper/app/MercariPriceMonitor
python3 mercariPriceMonitor.py

検索結果の取得

もし検索ワードにマッチした商品が見つかりますと以下のようにLINEへ通知します。

また、以下のようにGoogleスプレッドシートの検索結果用シートに検索したアイテムの情報が記載されます。

ツールが検索ワードを全て検索し終われば、設定ファイルに指定した秒数でインターバルを置いてまた検索ワードにマッチした商品を再検索しにいきます。
その際、情報を重複なくするために再検索しても検索結果用シートに記載済みのアイテムであればLINE通知とシート記載はされません。