leeddhh/qiitadaily

qiita記事のクローリング＆スクレイピング

qiitaDaily

ローカルにqiita記事をカテゴライズして保存

使い方

事前に指定しておくこと

⚠️使用する前にCommon.phpとqiitaDaily.shにて以下の値を設定してください。

Common.php

• ARTICLE_DIR：　投稿の保存先 ex)../../Documents/archive/qiita/
• TEMP_DIR：　tempファイルの保存先 ex)../../Documents/archive/qiita/temp/
• USERAGENT：　userAgent ex)User-Agent: Bot/1.0 (◯◯Bot; rev.20181108; ◯◯@gmail.com)
• ACCESSTOKEN：　qiitaの開発者用アクセストークン
• TEMPLATE：　qiitaの記事から本文を表示させるためのテンプレート
• CSSFILE: 　書式を整えるためのCSS

qiitaDaily.sh

• download：　Common.phpで指定した「ダウンロードした投稿のパラメーターを保存するファイル」までのパス ex)../../Documents/archive/qiita/download.txt

実行例

sh qiitaDaily.sh

補足

qiitaDaily.shに指定されたsleepの値は少なくとも1以上にしておいてください。

181227

必要最低限の情報をまとめるためにテンプレートとCSSを追加しました。

• 追加：　template.html, style-8140ff048d203c2f3495c80fc4aea450.min.css
• 変更：　Common.php, getArticle.php, takeArticle.php

qiitadaily's Issues

PHPファイルのファイル名においてキャメルケースとスネークケースが混在している問題を解消する

プログラムのみの場合は閉じタグ'?>'は省略する

閉じても間違いではないのだけれど、閉じた後に余分な空行があると
ぱっと見わからないんだけどそれが出力されてわかりにくいバグになるので
付けない習慣にした方がいいです。

配列の作成は新しいシンタクスを使う

🙅

array();

🙆

[];

不要な変数定義を削除する

https://github.com/LeeDDHH/qiita_daily/blob/57717dc7e6bbc1851ea8a249f60947e2fe44642d/get-article.php#L30-L31

🙅

$data = json_decode($json);
return $data;

$articleFile = file_get_contents($url,false, $context);
return $articleFile;

🙆

return json_decode($json);

require_onceの書き方が正しくない

require_once('./Common.php');

変数名が「index」なのに配列になっている。 なんのデータが入っている配列なのか見通しが悪くなるので直したほうが良いかも？

take-article.php

    //カテゴライズの配列をindexの昇順にするために揃える
    foreach ($categorizeTagsArray as $key => $row) {
        //indexの配列
        $index[$key]  = $row['index'];
        //タグの配列
        $keyword[$key]  = $row['tag_name'];
    }
    //tagをindexの昇順に変更
    array_multisort($index, SORT_ASC,$categorizeTagsArray);

配列のネスト時のインデントが正しくない

https://github.com/LeeDDHH/qiita_daily/blob/57717dc7e6bbc1851ea8a249f60947e2fe44642d/get-article.php#L37-L42

関数呼び出し時の引数の区切り位置がおかしいのを修正する

https://github.com/LeeDDHH/qiita_daily/blob/57717dc7e6bbc1851ea8a249f60947e2fe44642d/get-article.php#L46

🙅

file_get_contents($url,false, $context)

🙆

file_get_contents($url, false, $context)

if文のコードスタイルを修正する

https://github.com/LeeDDHH/qiita_daily/blob/57717dc7e6bbc1851ea8a249f60947e2fe44642d/get-resource.php#L9

🙅‍♀️

if(true) {
}

🙆

if (true) {
}

戻り型指定のコードスタイルを修正する

https://github.com/LeeDDHH/qiita_daily/blob/57717dc7e6bbc1851ea8a249f60947e2fe44642d/get-article.php#L4

🙅

function getArticleInfo($arg) :stdClass{

🙆

function getArticleInfo($arg): stdClass
{

ファイル末尾の `?>` を削除する