pesuchin/pengle

my library for data science competition

pengle's Issues

EDA用のデータの1軸でのプロット機能の追加

EDA用のヒストグラムをプロットするための機能

スパイクを見つける目的で利用する。

[特徴量作成] 要素の掛け算、割り算ができるようにする

• ◯◯と△△との差
• カテゴリ内の平均XX
  変数間の相互作用はPolynomialFeaturesで計算できるらしいのでそれを使う

学習に何個のデータ、検証に何個のデータを利用するかを柔軟に指定したい

[特徴量作成] 木モデル用の特徴量作成機能の追加

• 積み上げの値を普通の値に戻す (線形モデルでは不要)
• 差や比率を直接表現できないため和、差、積など取るのは重要

Owen曰く
GBM only APPROXIMATE interactions and non-linear transformations.
Strong interactions benefit from being explicitly defined.

[特徴量作成] 日時の情報を利用するための機能の追加

• 通常のDatetimeに加えて、◯◯から△分
• ◯した日と△した日の差
• 午前/午後/深夜とか、平日/休日/祝日/祝前日
• 重要な日付から近いものの重みを大きくする
• 逆に遠いものは減衰させて重みを小さくする

前処理用にlog transformationの機能を追加

NNに激しく効くらしいので、NNが使えるようになったら検討

np.log(1+x)
np.sqrt(x+2/3)

[特徴量作成] 切り捨て/切り上げでの特徴量を作成

値を任意の桁数で切り捨て/切り上げした値を計算する機能
数値としてだけでなくカテゴリカル変数として出力することもできるようにする

前処理用に情報量ゼロのカラムを消せる機能

以下を機械的に消すための前処理ができるクラスを作成

• 1種類の値しか入ってないカラム
• 完全にダブってるカラム
• 相関係数が1のカラム

[特徴量作成] Numerical→Categorical変換する機能

例: 年齢層(30代前半)とか

optunaでよしなにチューニングできるようにしたい

目的変数の対数変換とpredictにexpを通して復元する機能が欲しい

前処理用にrank transformationに機能を追加

outliersをしこしこ処理できないときはrankに変換してしまうための処理を追加したい。
kNNやNNはこの変換が効くらしいので、NNやkNNを使えるようになったあとで良い

scipy.stats.rankdata

[特徴量作成] is_null, is_zero, is_not_zero, over_0.5の特徴量作成機能を追加

Datasetクラスの変数の名前を変えたい

メンバ変数の名前がtarget_namesはcolumn名のことを指しているように見えてしまってややこしいのでtarget_unique_valuesに変更

自動で実験条件や実験結果を保存してくれる機能が欲しい

特徴量をどんどん追加していくのに便利な機能が欲しい

予測値の分布をプロットできるようにしたい

予測値がどうなっているかはみれた方が良さげ

Target Encodingの機能を増やす

• このURLのターゲットエンコーディング手法も理解してから実装https://www.kaggle.com/ogrellier/python-target-encoding-for-categorical-features

• Kfoldの際にleakしないように訓練データと検証データを分離してからtarget encodingを行うようにしたい
  https://youki2.hatenablog.com/entry/2018/11/09/224818

[特徴量作成] bin詰めする処理の追加

Testの数値範囲がTrainと結構外れているときにbinで区切って中に入れる

テストを書く

少なくとも1関数1テストは書きたい

特徴量の再計算を無駄にさせないようにしたい

特徴量を作成する際にすでに同じ特徴量の作成済みのfetherファイルがあった場合に計算せずにfetherファイルをロードするようにする。

LightGBM以外の学習器との入れ替えが簡単に出来る機能が欲しい

CSVデータの中に別のCSVのパスが入っていた時にそちらも読み込むための機能を追加

EDA用に時系列のTrainとTestの移動平均をそれぞれプロットする機能

前処理用にclippingの機能を追加

デフォルトでは99%タイルにクリッピングする。
参考

upperbound, lowerbound = np.percentile(x, [1, 99])
y = np.clip(x, upperbound, lowerbound)

output_csv関数で出力ファイルのエンコーディングの切り替えができるように修正する

TargetEncoding+統計量の特徴量作成用クラスの作成

[出力機能追加] submitファイルをtsvで吐き出せるようにする機能追加

データのレコード数/カラム数/容量から実行時間の見積もりが出来る機能が欲しい

この機能は別のリポジトリで良いような気もする。

EDA用にExcelで色をつけて吐き出す機能の追加

Confusion matrixのような形式でプロットする機能もあると良い

間違ってるデータ列だとアルゴリズムに教えるための前処理作成

詳細は謎。以下を参考
https://naotaka1128.hatenadiary.jp/entry/kaggle-compe-tips

EDA用の二軸でのプロット機能の追加

二軸でプロットする機能

• Train/Testが同質なデータか否かを確認するために分けて確認できると良い
• Train/Testの両方を含んだ全体的なデータの傾向を確認できると良い

pd.scatter_matrix(df)

[特徴量作成] 小数点以下だけ取り出した要素を特徴量にする機能を作成

4980円の980円的なやつ
4ドルと3.98ドルは人間心理的にぜんぜん違う

データスクリーニングの機能の実装をしたい

• 参考になるかも
  https://www.kaggle.com/bogorodvo/upd-lightgbm-baseline-model-using-sparse-matrix

EDAのためのPipeLine機能の設計・実装

EDAをラクにできるようにするための概念を追加。
例えば、EDAPipeLineとかに可視化したい可視化処理を渡せば全部実行してjupyter notebookでプロット・保存してくれるようなやつ