takeyy/gitai

江戸川乱歩作品の分析アプリ. 形態素解析 / データ集計 / 共起ネットワークの機能を内包している

Gitai

江戸川乱歩作品の分析アプリケーション

起動方法

docker，docker-composeコマンドが使えることを前提とする．

docker-compose up

環境変数

1. app.example.envをコピー

   cp app.example.env app.env

2. 内容を編集

   vim app.env

   MODE="MAC"
   
   UPLOAD_FOLDER="/code/tmp"
   ALLOWED_EXTENSIONS={"csv"}
   SECRET_KEY=b"${your SECRET KEY}"
   
   M1MAC_MECAB_DICT_TARGET="-d /usr/lib/aarch64-linux-gnu/mecab/dic/mecab-ipadic-neologd"
   PROD_MECAB_DICT_TARGET="-d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd"

SECRET_KEY の作成方法

import os

os.urandom(24)

URL

https://gitai.rampo.net/home

Heroku無料化に伴い以下は廃止

https://rampo-edogawa-visualization.herokuapp.com/gitai/home

起動に 1 分ほどかかる．

gitai's Issues

可視化対象の品詞の仕様変更

指定ワードに設定した単語は、可視化対象の品詞の設定に影響を受けないようにする。

例）

• 入力：黄金仮面
• 品詞：形容詞
• 指定ワード：賊（名詞）
• 結果：N/A

簡易版の作成

特定の章に登場する人物名を置き換える機能

テストコードを書く

内部の単体テストのみに絞る

設定と結果をzipでダウンロードする機能

共起関係のダウンロードだけではなく、以下の要素をzipでダウンロードしたい。

• 設定した項目（csv）
• 共起ネットワーク結果（html）
• 共起関係（csv）

【改善】pythonのバージョンを上げる

概要

• 現在のpythonのバージョンはEOLなのであげたい
• 3.11くらいにしたい

最低共起頻度を設定する

共起頻度が1しかないものが列挙されてまともに分析できない問題がある

形態素解析でカテゴリ情報を付与する

カテゴリごとの分析を行うための形態素解析の時点で、カテゴリ情報を付与できると、意図した分析がしやすい。

ヘルプのような説明を追加する

専門用語とかの説明を追加する

複数作品を分析できるようにする

• 手法
  • 江戸川乱歩作品選択において、複数選択可能
  • csv入力において、複数ファイルアップロード可能

【新機能】共起強度毎に共起ネットワークを表示する機能

Jaccard係数、Dice係数、Simpson係数などを比較できると良さそう

システム名の変更

【整形】リファクタリング

概要

• pythonファイルに静的解析と自動フォーマットを適用する

テキストデータの出現頻度を集計する

x軸に単語、y軸に出現頻度でグラフを表示する

共起ネットワーク：カテゴリ選択のチェックボックスに一括機能追加

欲しい機能

• 一括チェック
• 一括クリア

形態素解析済みのデータをダウンロードできる機能

作品情報ページからダウンロードさせる

グラフを全画面表示する機能

csvダウンロードの近くに全画面表示ボタンを配置

共起指標にJaccard係数追加

設定画面で設定できるようにする

classを適用する

オブジェクト指向的な

テキストの前処理でtxtファイルを選択可能にする

ファイルアップロードでtxtファイルのみアップロードし、前処理を行えるようにする。