mzkrelx/milmsearch

milmsearch's Issues

受け入れテストの仕様を決める

受け入れテストの仕様を決める

パース失敗したときに例外を投げる実装

ML詳細画面にクローリングテストボタンを付ける

受け入れテストの仕様を決める

Solrの検索のサンプルコードを書く

単体テスト・自動化

GUIの自動テストを実行する方法を共有する

テストの方法について共有して
@fishlash さんがGUIの自動テストを一人でできるようになったら完了

ML登録申請で入力値をtrimする

受け入れテスト・自動化

検索結果画面の実装

ML詳細画面の実装

詳細画面表示と承認・却下ボタンが動くこと
その他の編集などは別 issue

メール情報の検索インデックス設計をする

適当なMLアーカイブをクローリングしてドメインにパースする実装

DB処理の実装

config取得メソッド修正

getOrElse, getOrError みたいなかんじで扱いたい

UI設計

SourceForgeJPCrawlerのクローリング

検索インデックスをSolrに保存するサンプルコードを書く

Jenkinsの設定

dev.milmsearch.org でアクセスできるようデプロイする。
milmsearch の developブランチにpushされたら更新するように設定。
[milm-search-public:812] JenkinsのGitプラグイン (GitHubとの連携方法)
[milm-search-public:754] カバレッジレポート出したいね (Jenkins設定) のスレが参考になります。

ユーザへ審査結果のメール通知

UIのコーディング

単体テスト・自動化

検索フォームの入力が不十分だったときのエラーメッセージを個別に出す

今はなにか未入力なところがあると、エラーページで「検索フォームの入力が不十分です」と表示される。
キーワードが未入力なら、「キーワードを入力してください」のように個別に出したい。
ちなみにplayのFormでのデフォルトエラーメッセージは、「この欄は必須です」など入力欄のすぐ横に出すための仕様なのでそのままでは使えない。

単体テスト・自動化

検索インデックスをelasticsearchに保存するサンプルコードを書く

承認時にクローリング処理が動くようにする

テストを実行するたびにDDLが実行するのをやめる

スローテストの原因になるので修正する

みずきさんの要望ではevolutionsは実行する

クローリングテスト結果を表示する

ユーザー側のVCを一通り作成(0.1から移行。デザインできる前)

ヘッダーフッターの修正、検索フォーム作成(ビューのみ)

ドメイン定義

ドメイン定義

受け入れテストの仕様を決める

Port admin area from ui-php.

• admin top
• ML proposal list
  • new
  • accepted
  • rejected
• ML proposal detail
  • do accept
  • do reject

受け入れテスト・自動化

受け入れテスト・自動化

管理者へ申請時のメール通知

検索処理の実装

正規のMailmanのアーカイブページのURLでクローリングテストが失敗する

sourceforge の milm-search-public は成功するが、
純粋なMailmanの保存書庫で失敗。

公開URLを下記に設定して、テストボタンを押す

①http://relx.jp/pipermail/milmsearch-test/
→「The mail's date could not be found.」

②http://relx.jp/pipermail/milmsearch-test
→「http://relx.jp/pipermail/milmsearch-test2013-August/date.html」

管理画面 ML一覧ページ自動化

テストする機能一覧
https://milmsearch.org/redmine/projects/milmsearch/wiki/%E6%A9%9F%E8%83%BD%E4%B8%80%E8%A6%A7%E8%A1%A8#ML-adminmlproposallistml_approval_status

テストする内容
https://milmsearch.org/redmine/projects/milmsearch/wiki/%E7%AE%A1%E7%90%86%E7%94%BB%E9%9D%A2ML%E3%83%AA%E3%82%B9%E3%83%88%E4%B8%80%E8%A6%A7%E7%94%BB%E9%9D%A2

デザインモックアップの作成

application.conf の設定項目チェックを起動時にやる

DBの設定やelasticsearchの値など、必須の値をチェックする。

メール情報のドメインが1つ作成できたらクローリング可能として処理

findをwithConnectionの中で呼ぶとエラー

モデルのほとんどのメソッドの中で DB.withConnection してるので、
あるモデルからモデル呼ぶとエラーになる。

テストボタンのエラーメッセージ修正

存在しないページのURLのときに、現状ではエラーメッセージにURLが表示される。
分かり辛いので具体的なエラー文言を表示する。
「存在しないURLです。http://sonzaisinaiurl」のように。

現状はエラーメッセージがURLの、catchされていない例外が飛んでいるので、
内容を調査して適宜catchし、
MailmanCrawlingException にメッセージを設定して再スローするように修正する。

単体テスト・自動化

受け入れテスト・自動化

承認時のクローリング非同期実行

Executor使ってみる

クローリングして得られたメール情報ドメインのリストをElasticSearchに保存する