rikeda71/crftest

learn to use crfsuite

CRFTest

概要

ここを見てCRFのお勉強

補足

参照先のURLでのコメントで、結果が良すぎるのは～～～という話が出てきているが、指摘された方法で実験を行ったところ、まったく同じタグが付与されたため、tag()メソッドでタグに関する情報は、固有表現抽出器で予測しているタグを利用していることが分かった。

また、結果が良すぎるのは、振られているタグが答えと一致しているか見ているからであり、タグの振られ方が完全一致しているかどうかで結果を判断するともう少し下がるのではないかと考えることができる。

(2017/07/24追加) 研究中に未知データに対しての固有表現抽出の精度がかなり低く，また，複数形態素の商品名が取ってこれないことからCRFのプログラム自体にエラーがないか確かめるために，再度，実験を行った．素性を与えるときに，タグの情報が予想したものではなく，正解を与えているか大丈夫であるかという実験のプログラムが若干間違っていたため，修正して実験を行ってみると正解を与える場合と比べて精度が下がったため，キータに書かれていた方法では×かもしれない．修正したプログラム自体があっているかもわからないので，確認する必要はある

(2017/08/11追加) 固有表現タグを学習に使用していた部分が間違いだった． sklearn-crfsuiteを確認してみると，素性に固有表現タグは使われていない． 固有表現タグは学習の際に，整形した素性とセットで，学習器に渡すだけでOK 固有表現タグを素性に含めてしまうと，固有表現タグが存在しないデータからは固有表現抽出を行うことができない