kyow/igo-ruby

igo-rubyは日本語形態素解析器IgoのRuby実装です。

igo-ruby's Issues

Unicode が 65536 以上の文字を Igo::Tagger#parse に渡すと TypeError になる

igo-ruby を開発してくださりありがとうございます。お世話になっております。

🐘 などが含まれている文字列を Igo::Tagger#parse に渡すと、 TypeError になります。以下再現コードです。

igo_tagger = Igo::Tagger.new(dict)
igo_tagger.parse('🐘')

エラーメッセージ

TypeError: no implicit conversion from nil to integer

stacktrace

"/opt/asdf-data/installs/ruby/2.7.6/lib/ruby/gems/2.7.0/gems/igo-ruby-0.1.5/lib/igo/dictionary.rb:36:in `category'",
 "/opt/asdf-data/installs/ruby/2.7.6/lib/ruby/gems/2.7.0/gems/igo-ruby-0.1.5/lib/igo/dictionary.rb:115:in `search'",
 "/opt/asdf-data/installs/ruby/2.7.6/lib/ruby/gems/2.7.0/gems/igo-ruby-0.1.5/lib/igo/tagger.rb:90:in `block in impl'",
 "/opt/asdf-data/installs/ruby/2.7.6/lib/ruby/gems/2.7.0/gems/activesupport-6.1.6.1/lib/active_support/core_ext/range/each.rb:9:in `each'",
 "/opt/asdf-data/installs/ruby/2.7.6/lib/ruby/gems/2.7.0/gems/activesupport-6.1.6.1/lib/active_support/core_ext/range/each.rb:9:in `each'",
 "/opt/asdf-data/installs/ruby/2.7.6/lib/ruby/gems/2.7.0/gems/igo-ruby-0.1.5/lib/igo/tagger.rb:85:in `impl'",
 "/opt/asdf-data/installs/ruby/2.7.6/lib/ruby/gems/2.7.0/gems/igo-ruby-0.1.5/lib/igo/tagger.rb:44:in `parse'",

原因

igo-ruby/lib/igo/dictionary.rb

Line 36 in d02daa0

return @categories[@char2id[code]]

この部分で TypeError になっています。
@char2id は、length が 65536 しか無いが、🐘 のコードは 128024 であり、@char2id[code] が nil になることが原因です。

解決方針

@char2id を辞書上で拡張するのが良いと思うのですが、@char2id が nil の場合はどうやっても発生しうると思うので、 nilの場合の category を定義するといいと考えています。 id=0 の category にすることを提案します。この方針で問題なければPRも作成します。

何卒よろしくお願いいたします。