vas3k/python-glr-parser

Попытка сделать свой GLR-парсер для русского языка на Python

python-glr-parser's Issues

Проблема с импортами после конвертации в Python 3

Конвертировал ваш модуль в Питон 3 с помощью 2to3.py, возникают проблемы с импортами:
При запуске example.py:
from .glr import GLRParser
SystemError: Parent module '' not loaded, cannot perform relative import

При импорте из своего кода поправил from glr.glr import GLRParser но дальше из файла glr.py from .glrengine import GLRScanner, GLRAutomaton, GLRSplitter, morph_parser
пишет ошибку:
No module named 'glrengine'

Как задать расстояние в словах или символах между объектами?

Создал грамматику
grammar5 = """
S = GO word<regex=\w> GOR
"""
текст: ПОЕДУ в тот ГОРОД, где поеду и город это элементы словарей.
Хочется задать расстояние между ними в словах или символах.
если использовать S = GO Word GOR то будет находить с одним словом между ними, как задать от и до количество слов?

Поиск фамилий

Хочу найти женские фамилии в именительном падеже. Запускаю example.py со следующими входными данными:

grammar = u"""
    S = noun<gram=Surn,gram=femn,gram=nomn>
"""
text = u"""
Иванов Петров Сидоров
Иванова Петрова Сидорова
"""

Получаю:

FOUND:
Иванов
FOUND: Петров
FOUND: Сидоров

FOUND: Иванова
FOUND: Петрова

Ожидаемый результат:

FOUND:
Иванова
FOUND: Петрова
FOUND: Сидорова

Что-то не так делаю или это баг?

Как обрабатывать ошибку tokenizer stopped at pos ?

Возникает ошибка
tokenizer stopped at pos 3462 of %r in "%s" at "%s"

Как я понял, она возникает, если python-glr-parser не понимает какое-то слово в грамматике, однако трэйсбэк неинформативен, сложно по позиции понять какое именно слово вызывает ошибку.

Пытался пропускать ошибку (в файле scanner.py закомментировать экспешн и далее pass), это приводит к пропуску проблемного слова. Временно решает проблему, но не ясно какие именно слова и почему вызвали ошибку, сколько слов упущено и т.п.
Хотелось бы неизвестные слова либо добавлять в словарь, либо, что проще, обрабатывать regexp.
Та же проблема со многими матерными словами и их формами.

Использовать все варианты разбора, а не только первый

Привет. Я детально все не смотрел,и запускать не пробовал (так что могу ошибаться), но, похоже, тут при генерации исходной грамматики берется первый разбор, который выдает pymorphy2. Насколько знаю, в Томите неоднозначность на этом уровне не снимается - берутся все варианты разбора. Это позволяет правилам не ломаться, если первый варианта разбора где-то неправильный.

Вопрос по использованию

Привет!

Только начал вникать в твой проект и оба примера не работают:

1. Парсинг дозировки лекарства - не опознает токен по словарю
2. В словарь не добавить токен u"р-p"

Можешь помочь? Спасибо!

# -*- coding: utf-8 -*-
from glr import GLRParser

dictionaries = {
    u"DOSE": [u"мг", u"мл"],
    u"RASTVOR": [u"раствор", u"рр", u"р-p"]
}

grammar = u"""
    S = num DOSE | RASTVOR
"""

glr = GLRParser(grammar, dictionaries=dictionaries, debug=True)

text = u"примовист р-р для /в в введ.0,25 ммоль/мл шприц 10 мл №1 под заказ"
for parsed in glr.parse(text):
    print "FOUND:", parsed

Как работать с составными именами?

Пример: словарь геоназваний содержит названия из нескольких слов. Нижний Новгород, Великие Луки, Улан Удэ и т.д.

Парсер спотыкается о пробел между словами. Приходилось ли сталкиваться с подобным? Как работать с подобными названиями?