vas3k/python-glr-parser

Попытка сделать свой GLR-парсер для русского языка на Python

Hi there 👋 I'm Vasily

• 🇩🇪 I live in Berlin, Germany.
• 🐍 I do R&D at Anytype.
• 🤖 I write code for 15+ years, most of the time on Python and Go. Sometimes JavaScript.
• 🚀 I love pet-projects. They help me grow professionally all my life.
• ✏️ I write articles on my blog (in Russian): vas3k.ru.
• ✉️ You can shoot me an email at [email protected].

My CV: Vasily Zubarev.pdf

🛠 My fancy badge area

🐶 My pet-projects

vas3k.club

vas3k.club is a small IT-lifestyle community with private and paid memberships that has emerged around my blog vas3k.ru and satellite chat-rooms. We are trying to build a helpful and candid ecosystem, which the Internet has lost a long ago. Therefore, we carefully select and filter new members and do not seek wild growth. The whole development process is open and managed on GitHub. The project attracted many volunteers who improve it together.

Berlin Transport Card for Home Assistant

Timetable widget for my Smart Home dashboard. It uses the BVG (Berlin Transport) API to get trains, buses and trams arriving at the specified stop and allows you to plan your trips. Community liked the widget and it is now being used by hundreds of people.

pepic

Fast and simple media upload proxy on Go. Supports images and videos. Can resize and transcode them in-flight and cache the result. Optimized for small projects and blogs. Not meant to be used by anyone except me :D

infomate.club

My little experiment around information consumption, biased news and fighting FOMO. Unlike social networks, where newsfeeds make up by tops and likes, I made a site that aggregates several (sometimes opposite) news sources on one page and allows to analyze them myself. A small number of people really loved it and uses it every day.

🤝 Connect with me

python-glr-parser's Issues

Как работать с составными именами?

Пример: словарь геоназваний содержит названия из нескольких слов. Нижний Новгород, Великие Луки, Улан Удэ и т.д.

Парсер спотыкается о пробел между словами. Приходилось ли сталкиваться с подобным? Как работать с подобными названиями?

Как задать расстояние в словах или символах между объектами?

Создал грамматику
grammar5 = """
S = GO word<regex=\w> GOR
"""
текст: ПОЕДУ в тот ГОРОД, где поеду и город это элементы словарей.
Хочется задать расстояние между ними в словах или символах.
если использовать S = GO Word GOR то будет находить с одним словом между ними, как задать от и до количество слов?

Как обрабатывать ошибку tokenizer stopped at pos ?

Возникает ошибка
tokenizer stopped at pos 3462 of %r in "%s" at "%s"

Как я понял, она возникает, если python-glr-parser не понимает какое-то слово в грамматике, однако трэйсбэк неинформативен, сложно по позиции понять какое именно слово вызывает ошибку.

Пытался пропускать ошибку (в файле scanner.py закомментировать экспешн и далее pass), это приводит к пропуску проблемного слова. Временно решает проблему, но не ясно какие именно слова и почему вызвали ошибку, сколько слов упущено и т.п.
Хотелось бы неизвестные слова либо добавлять в словарь, либо, что проще, обрабатывать regexp.
Та же проблема со многими матерными словами и их формами.

Поиск фамилий

Хочу найти женские фамилии в именительном падеже. Запускаю example.py со следующими входными данными:

grammar = u"""
    S = noun<gram=Surn,gram=femn,gram=nomn>
"""
text = u"""
Иванов Петров Сидоров
Иванова Петрова Сидорова
"""

Получаю:

FOUND:
Иванов
FOUND: Петров
FOUND: Сидоров

FOUND: Иванова
FOUND: Петрова

Ожидаемый результат:

FOUND:
Иванова
FOUND: Петрова
FOUND: Сидорова

Что-то не так делаю или это баг?

Вопрос по использованию

Привет!

Только начал вникать в твой проект и оба примера не работают:

1. Парсинг дозировки лекарства - не опознает токен по словарю
2. В словарь не добавить токен u"р-p"

Можешь помочь? Спасибо!

# -*- coding: utf-8 -*-
from glr import GLRParser

dictionaries = {
    u"DOSE": [u"мг", u"мл"],
    u"RASTVOR": [u"раствор", u"рр", u"р-p"]
}

grammar = u"""
    S = num DOSE | RASTVOR
"""

glr = GLRParser(grammar, dictionaries=dictionaries, debug=True)

text = u"примовист р-р для /в в введ.0,25 ммоль/мл шприц 10 мл №1 под заказ"
for parsed in glr.parse(text):
    print "FOUND:", parsed

Использовать все варианты разбора, а не только первый

Привет. Я детально все не смотрел,и запускать не пробовал (так что могу ошибаться), но, похоже, тут при генерации исходной грамматики берется первый разбор, который выдает pymorphy2. Насколько знаю, в Томите неоднозначность на этом уровне не снимается - берутся все варианты разбора. Это позволяет правилам не ломаться, если первый варианта разбора где-то неправильный.

Проблема с импортами после конвертации в Python 3

Конвертировал ваш модуль в Питон 3 с помощью 2to3.py, возникают проблемы с импортами:
При запуске example.py:
from .glr import GLRParser
SystemError: Parent module '' not loaded, cannot perform relative import

При импорте из своего кода поправил from glr.glr import GLRParser но дальше из файла glr.py from .glrengine import GLRScanner, GLRAutomaton, GLRSplitter, morph_parser
пишет ошибку:
No module named 'glrengine'