codemurt/law-finder

Проект в рамках "Проектного Практикума" за 4-ий семестр ИРИТ-РТФ. Весна 2022

Law-finder

Название проекта: Разработка вопросно-ответной системы для нормативно-правовых актов России

Название команды: Клюква

Формат системы: Web-app

Цель:

Создать сервис, в котором можно получить ответ на собственный вопрос, который содержится в нормативно-правовых актах России.

Описание:

Наш продукт нацелен на получение ответа из вопроса исходя из контекста, который формируется семантическим поиском по запросу.

Целевая аудитория:

Люди любого пола, ищущие в сети Интернет актуальную информацию о том или ином законодательном акте. В особенности: юристы, адвокаты, судьи и политики.

Основное преимущество:

Нашим главным преимуществом является скорость нахождения ответа, человеку нужно будет просто зайти на сайт, выбрать нормативно-правовой акт или загрузить собственный документ, затем написать вопрос и получить ответ. Конечному пользователю не нужно ничего скачивать и разворачивать на сервере, всё доступно по ссылке.

Стек технологий:

1. Язык программирования Python
2. HuggingFace — библиотека, в которой хранятся предобученные модели для машинного обучения
3. Streamlit — фреймворк, позволяющий создавать графический интерфейс для ML
4. fastText — это библиотека, содержащая предобученные готовые векторные представления слов

Основные требования к ПО для развёртывания:

Подробнее смотрите в requirements.txt

Порядок установки и запуска:

1. git clone https://github.com/codemurt/intelligentanswer.git
2. cd intelligentanswer
3. pip install -r requirements.txt
4. streamlit run main.py

Структура приложения:

/doc_file_worker.py - файл, отвечающий за работу с документами: сохранение, загрузка

/main.py - точка входа для приложения

/model.py - файл, в котором происходит работа с Q&A моделью

/word2vector.py - файл, в котором просходит препроцессинг, токенизация, стемминг слов и получение их эмбеддингов.

/requirements.txt - файл, содержащий все зависимости нашего приложения

/resources/doc_text/doc_json.json - json-файл, в котором хранится список заранее загруженных документов + документов, загруженных пользователем

/resources/embeddings/*.bin - в этой директории хранятся эмбеддинги для каждого документа