jar3b/py-phias

Python application that can operate with FIAS

py-phias's Issues

Ошибка при создании базы

Помогите, что не так?
C:\Users\Artem\python-fias\fias-api>py manage.py -b create -s http
2021-02-16 17:29:38,922 Prepare to create DB structure...
2021-02-16 17:29:39,022 Done.
2021-02-16 17:29:39,252 POST https://fias.nalog.ru/WebServices/Public/DownloadService.asmx
2021-02-16 17:29:39,515 b'\r\n\r\n\r\n\r\n \r\n \r\n \r\n \r\n <title>\xd0\xa4\xd0\xb5\xd0\xb4\xd0\xb5\xd1\x80\xd0\xb0\xd0\xbb\xd1\x8c\xd0\xbd\xd0\xb0\xd1\x8f \xd0\xb8\xd0\xbd\xd1\x84\xd0\xbe\xd1\x80\xd0\xbc\xd0\xb0\xd1\x86\xd0\xb8\xd0\xbe\xd0\xbd\xd0\xbd\xd0\xb0\xd1\x8f \xd0\xb0\xd0\xb4\xd1\x80\xd0\xb5\xd1\x81\xd0\xbd\xd0\xb0\xd1\x8f \xd1\x81\xd0\xb8\xd1\x81\xd1\x82\xd0\xb5\xd0\xbc\xd0\xb0</title>\r\n\r\n \r\n \r\n \r\n <script src="/js/jquery-1.11.3.min.js"></script>\r\n <script src="/js/functions_2.js"></script>\r\n <script src="/js/jquery.cookie.js"></script>\r\n <script src="/js/radscripts.js"></script>\r\n <script src="/js/jquery.smslider.min.js"></script>\r\n <script src="/lib/kendo-ui/js/kendo.all.min.js"></script>\r\n <script src="/lib/kendo-ui/js/kendo.aspnetmvc.min.js"></script>\r\n <script src="/lib/kendo-ui/js/messages/kendo.messages.ru-RU.min.js"></script>\r\n <script src="/lib/kendo-ui/js/cultures/kendo.culture.ru.min.js"></script>\r\n <script src="/js/jquery.fias_file_service.js?fias_ver=21.2.12.1"></script>\r\n <script src="/js/jquery.fias_file_count.js?fias_ver=21.2.12.1"></script>\r\n\r\n <script src="/lib/polyfill/polyfill.min.js"></script>\r\n <script src="/lib/polyfill/es6-promise.min.js"></script>\r\n <script src="/lib/polyfill/ie_eventlistner_polyfill.js"></script>\r\n <script>window.allow_firefox_cadesplugin_async = 1;</script>\r\n <script src="/js/signature/jquery.gnivc.fias.signature.sync.min.js?fias_ver=21.2.12.1"></script>\r\n <script src="/js/signature/jquery.gnivc.fias.signature.async.min.js?fias_ver=21.2.12.1"></script>\r\n\r\n\r\n <script src="/js/site.min.js?fias_ver=21.2.12.1"></script>\r\n\r\n\r\n

\r\n

\r\n

\r\n

\r\n \r\n \r\n \r\n\r\n

\r\n \xd0\xa4\xd0\xb5\xd0\xb4\xd0\xb5\xd1\x80\xd0\xb0\xd0\xbb\xd1\x8c\xd0\xbd\xd0\xb0\xd1\x8f
\xd0\x9d\xd0\xb0\xd0\xbb\xd0\xbe\xd0\xb3\xd0\xbe\xd0\xb2\xd0\xb0\xd1\x8f \xd1\x81\xd0\xbb\xd1\x83\xd0\xb6\xd0\xb1\xd0\xb0\r\n

\r\n

\r\n

\r\n

\xd0\xa4\xd0\xb5\xd0\xb4\xd0\xb5\xd1\x80\xd0\xb0\xd0\xbb\xd1\x8c\xd0\xbd\xd0\xb0\xd1\x8f \xd0\xb8\xd0\xbd\xd1\x84\xd0\xbe\xd1\x80\xd0\xbc\xd0\xb0\xd1\x86\xd0\xb8\xd0\xbe\xd0\xbd\xd0\xbd\xd0\xb0\xd1\x8f \xd0\xb0\xd0\xb4\xd1\x80\xd0\xb5\xd1\x81\xd0\xbd\xd0\xb0\xd1\x8f \xd1\x81\xd0\xb8\xd1\x81\xd1\x82\xd0\xb5\xd0\xbc\xd0\xb0

\r\n

\r\n

\r\n

\r\n

\r\n \r\n

\r\n

\r\n

\xd0\x9e \xd0\xa4\xd0\x98\xd0\x90\xd0\xa1

\r\n

\xd0\x9f\xd0\xbe\xd0\xb8\xd1\x81\xd0\xba

\r\n

\xd0\x9e\xd0\xb1\xd0\xbd\xd0\xbe\xd0\xb2\xd0\xbb\xd0\xb5\xd0\xbd\xd0\xb8\xd1\x8f

\r\n

\xd0\x92\xd0\xbe\xd0\xbf\xd1\x80\xd0\xbe\xd1\x81\xd1\x8b \xd0\xb8 \xd0\xbe\xd1\x82\xd0\xb2\xd0\xb5\xd1\x82\xd1\x8b

\r\n

\xd0\x97\xd0\xb0\xd1\x8f\xd0\xb2\xd0\xba\xd0\xb0 \xd0\xb2 \xd0\xa4\xd0\x98\xd0\x90\xd0\xa1

\r\n

\xd0\x98\xd0\xbd\xd1\x84\xd0\xbe\xd1\x80\xd0\xbc\xd0\xb0\xd1\x86\xd0\xb8\xd1\x8f \xd0\xbe \xd0\xb7\xd0\xb0\xd1\x8f\xd0\xb2\xd0\xba\xd0\xb5

\r\n

\r\n

\r\n

\r\n

\r\n

\r\n

\r\n

\r\n \r\n\r\n

\r\n

\xd0\x9f\xd0\xa0\xd0\x9e\xd0\x98\xd0\x97\xd0\x9e\xd0\xa8\xd0\x81\xd0\x9b \xd0\xa2\xd0\x95\xd0\xa5\xd0\x9d\xd0\x98\xd0\xa7\xd0\x95\xd0\xa1\xd0\x9a\xd0\x98\xd0\x99 \xd0\xa1\xd0\x91\xd0\x9e\xd0\x99. \xd0\x9f\xd0\x9e\xd0\x9f\xd0\xa0\xd0\x9e\xd0\x91\xd0\xa3\xd0\x99\xd0\xa2\xd0\x95 \xd0\x9f\xd0\x9e\xd0\x92\xd0\xa2\xd0\x9e\xd0\xa0\xd0\x98\xd0\xa2\xd0\xac \xd0\x9f\xd0\x9e\xd0\x97\xd0\x94\xd0\x9d\xd0\x95\xd0\x95. \xd0\x92 \xd0\xa1\xd0\x9b\xd0\xa3\xd0\xa7\xd0\x90\xd0\x95, \xd0\x95\xd0\xa1\xd0\x9b\xd0\x98 \xd0\x9e\xd0\xa8\xd0\x98\xd0\x91\xd0\x9a\xd0\x90 \xd0\xa1\xd0\x9e\xd0\xa5\xd0\xa0\xd0\x90\xd0\x9d\xd0\x98\xd0\xa2\xd0\xa1\xd0\xaf - \xd0\x9e\xd0\x91\xd0\xa0\xd0\x90\xd0\xa2\xd0\x98\xd0\xa2\xd0\x95\xd0\xa1\xd0\xac \xd0\x92 \xd0\xa1\xd0\x9b\xd0\xa3\xd0\x96\xd0\x91\xd0\xa3 \xd0\xa2\xd0\x95\xd0\xa5\xd0\x9d\xd0\x98\xd0\xa7\xd0\x95\xd0\xa1\xd0\x9a\xd0\x9e\xd0\x99 \xd0\x9f\xd0\x9e\xd0\x94\xd0\x94\xd0\x95\xd0\xa0\xd0\x96\xd0\x9a\xd0\x98.

\r\n

\r\n n5001-ais1194-210216172938842
\r\n
\r\n \xd0\x9f\xd1\x80\xd0\xb8 \xd0\xbe\xd0\xb1\xd1\x80\xd0\xb0\xd1\x89\xd0\xb5\xd0\xbd\xd0\xb8\xd0\xb8 \xd0\xb2 \xd1\x81\xd0\xbb\xd1\x83\xd0\xb6\xd0\xb1\xd1\x83 \xd1\x82\xd0\xb5\xd1\x85\xd0\xbd\xd0\xb8\xd1\x87\xd0\xb5\xd1\x81\xd0\xba\xd0\xbe\xd0\xb9 \xd0\xbf\xd0\xbe\xd0\xb4\xd0\xb4\xd0\xb5\xd1\x80\xd0\xb6\xd0\xba\xd0\xb8, \xd0\xb4\xd0\xbb\xd1\x8f \xd1\x82\xd0\xbe\xd1\x87\xd0\xbd\xd0\xbe\xd0\xb3\xd0\xbe \xd0\xbe\xd0\xbf\xd1\x80\xd0\xb5\xd0\xb4\xd0\xb5\xd0\xbb\xd0\xb5\xd0\xbd\xd0\xb8\xd1\x8f \xd0\xbf\xd1\x80\xd0\xbe\xd0\xb1\xd0\xbb\xd0\xb5\xd0\xbc\xd1\x8b \xd0\xb2 \xd1\x81\xd0\xb8\xd1\x81\xd1\x82\xd0\xb5\xd0\xbc\xd0\xb5 \xd0\xa4\xd0\x98\xd0\x90\xd0\xa1 \xd0\xb8 \xd0\xb8\xd1\x81\xd0\xbf\xd1\x80\xd0\xb0\xd0\xb2\xd0\xbb\xd0\xb5\xd0\xbd\xd0\xb8\xd1\x8f \xd0\xb4\xd0\xb0\xd0\xbd\xd0\xbd\xd0\xbe\xd0\xb9 \xd0\xbe\xd1\x88\xd0\xb8\xd0\xb1\xd0\xba\xd0\xb8, \xd0\xbf\xd0\xbe\xd0\xb6\xd0\xb0\xd0\xbb\xd1\x83\xd0\xb9\xd1\x81\xd1\x82\xd0\xb0 \xd0\xbf\xd1\x80\xd0\xbe\xd0\xb8\xd0\xb7\xd0\xb2\xd0\xb5\xd0\xb4\xd0\xb8\xd1\x82\xd0\xb5 \xd1\x81\xd0\xbb\xd0\xb5\xd0\xb4\xd1\x83\xd1\x8e\xd1\x89\xd0\xb8\xd0\xb5 \xd0\xb4\xd0\xb5\xd0\xb9\xd1\x81\xd1\x82\xd0\xb2\xd0\xb8\xd1\x8f: \xd0\xbe\xd0\xbf\xd0\xb8\xd1\x88\xd0\xb8\xd1\x82\xd0\xb5 \xd0\xbf\xd0\xbe\xd1\x81\xd0\xbb\xd0\xb5\xd0\xb4\xd0\xbe\xd0\xb2\xd0\xb0\xd1\x82\xd0\xb5\xd0\xbb\xd1\x8c\xd0\xbd\xd0\xbe\xd1\x81\xd1\x82\xd1\x8c \xd0\xb2\xd1\x8b\xd0\xbf\xd0\xbe\xd0\xbb\xd0\xbd\xd1\x8f\xd0\xb5\xd0\xbc\xd1\x8b\xd1\x85 \xd0\x92\xd0\xb0\xd0\xbc\xd0\xb8 \xd0\xb4\xd0\xb5\xd0\xb9\xd1\x81\xd1\x82\xd0\xb2\xd0\xb8\xd0\xb9, \xd0\xbf\xd1\x80\xd0\xb8\xd0\xb2\xd0\xbe\xd0\xb4\xd1\x8f\xd1\x89\xd0\xb8\xd1\x85 \xd0\xba \xd0\xb4\xd0\xb0\xd0\xbd\xd0\xbd\xd0\xbe\xd0\xb9 \xd0\xbe\xd1\x88\xd0\xb8\xd0\xb1\xd0\xba\xd0\xb5; \xd0\xbf\xd1\x80\xd0\xb8\xd0\xbb\xd0\xbe\xd0\xb6\xd0\xb8\xd1\x82\xd0\xb5 \xd1\x81\xd0\xba\xd1\x80\xd0\xb8\xd0\xbd\xd1\x88\xd0\xbe\xd1\x82\xd1\x8b \xd1\x81\xd1\x82\xd1\x80\xd0\xb0\xd0\xbd\xd0\xb8\xd1\x86 \xd1\x81 \xd0\xb7\xd0\xb0\xd0\xbf\xd0\xbe\xd0\xbb\xd0\xbd\xd0\xb5\xd0\xbd\xd0\xbd\xd1\x8b\xd0\xbc\xd0\xb8 \xd0\xb4\xd0\xb0\xd0\xbd\xd0\xbd\xd1\x8b\xd0\xbc\xd0\xb8, \xd0\xb4\xd0\xbe \xd1\x82\xd0\xbe\xd0\xb3\xd0\xbe \xd0\xba\xd0\xb0\xd0\xba \xd0\x92\xd1\x8b \xd0\xbf\xd0\xbe\xd0\xbf\xd0\xb0\xd0\xbb\xd0\xb8 \xd0\xbd\xd0\xb0 \xd0\xb4\xd0\xb0\xd0\xbd\xd0\xbd\xd1\x83\xd1\x8e \xd1\x81\xd1\x82\xd1\x80\xd0\xb0\xd0\xbd\xd0\xb8\xd1\x86\xd1\x83; \xd0\xb4\xd0\xbe\xd0\xb1\xd0\xb0\xd0\xb2\xd1\x8c\xd1\x82\xd0\xb5 \xd0\xba \xd1\x81\xd0\xbe\xd0\xbe\xd0\xb1\xd1\x89\xd0\xb5\xd0\xbd\xd0\xb8\xd1\x8e \xd0\xbd\xd0\xbe\xd0\xbc\xd0\xb5\xd1\x80 \xd0\xb2\xd0\xbe\xd0\xb7\xd0\xbd\xd0\xb8\xd0\xba\xd1\x88\xd0\xb5\xd0\xb9 \xd0\xbe\xd1\x88\xd0\xb8\xd0\xb1\xd0\xba\xd0\xb8!\r\n

\r\n

\xd0\x92\xd0\xb5\xd1\x80\xd0\xbd\xd1\x83\xd1\x82\xd1\x8c\xd1\x81\xd1\x8f \xd0\xbd\xd0\xb0 \xd0\xb3\xd0\xbb\xd0\xb0\xd0\xb2\xd0\xbd\xd1\x83\xd1\x8e \xd1\x81\xd1\x82\xd1\x80\xd0\xb0\xd0\xbd\xd0\xb8\xd1\x86\xd1\x83.

\r\n\r\n

\r\n\r\n

\r\n

\r\n

\r\n

\r\n

\r\n

\xd0\xa2\xd0\xb5\xd1\x85\xd0\xbd\xd0\xb8\xd1\x87\xd0\xb5\xd1\x81\xd0\xba\xd0\xb0\xd1\x8f \xd0\xbf\xd0\xbe\xd0\xb4\xd0\xb4\xd0\xb5\xd1\x80\xd0\xb6\xd0\xba\xd0\xb0

\r\n\t\t\t\t

\r\n\t\t\t\t\t\xc2\xa9 2005 - 2021 \xd0\xa4\xd0\x9d\xd0\xa1 \xd0\xa0\xd0\xbe\xd1\x81\xd1\x81\xd0\xb8\xd0\xb8\r\n
\r\n\t\t\t\t\tПоследнее обновление ПО ФИАС от 12.02.2021\r\n\t\t\t\t

\r\n

\r\n

\r\n

\r\n\r\n\r\n'
Traceback (most recent call last):
File "C:\Users\Artem\python-fias\fias-api\manage.py", line 141, in
main()
File "C:\Users\Artem\python-fias\fias-api\manage.py", line 128, in main
aoupdater.create(allowed_updates)
File "C:\Users\Artem\python-fias\fias-api\aore\updater\updater.py", line 111, in create
for update_entry in self.updalist_generator:
File "C:\Users\Artem\python-fias\fias-api\manage.py", line 52, in get_allowed_updates
all_versions = [x for x in imp.get_update_list()]
File "C:\Users\Artem\python-fias\fias-api\manage.py", line 52, in
all_versions = [x for x in imp.get_update_list()]
File "C:\Users\Artem\python-fias\fias-api\aore\updater\soapreceiver.py", line 14, in get_update_list
response = self.client.GetAllDownloadFileInfo()
File "C:\Program Files\Python39\lib\site-packages\pysimplesoap\client.py", line 175, in
return lambda *args, **kwargs: self.call(attr, *args, **kwargs)
File "C:\Program Files\Python39\lib\site-packages\pysimplesoap\client.py", line 257, in call
response = SimpleXMLElement(self.xml_response, namespace=self.namespace,
File "C:\Program Files\Python39\lib\site-packages\pysimplesoap\simplexml.py", line 56, in init
self.__document = xml.dom.minidom.parseString(text)
File "C:\Program Files\Python39\lib\xml\dom\minidom.py", line 1998, in parseString
return expatbuilder.parseString(string)
File "C:\Program Files\Python39\lib\xml\dom\expatbuilder.py", line 925, in parseString
return builder.parseString(string)
File "C:\Program Files\Python39\lib\xml\dom\expatbuilder.py", line 223, in parseString
parser.Parse(string, True)
xml.parsers.expat.ExpatError: mismatched tag: line 35, column 2

"Not found" for right AOID

check with D7544B53-F7CC-4F00-849B-3D8043780922

Для COPY нужны права root, предупредить

Проверить на root при старте

Ошибка, если отсутствует /tmp папка

Делать попытку создания

Что осталось?

1. + Сделать запись версии (обновленной) в базу и чтение этой версии. (63f7827)
2. -+ Сделать API (e249be2), ...
3. + Сделать тестовое приложение (e249be2)

Не удается получить список обновлений

При первой установке список обновлений не может быть получен (база пуста, таблицы CONFIG еще нет)

Сделать возможность импорта с существующего rar-архива

не заполняется БД

при первом запуске init.sh не может подключиться к БД
File "/usr/local/lib/python3.10/asyncio/selector_events.py", line 535, in _sock_connect_cb raise OSError(err, f'Connect call failed {address}') ConnectionRefusedError: [Errno 111] Connect call failed ('172.18.0.2', 5432) [Errno 111] Connect call failed ('172.18.0.2', 5432)
при последующих запусках
File "/usr/local/lib/python3.10/site-packages/asyncpg/connection.py", line 318, in execute return await self._protocol.query(query, timeout) File "asyncpg/protocol/protocol.pyx", line 338, in query asyncpg.exceptions.BadCopyFileFormatError: extra data after last expected column extra data after last expected column

По релевантности

-Можно убрать стемминг с основы - отсечем словоформы, которые мы итак можем найти предварительно. Этот же стемминг добавить в малый индекс.
-Еще нужно сделать так, чтобы слово не бустило рейтинг, если оно несколько раз встретилось. Всякие там MAYBE не дают решения.
-Как вариант, смотреть где находится слово:

1. Если рядом слово и сокращение - объединять
2. Последнее слово искать ближе к концу (улицы там, пункты)

Спрашивать версию базы при обновлении из папки или архива

Для записи в базу ненулевого значения.