error in 20NG-GenSim vs TopicNet

[machine-intelligence-laboratory]

error in 20NG-GenSim vs TopicNet

[bt2901]

Я спросил у ребят из dice-group: dice-group/Palmetto#38 (comment)

Они делают большой оверхаул своей инфраструктуры, поэтому пока что не всё работает. В будущем всё это починится.

Если подсчёт когерентностей нужен прямо сейчас, то вот в этом ноутбуке есть подсчёт когерентностей через совстречаемости.

Замечу, что это происходит на том же корпусе, что и модель, а Palmetto вычисляет совстречаемости на внешнем корпусе (английская Википедия). Это актуально, например, для не-английских корпусов или корпусов с сильно специфичной лексикой.

[bt2901]

А на какой именно строчке вылетает? Можно Traceback?

В целом есть подозрение, что проблема в предыдущей ячейке: DATASET_PATH = '20_News_dataset/train_preprocessed.csv' надо поменять на актуальный путь.

[sladkoejka]

Да, препроцессинг перевыполнил, запустилось. Спасибо.

[sladkoejka]

Понимаю, что не ваш сервис, но онлайн сервис для определения когерентности теперь не работает. Только локально теперь запускать

[Evgeny-Egorov-Projects]

Боюсь быстро и "из коробки" мы тебе тут не поможем.
Можешь

1. поискать реализации по гитхабу
2. разобраться как считать совстречаемости в BigARTM и написать такую метрику самому.

Если всё пойдёт идеально то недели через 2-3 у нас появится такой код в ветке разработки либы (мы тоже не хотим зависеть от онлайн сервисов оценивая свои модели). Вот гайд из документации библиотеки, к сожалению по нему мы пока ничего не делали (реализуй на свой страх и риск).

[sladkoejka]

Спасибо, как раз с этим ноутбуком разбираюсь)
Жаль, что нигде нет видео-инструкции как этот файл запускать

[Evgeny-Egorov-Projects]

Привет @sladkoejka еще раз. Мы (команда лаборатории) хотим сейчас собрать все пожелания к улучшению библиотеки в одном месте и естественно не могли пройти мимо такого активного пользователя как ты! Предлагаю написать мне на почту ([email protected]) удобное время и канал общения. Я позадаю вопросы про то как и зачем ты использовал библиотеку, что было тяжело\непонятно и всё в таком духе.