petrov1c/prune_labse_en_ru

Прунинг LaBSE-en-ru

Прунинг LaBSE-en-ru

Будем уменьшать и ускорять LaBSE-en-ru

Уменьшать будем путем прунинга, после чего дообучим полученную сеть методом дистилляции

Прунинг - это удаление определенных частей модели (подрезание)
Дистилляция - это процесс передачи знаний от учителя к ученику

Прунинг можно воспринимать как правильную инициализацию сети ученика. Есть работы, показывающие, что прунингом можно достичь лучшего результата, чем просто взяв сеть меньшего размера и дообучив её

Данные

Для обучения используется корпус парных предложений https://translate.yandex.ru/corpus.

Настройка окружения

1. Создание

   python3 -m venv /path/to/new/virtual/environment
   source /path/to/new/virtual/environment/bin/activate
   

2. Установка зависимостей

   make install
   

3. Настройка ClearML

   • Регистрируемся в ClearML, если ещё нет аккаунта.
   • в своем профиле ClearML нажимаем "Create new credentials"
   • в консоли пишем clearml-init и следуем инструкциям

Запуск пайплайна

make train

Просмотр экспериментов

• Локально в папке experiments лежат чекпойнты лучших моделей
• В ClearML

Проверка качества эмбеддингов на бейчмарке encedechka

make infer - для запуска в терминальном режиме
notebooks/encodechka_evaluation_2024.ipynb - jupyter блокнот