Пример парсера, написанного на Java для сбора информации с сайта Citilink.
- JDK 17
- Gradle 8.4 +
Склонировать репозиторий:
git clone https://github.com/madnessday666/java-site-parser-example.git
Перейти в директорию с проектом:
cd java-site-parser-example
Собрать JAR файл при помощи Gradle:
./gradlew jar
Перейти в директорию с JAR файлом:
cd build/libs
Запустить приложение:
java -jar parser.jar [OPTIONS]
Для запуска приложения необходимо задать параметры:
parser.jar [OPTIONS]
Параметры можно комбинировать между собой.
Список параметров
Параметр | Тип | Пример | Описание |
---|---|---|---|
-c, --category |
Integer | parser.jar -c 1 |
Парсит данные категории под номером 1 (включая все подкатегории). |
-f, --format |
String | parser.jar -f html |
Устанавливает формат конечного файла. Варинаты: html, csv. |
-h, --help |
- | parser.jar -h |
Вывести "помощь". |
-l, --list |
String | parser.jar -l regions |
Вывести список возможных категорий/регионов. Варианты: categories, regions. |
-p, --pages |
Integer | parser.jar -p 3 |
Количество страниц категории для парсинга. |
-t, --timeout |
Integer | parser.jar -t 5 |
Таймаут загрузки страницы. |
-o, --output |
String | parser.jar -o /home/user/ |
Путь до директории для создания файла. |
-r, --region |
String | parser.jar -r Москва |
Регион для парсинга. |
-u, --url |
String | parser.jar -u https://www.citilink.ru/catalog/smartfony/ |
Ссылка на категорию. |