carbonsoft/reductor_satellite_installer

Установщик системы выгрузки единого реестра запрещённых сайтов и проверки фильтрации трафика проектом Carbon Reductor

reductor_satellite_installer's Issues

Запускать update перед каждым запуском проверки фильтрации

Улучшить параллельную обработку

checker() {
        local func proto list
        func=$1
        proto=$2
        list="${3:-${lists[$proto]}}"
        echo "~]а~Gинаем п~@ове~@~O~B~L ~Dил~L~B~@а~Fи~N п~@о~Bокола $proto по ~Dайл~C $list"
        sleep 0.5
        sort -u "$list" > "$list.sorted"
        mv -f "$list.sorted" "$list"

        while true; do
                trap "kill 0" EXIT
                for thr_num in $(seq 1 $THREADS); do
                        (
                        i=0
                        while read -t 1 entry; do
                        i=$((i+1))
                        $func "$entry" "$proto"
                        if [ "$((i%100))" == "0" ]; then
                                echo "$thr_num"
                                show_report "$proto"
                        fi
                        done
                        )&
                done
                wait
                show_report "$proto"
                break
       done < "$list"
}

mkdir -p /tmp/reductor/ в update.sh

Контейнер для Docker

Добрый день !

Вот заготовка минималистичного контейнера для Docker под сателлит.
Если будет желание, может со временем еще чуток допилю.

https://github.com/ZigFisher/MyDocker/tree/master/project_centos-6.8_satellite

Поддержка хуков в filter_checker.sh для отправки статистики во всякие мониторинги итд

Например

INFLUXDB=10.1.1.1
ROUTER="$(ip r g 8.8.8.8 | egrep -o "via [^ ]+" | cut -d ' ' -f2)"
NOT_BLOCKED="$(wc -l < $DATADIR/1)"
curl -sSL "http://$INFLUXDB:8086/write?db=reductor" -d "not_blocked_http,host=$ROUTER value=$NOT_BLOCKED"

Поддержка обновления, хотя бы вручную в 1 команду

Проблема с inodes

Добрый день !

Скрипты сателлита, работающие в системе, захламляют каталог TMPDIR=/tmp/filter_check/
создавая там кучу мелких файлов.

Основная проблема в том, что если система работает 5+ месяцев, то в этом каталоге будет миллионов 10-15 файлов, которые занимают и соответствующее количество inodes.

Мало того, что система будет тупить и сигнализировать, что inodes заканчиваются, так и еще когда проблема всплывёт наружу, то и удалить их будет проблематично.

Удаление 14,5 миллионов файлов заняло 23 часа.

Пожалуйста, обратите внимание на это !

Как указать параметр IP сателлита?

Устанавливаю по инструкции. Зашел на сервер с КарбонРедуктором, склоинировал репоиторий, н не понимаю как выполнить этот пункт:

3. Запускаем скрипт установки с параметром - ip новой машины, где будет стоять satellite

Пробовал по-всякому, не работает:

[root@carbon-reductor reductor_satellite_installer]# ./install.sh 192.168.235.68 ./install.sh: line 128: 192.168.235.68: команда не найдена [root@carbon-reductor reductor_satellite_installer]# ./install.sh --ip 192.168.235.68 ./install.sh: line 128: --ip: команда не найдена [root@carbon-reductor reductor_satellite_installer]# ./install.sh -ip 192.168.235.68 ./install.sh: line 128: -ip: команда не найдена [root@carbon-reductor reductor_satellite_installer]#

Проверять фильтрацию HTTPS ресурсов

Необходимо отключить использование hsts wget-ом

В файле filter_checker.sh заменить 46-ю строчку с

WGET="/usr/local/bin/wget --content-on-error --no-check-certificate -t 1 -T 10 -q -O-"

на

WGET="/usr/local/bin/wget --content-on-error --no-check-certificate --no-hsts -t 1 -T 10 -q -O-"

Из отчета о незаблокированных пропадет ютуб.