nginx-modules/cdn

Content delivery application

Описание

Простой CDN сервер на базе связки Nginx+Lua и немного Python.

• Upload/Download файлов
• Upload progress
• Video streaming (.mp4)
• Resize/Crop/Blur изображений

В репозитории предоставлены конфигурационные файлы для обеспечения функциональности и не включают в себя тонкостей, специфичных для каждого проекта.

Попробовать

$ git clone https://github.com/pirsipy/cdn.git
$ cd cdn
$ vagrant up

Список ресурсов

Описание	URL	Тип запроса
Upload файлов	http://localhost:8080/upload/	POST
Upload progress	http://localhost:8080/progress/	GET
Download файлов	http://localhost:8080/<path>	GET
Video streaming	http://localhost:8080/<path>.mp4	GET
Resize/Crop/Blur изображений	http://localhost:8080/<path>.<image type>	GET

Upload файлов

Загрузка файла(ов) на сервер.

Для трэкинга прогресса загрузки необходимо передавать заголовок запроса X-Progress-Id: <unique_id> или аналогичный GET-параметр: http://localhost:8080/upload/?X-Progress-Id=<unique_id>.

В качестве <unique_id> рекомендуется генерировать uuid.

Возможна передача нескольких файлов одним запросом.

Пример ответа:

[
    {
        "type": "image/jpeg",
        "url": "http://localhost:8080/a0/41/c9/be59f980ef.jpg",
        "name": "example.jpg",
        "md5": "a61abd29931707236bfeae95fda21a3e",
        "size": "145400"
    }
 ]

Upload progress

Получение информации о статусе передачи контента на сервер.

Для получения информации нужно использовать X-Progress-Id, указанный при запросе передачи контента на сервер, следующим образом:

http://localhost:8080/progress/?X-Progress-Id=<unique_id>

Пример ответа:

{ "state" : "uploading", "received" : 388360, "size" : 2154474 }

Download файлов

Получение загруженного файла по ссылке, сгенерированной при загрузке контента на сервер.

Пример ссылки:

http://localhost:8080/a0/41/c9/be59f980ef.jpg

Video streaming

В случае, когда контентом является видео в формате mp4, данные передаются по технологии streaming, что позволяет:

• Использовать HTTP статус 206 Partial Content для получения чисти контента, т.е. так называемой "перемотки".
• Использовать GET параметр start с указанием значения в секундах для определения начала воспроизведения.
• Использовать GET параметр end с указанием значения в секундах для определения конца воспроизведения.

Примеры запросов:

http://localhost:8080/e0/1c/88/0cd65b8f50.mp4
http://localhost:8080/e0/1c/88/0cd65b8f50.mp4?start=200
http://localhost:8080/e0/1c/88/0cd65b8f50.mp4?end=500
http://localhost:8080/e0/1c/88/0cd65b8f50.mp4?start=300&end=600

Resize/Crop/Blur изображений

При первичном запросе генерируется файл по заданным параметрам. Последующие аналогичные запросы используют уже имеющийся файл. Своего рода кэширование.

Resize/Crop изображений

Изменение размера/Обрезание части изображений с помощью GET параметра size.

"500x300"       -- Изменение размера изображения с сохранением соотношения сторон,
                --  ширина не превышает 500px, а высота 300px
"500x300!"      -- Изменение размера изображения до 500px на 300px,
                --  игнорируя соотношение
"500x"          -- Изменение ширины изображения до 500px,
                --  сохраняя соотношение
"x300"          -- Изменение высоты изображения до 300px,
                --  сохраняя соотношение
"50%x20%"       -- Изменение ширины изображения до 50% и высоты до 20%
                --  относительно оригинала
"500x300c"      -- Изменение размера изображения до 500px на 300px, но обрезая
                --  верхнюю или нижнюю часть, сохраняя соотношение сторон
"500x300+10+20" -- Обрезание части изображения до 500px на 300px
                --   с позиционированием 10,20

Примеры запросов:

http://localhost:8080/a0/41/c9/be59f980ef.jpg?size=500x300
http://localhost:8080/a0/41/c9/be59f980ef.jpg?size=500x300!
http://localhost:8080/a0/41/c9/be59f980ef.jpg?size=500x
http://localhost:8080/a0/41/c9/be59f980ef.jpg?size=x300
http://localhost:8080/a0/41/c9/be59f980ef.jpg?size=50%x20%
http://localhost:8080/a0/41/c9/be59f980ef.jpg?size=500x300c
http://localhost:8080/a0/41/c9/be59f980ef.jpg?size=500x300+10+20

Blur изображений

Наложение фильтра blur на изображение с помощью одноименного GET параметра blur, в котором задается уровень от 1 до 100.

Пример запроса:

http://localhost:8080/a0/41/c9/be59f980ef.jpg?blur=5

Возможно комбинирование описанных параметров:

http://localhost:8080/a0/41/c9/be59f980ef.jpg?size=500x300&blur=5

Установка

Работоспособность проверена на CentOS 7 и предоставлена в виде vagrant образа pirsipy/cdn.

Обновление системы и установка зависимостей

$ sudo yum update -y
$ sudo yum groupinstall -y "Development tools"
$ sudo yum install -y ImageMagick ImageMagick-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel pcre-devel

Установка Python 3.4 (рекомендуется)

Переключение во временную директорию

$ cd /tmp

Загрузка, компиляция и установка Python 3.4

$ wget https://www.python.org/ftp/python/3.4.3/Python-3.4.3.tgz
$ tar xf Python-3.4.3.tgz
$ cd Python-3.4.3
$ ./configure --prefix=/usr/local --enable-shared
$ make
$ sudo make install
$ sudo echo /usr/local/lib >> /etc/ld.so.conf.d/local.conf
$ sudo ldconfig

Переключение во временную директорию

$ cd /tmp

Загрузка upload-module для Nginx (http://wiki.nginx.org/HttpUploadModule)

$ git clone https://github.com/vkholodkov/nginx-upload-module.git --branch 2.2

Загрузка upload-progress-module для Nginx (http://wiki.nginx.org/HttpUploadProgressModule)

$ git clone https://github.com/masterzen/nginx-upload-progress-module.git

Загрузка готовой сборки Nginx с набором остальных необходимых компонентов (http://openresty.org)

$ wget http://openresty.org/download/ngx_openresty-1.7.10.1.tar.gz

Конфигурирование, компиляция и установка

$ tar xzf ngx_openresty-1.7.10.1.tar.gz
$ cd ngx_openresty-1.7.10.1
$ ./configure --with-http_mp4_module --add-module=/tmp/nginx-upload-module --add-module=/tmp/nginx-upload-progress-module
$ make
$ sudo make install
$ sudo ln -s /usr/local/bin/python3 /usr/bin/
$ sudo ln -s /usr/local/bin/pip3 /usr/bin/

Создание ссылки (для удобства) на исполняемый файл nginx

$ sudo ln -s /usr/local/openresty/nginx/sbin/nginx /usr/sbin/

Настройка

Некоторые из указанных настроек несут лишь рекомендуемый характер.

Добавим в систему пользователя webmaster, от имени которого будем производить запуск необходимых компонентов

$ sudo useradd webmaster

Добавим директории для логирования

$ mkdir /home/webmaster/logs
$ mkdir /home/webmaster/logs/nginx

Подключение дополнительного репозитория epel

$ sudo yum install -y epel-release

Установка supervisor для атоматического запуска необходимых компонентов

$ sudo yum install -y supervisor

Автоматический запуск supervisor при загрузке сервера

$ sudo systemctl enable supervisord

Изменение настроек supervisor. Заменить содержимое файла /etc/supervisord.conf на:

[unix_http_server]
file=/tmp/supervisor.sock
username=user
password=123

[supervisord]
logfile=/home/webmaster/logs/supervisord.log
logfile_maxbytes=50MB
logfile_backups=5
loglevel=info
pidfile=/tmp/supervisord.pid
nodaemon=false
minfds=1024
minprocs=200
user=webmaster

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock
username=user
password=123
history_file=~/.sc_history

[include]
files = /home/webmaster/app/*.ini

Изменение настроек nginx. Заменить содержимое файла /usr/local/openresty/nginx/conf/nginx.conf на:

user webmaster;
worker_processes 1;
daemon off;

error_log  /home/webmaster/logs/nginx/error.log;
pid        /tmp/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    access_log    /home/webmaster/logs/nginx/access.log;

    sendfile           on;
    keepalive_timeout  65;
    gzip               on;

    include /home/webmaster/app/*.conf;
}

Gist с файлами настроек: https://gist.github.com/vilisov/2656f0bf5f7e0ce5632f

Запуск

Склонировать репозиторий в директорию /home/webmaster/app

$ cd /home/webmaster
$ git clone https://github.com/pirsipy/cdn.git app

Установка python зависимостей

$ cd /home/webmaster/app
$ sudo pip3 install -r requirements.txt

Запускаем supervisor

$ sudo service supervisord start

Или перезапускаем, если уже был запущен

$ sudo service supervisord restart

После запуска результат выполнения команды

$ supervisorctl status

должен выглядеть примерно так:

cdn:nginx                        RUNNING    pid 2907, uptime 3:47:24
cdn:upload                       RUNNING    pid 2909, uptime 3:47:24

Основные настройки и пути к файлам

Файл /home/webmaster/app/nginx.conf

Переменная/Директива	Описание
listen	Порт, на котором будет запущен сервер
$BASE_PATH	Основной путь к директории, куда склонен репозиторий
$files	Дериктория, в которую будут загружаться файлы
$cache	Директория для кэширования преобразованных изображений
client_max_body_size	Максимальный размер запроса к серверу
$limit_rate	Ограничение на скорость отдачи контента от сервера
upload_limit_rate	Ограничение на скорость загрузки контента на сервер

Файл /home/webmaster/app/server.py

Переменная	Описание
BASE_PATH	Дериктория, в которую будут загружаться файлы

P.S.

В данном описании команды с префиксом sudo означают запуск с паравами root пользователя. О настройке данной возможности есть много информации в интернете. Если все же не получилось настроить, то данные команды можно выполнять авторизовавшись под пользователем root.

При использовании vagrant возможна длительная загрузка данных на виртуальную машину при использовании ресурса http://localhost:8080/upload/. Это связано с медленной синхронизацией смонтированной директории.

Контакты

По всем вопросам можно обращаться любым удобным способом:

VK	Email	Skype
https://vk.com/stas.vilisov	[email protected]	stas.pirsipy

@ 2015 Pirsipy