evgueni-petrov-aka-espetrov/testdriver

Тестеры для лабораторных работ по дисциплине Программирование ФИТ НГУ

TestDriver

Здесь работаю над тестерами для лабораторных работ по дисциплине Программирование ФИТ НГУ.

Ставьте звезды, создавайте issue, делайте пул-реквесты :-)

Если исходный код тестеров обновлялся менее 6 месяцев назад, то архивы с исполняемыми файлами находятся по ссылке в разделах Image: Visual Studio 2015 -> Artifacts и Image: Ubuntu -> Artifacts

https://ci.appveyor.com/project/Evgueni-Petrov-aka-espetrov/testdriver

Как устроен TestDriver

*.h, *c -- исходный код

директория test -- тесты для тестировщиков, собранные под Windows и Linux (эталонные решения)

CMakeLists.txt -- описание сборки тестировщиков

.appveyor.yml -- описание тестирования тестировщиков на сервисе appveyor.com

Как обновить тестировщик

Обновите *.h, *.c

Если поменялся формат in.txt и/или out.txt, и/или старое решение содержит ошибку, то обновите эталонные решения

Как добавить новый тестировщик

Обновите *.h, *.c

Добавьте эталонные решения в директорию test

Добавьте новый тестировщик в CMakeLists.txt

Добавьте новый тестировщик в .appveyor.yml

Типичные изменения в CMakeLists.txt и CMakeLists.txt можно посмотреть в истории коммитов

Локальная сборка и отладка тестировщиков

Для компиляции тестовщиков под убунту можно использовать такой докер файл:

FROM ubuntu:18.04 as build-env

RUN apt-get update && apt-get -y install gcc git

testdriver's Issues

Useless timing '0 ms'

At this place test driver measures CPU time taken by system to launch the lab, not the time taken by the lab itself. So the time reported is confusing, or useless at least. It mostly shows '0 ms'

Correct timing should should measure the CPU time of the child process.

This is what I see on mac osx.

Windows tester bug

На Windows тестировщик не запускает лабу и выдаёт ошибку "2 in CreateProcess", если в имени исполняемого файла есть пробел.

Lab7

На третий тест некорректно создается in.txt
in.txt
Debug.zip
out.txt