pkasila/text-analysis

A group task at the Lyceum BSU to create a digital fingerprint of the text to identify the author

text-analysis's Issues

Реализовать сбор статистики по встречаемости символов

Статистика

• #5
• #6
• #7

Таблица "Статистика алфавита"

Буква	Частота	Буква	Частота	Буква	Частота	Буква	Частота
пробел	0,145	р	0,041	я	0,019	х	0,009
о	0,095	в	0,039	ы	0,016	ж	0,008
е	0,074	л	0,036	з	0,015	ю	0,007
а	0,064	к	0,029	ъ, ь	0,015	ш	0,006
и	0,064	м	0,026	б	0,015	ц	0,004
т	0,056	д	0,026	г	0,014	щ	0,003
н	0,056	п	0,024	ч	0,013	э	0,003
с	0,047	у	0,021	й	0,010	ф	0,002

Статистика по предлогам, союзам, междометиям и частицам (наиболее часто встречающимся)

Статистика по использованию звонких и глухих согласных звуков

Статистика по всем буквам алфавита (delta между статистикой из таблицы и значением по тексту)

Буква	Частота	Буква	Частота	Буква	Частота	Буква	Частота
пробел	0,145	р	0,041	я	0,019	х	0,009
о	0,095	в	0,039	ы	0,016	ж	0,008
е	0,074	л	0,036	з	0,015	ю	0,007
а	0,064	к	0,029	ъ, ь	0,015	ш	0,006
и	0,064	м	0,026	б	0,015	ц	0,004
т	0,056	д	0,026	г	0,014	щ	0,003
н	0,056	п	0,024	ч	0,013	э	0,003
с	0,047	у	0,021	й	0,010	ф	0,002

(Женя) Статистика по чередованию гласных и согласных букв

Для каждой гласной (согласной) буквы определить гласная или согласная буква стоит после нее (перед ней).

Статистика по длине слов и предложений

Вариант решения

По словам

• Разбить текст по пробелам в вектор - определить слова
• Определять длину слова, исключая знаки препинания

По предложениям

• Разбить текст по точкам - определить предложения
• Определять длину предложения

Возврат статистики

Статистика возвращается в подобной структуре:

struct lengths {
    size_t min;
    size_t avg;
    size_t max;
}

Статистика по буквосочетаниям

Буквосочетания

СТ, НО, ЕН, ТО, НА, ОВ, НИ, РА, ВО, КО, СТО, ЕНО, НОВ, ТОВ, ОВО, ОВА

Статистика по знакам препинания

Cтатистика по количеству сочетания трех гласных и трех согласных в слове подряд

Привести статистику по количеству пар слов, первое из которых заканчивается на 2-3 гласные, а второе начинается с 2-3 согласных

Вывод статистики в CSV

Формат вывода

File Name,Vowels,Consonants,RareConsonants,...
../data/text01.txt,772,1027,95,...

Реализовать проверку по редким согласным

Редкие согласные:

фчхцщшж

Найти наиболее часто встречающиеся слово (слова)

• Подсчёт количества уникальных слов
• Сортировка результатов