Open-source toolkit that simplifies and speeds up work with bioinformatics data. high-perf-bio allows you easily upload VCF, BED or arbitrary tables to DB and execute popular bioinformatic queries without MongoDB Query Language knowledge.
License: GNU General Public License v3.0
Уже есть подобная функциональность у bedtools, но хочется, чтобы были:
Отличие от bedtools (UPD-13.04.2020):
Каждый конечный файл - BED по левой коллекции с немодифицированными интервалами. Т.е. пересечение и вычитание применяется исключительно для отбора данных. bedtools же по умолчанию выводит пересёкшиеся или непересёкшиеся области исходных интервалов, что не сочеталось бы с настройкой глубины intersect_subtract.
Реализация:
{'$lookup': {'from': ..., 'let': {...}, 'pipeline': ..., 'as': ...}}.Сейчас результаты выводятся в виде текстовых файлов. Для дальнейшего анализа их приходится вручную заливать в ещё одну БД. Надо бы сделать функциональность сохранения в базу напрямую.
Реализация:
-t. Любой путь (даже к домашней папке) содержит слэши. Сделаю так: значение -t без слэшей будет восприниматься как имя новой БД для результатов. Проработаю поведение на случай существования базы с тем же именем.Сейчас программа принимает одиночный запрос в качестве аргумента командной строки. В реальных исследованиях приходится для каждого набора данных выполнять много запросов.
Реализация:
{'INFO.0.AF_AFR': {'$lt': Decimal128('0.02')}, 'INFO.0.AF_EUR': {'$gt': Decimal128('0.3')}, 'INFO.0.AF_EAS': {'$gt': Decimal128('0.3')}}
{'INFO.0.AF_AFR': {'$lt': Decimal128('0.02')}, 'INFO.0.AF_EUR': {'$gt': Decimal128('0.3')}, 'INFO.0.AF_EAS': {'$lt': Decimal128('0.02')}}
{'INFO.0.AF_AFR': {'$lt': Decimal128('0.02')}, 'INFO.0.AF_EUR': {'$lt': Decimal128('0.02')}, 'INFO.0.AF_EAS': {'$gt': Decimal128('0.3')}}
{'$or': [{'INFO.0.AF_AFR': {'$gte': Decimal128('0.02')}}, {'INFO.0.AF_EUR': {'$lte': Decimal128('0.3')}}, {'INFO.0.AF_EAS': {'$lte': Decimal128('0.3')}}]}
{'$or': [{'INFO.0.AF_AFR': {'$gte': Decimal128('0.02')}}, {'INFO.0.AF_EUR': {'$lte': Decimal128('0.3')}}, {'INFO.0.AF_EAS': {'$gte': Decimal128('0.02')}}]}
{'$or': [{'INFO.0.AF_AFR': {'$gte': Decimal128('0.02')}}, {'INFO.0.AF_EUR': {'$gte': Decimal128('0.02')}}, {'INFO.0.AF_EAS': {'$lte': Decimal128('0.3')}}]}
Сейчас поля отбираются блоком Python-кода при потрошении курсора. Если реализовать обычный MongoDB-project {'field_A': 1, 'field_C': 1, field_E: 1}, то пропадут замержденные правые документы, и невозможно будет фильтровать результаты по охвату. Думаю, надо действовать через исключение полей: {'field_B': 0, 'field_D': 0}. Это сложнее, но вполне реализуемо.
Для VCF, BED и других биоинформатических форматов страшнее бага не придумать. Уже сообщил разработчиками MongoDB:
https://jira.mongodb.org/browse/SERVER-63853
Проголосуйте там, плз, откоментьте.
UPD.
Сейчас актуальнее прогососовать тут:
https://feedback.mongodb.com/forums/924280-database/suggestions/44875462-preserve-field-order-in-merge
(хотя по старой ссылке тоже не будет лишним)
Для оценки, из чего состоит база, как-то недостаточно вывода имён полей и индексов. Надо иметь возможность демонстрации целых документов.
Варианты реализации:
Думаю над более конкретной фичей, чем #3.
Для VCF это не просто эстетическая штука, а обязательное требование. Что касается BED, там несортированность не смертельна, но снижает производительность некоторым программам (например, bedtools).
Реализация:
Все компоненты high-perf-bio ориентированы на фильтрацию данных, размещённых в базы. Допущенное мною исключение - конкатенатор коллекций, да и там тоже возможна фильтрация ($project). Проги, сильно выходящие за рамки этого принципа, я буду размещать в отдельном каталоге - plugins. Планируемый обогатитель ID-столбца rs-идентификаторами, скорее всего, станет первым таким инструментом. Результаты будут формироваться не из коллекций, а из обычного VCF-файла. БД понадобится программе лишь как источник соответствия координат и аллелей с rsIDs.
Многие TSV, увы, идут без шапки. А программе она нужна для формирования имён полей в создаваемой базе. Сейчас create подгружает имена полей из самой первой или первой после метаинфы табличной строки. В результате, в случае отсутствия в исходной таблице шапки, ключи документов получатся бессмысленными. Проще прописать шапку на уровне составления команды, чем расковыривать здоровенную таблицу. Кроме того, в ряде случаев, например, при работе с SAM, наличие шапки не приветствуется спецификациями формата. Кстати, о SAM: у меня в далеко идущих планах есть его полная поддержка (#21), но появление возможности добавления кастомного набора ключей было бы неплохим временным хаком, чтобы уже сейчас удавалось загружать SAM в БД хотя бы под видом TSV.
Реализация:
Как в CLI, так и в GUI надо запрашивать у исследователя строку, где элементы соединены с помощью \t. В CLI напоминать о необходимости заключать эту строку в кавычки. Что касается GUI, надеюсь, как можно скорее в @streamlit появится виждет каскадного ввода, и процесс построения шапки значительно упростится. Голосуйте за создание этого виджета!
ID по ID.Кстати, подобное уже есть в revitalize_id_column.
Многие компоненты принимают сжатые таблицы, но выводят несжатые. Перед тем, как подать вывод одного компонента на вход другому, приходится отдельно запускать башовый однострочник-сжиматель. При частой работе с high-perf-bio эта мелкая недоработка начинает бесить.
Проиндексированные поля, вероятнее всего, являются наиболее значимыми для исследователя. Хорошо бы выдавать таблицы, отсортированные по соответствующим столбцам. Т.к. поля - с индексами, на производительность сортировка не должна влиять.
Пусть это будет единым для CLI и GUI именем объектов, накапливающих пользовательский ввод.
autopep8 я выбрал, ибо он - наименее агрессивный форматтер. Хочется сохранить собственный, выработанный годами код-стайл, но при этом по-максимуму соблюдать PEP-8.
"autopep8.args": [
"--max-line-length=1000"
]
Подробная инструкция для начинающих любителей Visual Studio Code:
CTRL+,Autopep8: ArgsДобавить элемент--max-line-length=1000OK__pycache__-папок портило результаты ld-tools. С тех пор я запрещаю их создание с помощью sys.dont_write_bytecode = True. Но эта строка должна идти в самом начале модуля, что, естественно, выбесит форматтер. Надо временно притупить его бдительность:# autopep8: off
import sys; sys.dont_write_bytecode = True
# autopep8: on
CTRL+SHIFT+IЕсли понадобится понять встречаемость групп характеристик, лежащих в пределах поля. Допустим, можно будет группировать целиковые генотипы, когда те примут вид [1, '│', 0] вместо '1│0' (#33).
Сейчас может читаться и создаваться INFO-столбец, оформленный по стандарту ANN. Но существует и другой стандарт - CSQ (ConSeQuence annotations). В идеале надо, чтобы он тоже поддерживался.
Код инитов тогда существенно разгрузится.
Кандидаты на вынос:
Возможно, стоит также перенести в этот модуль функцию parse_nested_objs.
Некоторые важные данные, например, источник соответствия rsIDs разных версий dbSNP, доступны в виде сабжа.
Реализиция:
Сейчас программа параллельно качает несколько файлов из одного портала, потом то же самое - со следующего портала. Это создаёт чрезмерную нагрузку на сервер и вряд ли способствует значимому повышению скорости скачивания. Возможно, именно из-за такого поведения проги FTP Европейского Института Биоинформатики (EMBL-EBI) начинает вредничать, то и дело обрубая загрузку. Хочу переписать программу, чтобы параллелить на уровне порталов, а не файлов.
Для каждой строки аннотируемой таблицы формируется свой запрос, но выделить общую часть всех ежестрочных запросов всё же возможно. С появлением функциональности дозапроса становится очевидной необходимость вывода метастроки с запросом, пусть и не до конца сформированным.
Сейчас имя БД приходится вбивать.
Для формирования списка баз надо будет импортировать MongoClient в соответствующем GUI-модуле.
Хочется, конечно, следовать ранее заявленному правилу "новый результат - в новый файл или базу", но практика показала, что фича очень нужная.
Чтобы исследователь осознавал, что модифицирует имеющуюся базу, думаю, стоит сделать отдельный разрешающий флажок.
Удивительно, что я раньше этого не заметил. Если, к примеру, среди вариантов попались мультиаллельники, MongoDB выдаст Unsupported conversion from array to string. Пример куска агрегации, не рассчитанного на списки:
{'$group': {'_id': {'$concat': [{'$toString': '$ID'}, '_', {'$toString': '$REF'}, '_', {'$toString': '$ALT'}]}, <...>}}
Для более гибкого запрашивания.
Как это будет выглядеть:
'1│0' --> [1, '│', 0]
Обратная совместимость.
Обновлять doc_to_line не придётся, т.к. он изначально способен работать со списками внутри GT.
Раз GUI-модули теперь подгружают MongoClient (#30), то открывается возможность сделать мышко-ориентированный выбор монгячих полей. Поскольку st.multiselect при невыборе выдаёт пустой список, а не пустую строку, понадобится учесть это в инитах соответствующих главных модулей.
Сабж представляю себе таким:
[Desktop Entry]
Type=Application
Version=1.0
Name=high-perf-bio
Comment=Open-source toolkit that simplifies and speeds up work with bioinformatics data
#Replace SPICIFY/PATH/TO with real path:
Path=SPICIFY/PATH/TO/high-perf-bio-master
Exec=bash -c 'streamlit run _gui_streamlit.py'
Icon=utilities-terminal
Terminal=true
Categories=Application;
#Next steps:
#cd SPICIFY/PATH/TO/high-perf-bio-master
#sudo cp _gui_streamlit.desktop /usr/share/applications/
Но, как минимум, в elementary OS двойной клик лишь открывает _gui_streamlit.desktop в блокноте. Если переместить файл в /usr/share/applications/, исполняться он от этого не научится.
Terminal=true, в Exec прописана работоспособная команда... Что ещё нужно для счастья?
Уже есть такой продукт в старом скриптовом проекте. Но хочу переписать с нуля и переосмыслить функциональность.
Сейчас отбирать поля ex-VCF запрещено, т.к. непонятно, как быть с INFO, FORMAT и полями с генотипами. Но есть ведь задачи типа выделения из VCF координат и/или rsIDs и/или аллелей. Так что разлочить надо, но с ворнингом, что сложные объекты тупо отсериализуются, а к вложенным полям доступа нет из-за вредности MongoDB.
К примеру, строка
RS=1570391677;dbSNPBuildID=154;SSR=0;PSEUDOGENEINFO=DDX11L1:100287102;VC=SNV;GNO;FREQ=KOREAN:0.9891,0.0109|SGDP_PRJ:0,1;COMMON
преобразуется в
"INFO": [{
"RS": 1570391677,
"dbSNPBuildID": 154,
"SSR": 0,
"PSEUDOGENEINFO": "DDX11L1:100287102",
"VC": "SNV",
"FREQ": ["KOREAN:0.9891", "0.0109|SGDP_PRJ:0", 1]
},
["GNO", "COMMON"]
]
Очевидно, что значения подполей вроде PSEUDOGENEINFO и FREQ должны делаться словарями.
Сейчас они выбрасываются ещё на этапе создания БД и не могут оказаться в результатах парсинга коллекций. Без строк метаинформации получающиеся таблицы не полностью соответствуют стандарту VCF. Надо бы эти строки протаскивать в базу и кидать в конечные файлы. Но остаются вопросы, требующие углубления в спецификации формата.
Раз задумка касается только VCF, то проге быть плагином.
Прототип:
Если с $unwind-стадией всё просто, то с формированием $group придётся чуть повозиться:
$group ID в качестве _id;$first-выражений, вставив туда вышеупомянутые имена полей;$group;ALT заменить $first на $push.Жёсткая проверка правильности ввода имён полей путём поиска по ключам первого документа первой коллекции иногда всё-таки приводит к недоразумениям. К примеру, в первом документе dbSNP ex-VCF, насколько я помню, нет GENEINFO (или PSEUDOGENEINFO - лень проверять), и если попытаться выполнить по нему запрос, вылезет ошибка, что, мол, этого поля нет во всей коллекции. От проверки отказываться не буду, но заменю исключение на предупреждение. Понадобится модуль warnings стандартной библиотеки.
query потрясающ, но во многих ситуациях его функциональность избыточна. Нужно, чтобы как можно больше инструментов high-perf-bio, отличных от query, позволяли применить одиночный пользовательский запрос, дополняющий запрос основной. Принимать произвольное MQL/PyMongo-выражение программы должны будут через соответствующий аргумент CLI или виджет Streamlit-GUI.
Зачем?
Недостаток использования high-perf-bio как Docker-контейнера: команды запуска компонентов распухнут из-за необходимости монтирования томов.
Планирую рефакторинг основных компонентов и плагинов, который позволит запускать их с помощью GUI или импортировать в другие Python-программы.
PrepSingleProc в Main, т.к. его __init__ набивается всё большим количеством атрибутов, не связанных напрямую с распараллеливаемой функцией.__init__ вышеупомянутого Main.Main, сделать выполняемым только при прямом запуске модуля:if __name__ == '__main__':
None, но и в виде ''. Первое любит возвращать argparse, второе - streamlit.Задачи:
argparse.
st.expander).st.form) с кнопкой запуска (st.form_submit_button). Если тупо, без формы, накидать виджетов, то этап сбора настроек будет проскакиваться.st.spinner), крутящийся, пока задача считается.None, но и в виде ''.Проблемы:
streamlit run GUI.py). Я-то потерплю, а каково будет небиоинформатикам? Возможное решение - создать .desktop-ярлык, но это не так уж и просто: #26.Программы, которых касается баг:
Проблема наблюдается только при парсинге ex-VCF-коллекций, содержащих поля с генотипами.
Сейчас, если программа обнаружила конфликт имён, в диалоговом режиме предлагается стирание БД. Но этот способ слишком привязан к консоли, усложняя разработку GUI (#24). Сделаю для каждого компонента, способного создавать БД, универсальный CLI- и GUI-элемент erase-existing-db. Важные детали:
DbAlreadyExistsError оставлю на случай попытки стереть исходную базу, но переселю это исключение в common_errors.append, но лучше его переименовать в нечто более человеко-понятное, например, replenish-existing-db.QNAME, FLAG, RNAME, POS, MAPQ, CIGAR, RNEXT, PNEXT, TLEN, SEQ, QUALOPTIONAL.Вчера, по-сути, завершил проект high-perf-bio, реализовав в left_join отбор геномных интервалов одной MongoDB-коллекции по их вхождению/невхождению в интервалы из других коллекций БД. Но, как выяснилось, не без ложки дёгтя.
Пояснение для IT-специалистов, не специализирующихся на работе с генетическими данными. Что такое геномный интервал? Есть хромосомы - надмолекулярные сткуктуры, включающие, помимо всего прочего, ДНК. Есть нуклеотиды - мономеры ДНК. Сослаться на тот или иной участок ДНК можно так: обозначение хромосомы, номер стартового нуклеотида, номер конечного нуклеотида. Эти два нуклеотида - границы как раз геномного интервала. В биоинформатических таблицах чаще всего мы видим интервалы с выявленным влиянием на организм.
Aggregation pipeline из программы left_join, построенный по официальным докам MongoDB, выдаёт правильные результаты, но работает бесконечно долго для больших коллекций. Ни compound, ни одиночные индексы не ускоряют вычисление. Вот основа пайплайна - код левостороннего внешнего объединения коллекций - источника описываемой проблемы:
pipeline = [{'$lookup': {'from': right_coll_name,
'let': {'chrom': '$chrom', 'start': '$start', 'end': '$end'},
'pipeline': [{'$match': {'$expr': {'$and': [{'$eq': ['$$chrom', '$chrom']},
{'$lt': [{'$max': ['$$start', '$start']},
{'$min': ['$$end', '$end']}]}]}}}],
'as': right_coll_name.replace('.', '_')}} for right_coll_name in right_coll_names]
Эта же конструкция, но чуть упрощённая (Ilya Vorontsov):
pipeline = [{'$lookup': {'from': right_coll_name,
'let': {'chrom': '$chrom', 'start': '$start', 'end': '$end'},
'pipeline': [{'$match': {'$expr': {'$and': [{'$eq': ['$$chrom', '$chrom']},
{'$lt': ['$$start', '$end']},
{'$lt': ['$start', '$$end']}]}}}],
'as': right_coll_name.replace('.', '_')}} for right_coll_name in right_coll_names]
Каждый объединённый документ представляет собой документ "левой" коллекции, в который вложены отвечающие запросу документы "правых" коллекций. Если в "правой" коллекции не нашлось соответствий, в объединённый документ попадает пустой список.
Кто-нибудь знает, как решить/обойти проблему игнора индексов?
P.S. Я уже создал аналогичную тему на официальном форуме MongoDB, но там далеко не всегда отвечают. Поэтому очень надеюсь на помощь коллег, знакомых и других посетителей репозитория.
@VorontsovIE, @yustinaivanova, может у вас будут какие-то идеи? Был бы очень благодарен.
Предполагаемые тормозящие факторы:
$lookup-пайплайну сортировка. Сразу говорю, что она не влияет.Explain-выводы, например, очень любят в саппорте MongoDB. Каждый такой вывод - словарь с самим запросом и статистикой, касающейся выполнения этого запроса.
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
Django
The Web framework for perfectionists with deadlines.
Laravel
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
Microsoft
Open source projects and samples from Microsoft.
Google
Google ❤️ Open Source for everyone.
Alibaba
Alibaba Open Source for everyone
D3
Data-Driven Documents codes.
Tencent
China tencent open source team.