Скачать с ютуб Д.Пензар, В.Вяльцев, "Предсказание реактивностей нуклеотидов РНК по ее последовательности " в хорошем качестве

Д.Пензар, В.Вяльцев, "Предсказание реактивностей нуклеотидов РНК по ее последовательности "

🚀 https://t.me/sberlogabig/365 👨‍🔬 Д.Пензар, В.Вяльцев, "Предсказание реактивностей нуклеотидов РНК по ее последовательности при помощи ArmNet — Ribonanza competition 1st place solution (https://www.kaggle.com/competitions/s...)" ⌚️ Пятница 23 февраля 2024, 19.00 (по Москве) Команда VIGG ( Vavilov Institute of General Genetics (Д.Пензар, В.Вяльцев, А.Бакулин, А.Зинкевич, Е.Носкова ) заняла первое место в научном конкурсе по предсказанию свойств РНК, опередив 700+ команд и даже команду грандмастеров NVIDIA во главе с легендарным "Dieter" (топ1 в общем рейтинге Кагггл). Точное предсказание структуры РНК может помочь совершить революцию в науке и медицине, облегчив исследователям процесс выявления уникальных РНК мишеней для лекарств и разработки лекарств на основе РНК. С целью создания модели, эффективно предсказывающей структурные характеристики молекул РНК, был создан международный конкурс Stanford Ribonanza RNA Folding (https://www.kaggle.com/competitions/s...) на платформе Kaggle, в котором решение нашей команды заняло первое место, значительно опередив остальные команды со всего мира и известные SOTA-решения. В основе нашего подхода лежит трансформерная encoder-only архитектура, показавшая себя намного лучше сверточных нейросетей. Значительно качество сети улучшило добавление BPPM (Base Pair Probability Matrix), а также отказ от абсолютного позиционного кодирования в пользу относительного. В качестве финальной модели мы использовали ансамбль из 28 одиночных моделей, который показал лучшее качество в конкурсе. В ходе дальнейшего исследования, мы смогли ещё больше улучшить качество нашей модели, использовав идеи из SqueezeFormer. В новую модель - ArmNet - мы добавили возможность двусторонней коммуникации между признаками, основными на BPPM и матрицами внимания. Write-up (https://www.kaggle.com/competitions/s...) на Каггл.