Скачать с ютуб Юрий Басалов - Как построить полнотекстовый поиск в проектах с Big Data - DataStart.ru в хорошем качестве

Юрий Басалов - Как построить полнотекстовый поиск в проектах с Big Data - DataStart.ru

🔴 Регистрация на следующую БЕСПЛАТНУЮ конференцию: https://datastart.ru/ На видео – шестая конференция DataStart 29/04/2020 Юрий Басалов - Как построить полнотекстовый поиск в проектах с Big Data с помощью нейронных сетей Описание доклада: Сейчас существует немало инструментов для полнотекстового поиска документов (например, популярный движок Elasticsearch). Многие разработчики сначала используют подобные классические решения, но потом сталкиваются с рядом проблем: - Не учитываются синонимы при поиске (например, "шампанское боско" и "шампанское bosca"). Обычно эта проблема решается составлением словарей синонимов, что в общем случае сделать не так просто. - Контекстная значимость слов (например, фразы "красное дерево" и "синяя ручка" отличаются от фразы "красная ручка" одинаково одним словом. Но семантически "красная ручка" намного ближе к "синей ручке", чем к "красному дереву"). И т.д. Мы в DD Planet так же в работе с проектами, содержащими большие объемы данных, поначалу работали с Elasticsearch, а затем занялись решением обозначенных проблем и построением более качественного полнотекстового поиска с помощью нейронных сетей. NLP решает подобные вопросы в рамках задачи paraphrase identification. В рамках доклада я расскажу, как мы осуществляли поиск похожих по смыслу фраз, основанный на принципах paraphrase identification, и с какими подводными камнями при этом столкнулись 🔴 Мы в социальных сетях: https://vk.com/datastart https://t.me/datastartconf   / datastartconf