Скачать с ютуб Comprendre les Transformers et les mécanismes d'attention в хорошем качестве

Comprendre les Transformers et les mécanismes d'attention

Patreon :   / membership   Les transformers et les mécanisme d'attention sont les architectures de réseaux de neurones ayant révolutionné des domaines tels que le traitement naturel du langage (NLP) et sont entrain de s'étendre a de nombreux autre domaine tel que la vision. Dans cette vidéo nous nous penchons sur le papier : Attention is all you need proposant la première architecture Transformer basé seulement sur des systèmes d'attention pour effectuer de la traduction automatique. Comprendre ce papier c'est aussi commencer à comprendre des architectures telles que Bert, GPT ou encore des travaux récents telles que Dall-e. Pour aider à aborder les notions de cette vidéo : Comment passer le test de Turing ? Traitement automatique du langage (NLP)    • Comment passer le test de Turing ? Tr...   Comprendre les réseaux de neurones récurrents (RNN)    • Comprendre les réseaux de neurones ré...   Comprendre les LSTM - Réseaux de neurones récurrents    • Comprendre les LSTM - Réseaux de neur...   00:00 Intro 03:10 RNN 05:00 Encoder Decoder 12:00 Encoder Decoder with Attention 13:20 Scaled dot product Attention 22:40 Overview Attention is all you need 27:00 Self Attention 28:26 Multi-Head Attention 35:20 Other encoder layers 37:40 Masked multi head attention 40:30 Positional encoding Slides: https://docs.google.com/presentation/... Attention is all you need: https://arxiv.org/abs/1706.03762 [Chronique d'une IA] Spotify : https://open.spotify.com/show/5yTTTKf... Amazon music : https://music.amazon.fr/podcasts/5097... Apple Podcasts: https://podcasts.apple.com/us/podcast... [About me] Visual Behavior : http://visualbehavior.ai Perso : https://www.thibaultneveu.ai/ Github : https://github.com/thibo73800 Linkedin :   / thibaultneveu   Twitter :   / thiboneveu