Introducción a los Transformers

Como parte de la RIIAA en Quito, di una introducción a los Transformers, que es la arquitectura detrás de avances como GPT-3, Music Transformer, Parti, y muchos otros.

Grabación

Pueden ver la grabación aquí:

Materiales

Aquí pueden acceder a los diferentes materiales que mencioné durante el curso:

• Las diapositivas que usé en el curso
• Write with Transformers de Hugging Face (GPT-2)
• Eleuther GPT-J-6B, que es mucho mejor modelo que el GPT-2 de Hugging Face
• El colab simple sobre bigrams
• El colab de Flax sobre LSTMs
• El excelente the Illustrated Transformer de Jay Alammar, en el cual basé la descripción de Transformers.
• The Annotated Transformer
• El blog post de Parti