文章

一文看懂 NLP 神经网络发展历史中最重要的 8 个里程碑

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

深度学习中的注意力模型

你问了:什么是注意力机制?这里再插个广告,对注意力不了解的可以参考鄙人16年出品17年修正的下文: “深度学习中的注意力模型”,补充下相关基础知识,如果不了解注意力机制你肯定会落后时代的发展 。而介绍Transformer比较好的文章可以参考“The Annotated Transformer. ”这里不展开介绍。

http://nlp.seas.harvard.edu/2018/04/03/attention.html