natural language processing

通过深度学习进行natural language processing

目的：建立伯特的知识蒸馏学生网络。

计算机的NLP被定义为破译，分析和理解人类语言的一种方式。 NLP涉及的不同任务：

• 语音标签的一部分。
• 解析句子。
• 命名实体识别
• 语义角色标签
• 情感分类
• 机器翻译
• 问题回答
• 对话系统
• 上下文嵌入

计算机理解单词

文字作为向量的代表背后的理论

• 向量的一个热编码（单词嵌入）
• 通过word2vec的单词嵌入
• 角色嵌入
• 上下文化的单词嵌入

复发性神经网络

为了更好地理解RNN的

• RNN的基本体系结构
• LSTMS/GRU
• 使用RNN的情感分析

在子文件夹中，我已经实施了一个RNN，该RNN预测了一个人的姓氏。

确切地说，它预测了姓氏的语言。这是官方的Pytorch教程。

各种各样的：

• 注意机制
• 序列转导模型
• 变压器

被覆盖：

• 可招聘的路由网络
• 伯特
• GPT和GPT-2
• xlnet
• 序列模型的知识蒸馏。