Giter Site home page Giter Site logo

yangbin1729 / nlp_notes Goto Github PK

View Code? Open in Web Editor NEW
288.0 3.0 49.0 35.5 MB

自然语言处理学习笔记:机器学习及深度学习原理和示例,基于 Tensorflow 和 PyTorch 框架,Transformer、BERT、ALBERT等最新预训练模型及源代码详解,及基于预训练模型进行各种自然语言处理任务。模型部署

Jupyter Notebook 98.22% Python 1.78%

nlp_notes's Introduction

自然语言处理学习笔记

机器学习及深度学习原理和示例,基于 Tensorflow 和 PyTorch 框架,Transformer、BERT、ALBERT等最新预训练模型及源代码详解,及基于预训练模型进行各种自然语言处理任务。以及模型部署

两种传统的模型:

  • 01-基于规则与基于概率的模型

    • 基于规则或模板生成对话系统
    • 基于概率的语言模型
      • 利用语料数据,实现了简略的 2-gram 模型,并利用该模型判断句子的合理性
  • 02-基于搜索的决策系统.ipynb

    • 根据**城市的位置信息,实现简单的路径规划系统

    • 根据武汉地铁的各站点的位置信息,实现简单的路径规划系统

      • 图的广度优先搜索及深度优先搜索
    • 搜索问题的抽象模式

      • Travelling Sales man Problem
        • 启发式

        • A* 搜索

        • 动态规划

  • 机器学习算法,及其应用
  • python 实现基本的神经网络:激活函数,损失函数,前向传播,反向传播
  • python 实现各种梯度下降算法,初始化,Batch Normalization,正则化
  • python 实行 CNN
  • 创建神经网络,实现图像分类与情感分类,涉及到词向量,CNN,RNN 等模型

  • CNN架构,自编码器,对抗生成网络,风格迁移基本原理 等

基本的文本处理:

涉及到分词、词表征、文档表征,原理及代码实现

00-文本处理的基本流程

00-文本预处理常用函数

01-分词

01-编辑距离

02-词表征与词向量

03-训练词向量

04-文档向量

04-文档向量

05-doc2vec

PageRank和TextRank

06-PageRank及TextRank

主题模型

09-LDA主题模型

利用神经网络实现文本分类、语言模型、语言生成

07-keras-imdb-classification

08-keras-imdb-rnn

10-RNN语言模型

15-基于词向量和LSTM对豆瓣影评分类(TensorFlow)

16-基于RNN的字符级自然语言生成

39-自然语言生成

序列标注任务:

HMM算法、CRF算法,原理及代码实现

11-基于HMM和Viterbi算法的序列标注

12-BiLSTM和CRF算法的序列标注原理

13-基于BiLSTM和CRF算法的命名实体识别(PyTorch)

14-基于BiLSTM和CRF算法的命名实体识别(TensorFlow)

Attention机制及Transformer模型

25-Attention机制

26-Attention使用示例

27-基于Attention的中译英(TensorFlow)

28-基于Attention的图片标注(TensorFlow)

30-Transformer模型及源代码(PyTorch)

31-基于Transformer的中译英(TensorFlow)

32-基于Transformer的seq2seq模型(PyTorch)

33-Transformer-XL

34-Transformer优化

BERT及后续预训练模型

BERT 模型原理及代码实现,基于 PyTorch 和 TensorFlow

20-ELMo模型

40-BERT基本原理及运用

41-BERT创建训练数据(Tensorflow)

42-BERT模型详解及代码实现(Tensorflow)

42-BERT模型详解及代码实现(Tensorflow)

43-BERT模型详解及代码实现(Tensorflow)

44-BERT预训练及代码实现(Tensorflow)

BERT官方源码

40-bert-modeling(TensorFlow)

基于BERT的自然语言处理任务

45-基于BERT的文本分类

46-基于BERT的问答任务

47-基于BERT的文本摘要

48-基于BERT的命名实体识别

49-以BERT为底层结构的分类模型

BERT的优化改进及后续预训练模型

50-BERT加速

51-XLNet模型

52-ALBERT

55-RoBERTa

65-GPT

66-miniGPT(TensorFlow)

66-miniGPT(TensorFlow)

67-ERNIE

80-ELECTR预训练模型

90-Reformer模型

99-预训练模型MASK方法总结

99-预训练模型总结

其它

35-NLP数据增强

36-生成模型的解码方法

37-positioanl encoding

38-填充与遮盖

nlp_notes's People

Contributors

yangbin1729 avatar

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar  avatar  avatar

nlp_notes's Issues

update

请继续啊。催更了

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.