machine-learning-notes

封面
目录
前言
个人前言
机器学习前言
机器学习面试
数学基础
微积分
线性代数
概率与信息论
数值计算与优化
梯度下降算法
概率图模型
- 概率图模型概论
- 概率图简介
编程基础
linux
- linux常用命令
- shell
  输入输出重定向
python
数据结构与算法
Hadoop
- Hadoop简介
- MapReduce
Hive
Spark
TensorFlow
- TensorFlow1.0
  TensorFlow基础
  TensorFlow基础概念解析
  TensorFlow机器学习基础
  Tensorflow分布式架构
- TensorFlow2.0
PyTorch
机器学习
机器学习概论
特征工程
感知机
k近邻
朴素贝叶斯
线性模型
决策树
支持向量机
集成学习
降维
- PCA主成分分析
- 流形学习
EM算法
HMM隐马尔科夫模型
CRF条件随机场
聚类
- k均值聚类
- 高斯混合模型
主题模型
- LDA隐狄利克雷分布
知识点
- 损失函数
- 负采样
机器学习算法总结
深度学习
深度学习概论
ANN人工神经网络
知识点
- Batch Normalization
CNN卷积神经网络
深度学习优化算法
RNN循环神经网络
LSTM长短期记忆网络
GRU门控循环单元
GNN图神经网络
- GNN图神经网络综述
- GCN图卷积网络
  GCN图卷积网络初步理解
  GCN图卷积网络的numpy简单实现
  GCN图卷积网络本质理解
  GCN图卷积网络全面理解
  SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS ICLR2017
神经网络架构搜索
- Weight-Agnostic-Neural-Networks Google2019
强化学习
强化学习概论
马尔科夫决策过程
动态规划
无模型方法一：蒙特卡洛
无模型方法二：时间差分
无模型方法三：多步自举
函数近似和深度网络
策略梯度算法
深度强化学习
基于模型的强化学习
强化学习前景
自然语言处理
自然语言处理概论
自然语言
语言模型和中文分词
word2vec
Seq2Seq模型和Attention机制
Self-Attention和Transformer
知识图谱
推荐系统
推荐系统概论
基础知识
进阶知识
业界应用
- YouTube
  Deep Neural Networks for YouTube Recommendations RecSys2016
- Alibaba
  Learning Tree-based Deep Model for Recommender Systems KDD2018
  Deep Interest Network for Click-Through Rate Prediction KDD2018
  DSIN:Deep Session Interest Network for Click-Through Rate Prediction IJCAI2019

Powered by GitBook

On this page

Adam
各类梯度下降算法的演化

Was this helpful?

Adam

PreviousAdadelta NextNadam

Last updated 4 years ago

Adam

返回顶层目录
返回上层目录
各类梯度下降算法的演化

各类梯度下降算法的演化

Deep Learning 最优化方法之Adam

ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION