paddle.optimizer
paddle.optimizer 目录下包含飞桨框架支持的优化器算法相关的 API 与学习率衰减相关的 API。具体如下：
优化器算法相关 API
API 名称 |
API 功能 |
|---|---|
|
|
Adadelta 优化器 |
|
|
Adagrad 优化器 |
|
|
Adam 优化器 |
|
|
Adamax 优化器 |
|
|
AdamW 优化器 |
|
|
ASGD 优化器 |
|
|
Lamb 优化器 |
|
|
LBFGS 优化器 |
|
|
Momentum 优化器 |
|
|
NAdam 优化器 |
|
|
飞桨框架优化器基类 |
|
|
RAdam 优化器 |
|
|
RMSProp 优化器 |
|
|
Rprop 优化器 |
|
|
SGD 优化器 |
学习率衰减相关 API
API 名称 |
API 功能 |
|---|---|
|
|
Cosine Annealing 学习率衰减 |
|
|
Exponential 学习率衰减 |
|
|
Inverse Time 学习率衰减 |
|
|
学习率衰减的基类 |
|
|
Lambda 学习率衰减 |
|
|
Linear Warmup 学习率衰减 |
|
|
MultiStep 学习率衰减 |
|
|
NatualExp 学习率衰减 |
|
|
Norm 学习率衰减 |
|
|
分段设置学习率 |
|
|
多项式学习率衰减 |
|
|
loss 自适应学习率衰减 |
|
|
按指定间隔轮数学习率衰减 |
|
|
根据 lambda 函数进行学习率衰减 |
|
|
One Cycle 学习率衰减 |
|
|
Cyclic 学习率衰减 |