深度学习中的优化器学习总结
1、深度学习中的优化器学习总结：梯度下降法 批梯度下降法 优点：理想状态下，经过足够多的迭代可以达到全局最优。缺点：对于大数据集，训练速度会很慢。随机梯度下降法 特点：每次训练一个随机样本，加快收敛速度。优点：训练速度快，可能避免陷入局部最优解。
2、两个动量优化器Momentum和NAG的速度最快，其次是三个自适应学习率优化器AdaGrad、AdaDelta以及RMSPROp，最慢的则是SGD。② 在收敛轨迹方面 两个动量优化器虽然运行速度很快，但是初中期走了很长的”岔路”。
3、深度学习中常用的优化器总结如下：梯度下降：批量梯度下降：使用整个训练集进行参数更新。随机梯度下降：每次迭代仅使用单个样本进行参数更新，可能导致损失波动下降。小批量随机梯度下降：使用部分样本进行参数更新，介于批量梯度下降和SGD之间。动量法：SGDM：引入动量概念，累积过去的梯度，减少震荡，加速学习。
4、Nadam：结合了RMSprop和动量的优点，进一步提高了优化器的性能。AMSgrad：针对Adam的改进，通过引入梯度的长期记忆机制来提高收敛稳定性和性能。Adabound：通过学习率裁剪技术，超越了AMSgrad的优化效果，具有更强的鲁棒性和泛化能力。综上所述，深度学习优化器种类繁多，各有优缺点。
5、自适应学习率：一些优化器能够根据训练过程中的梯度信息动态调整学习率。这使得模型在训练初期可以使用较大的学习率快速收敛，在训练后期可以使用较小的学习率进行精细调整。例如，Adagrad优化器会根据每个参数的历史梯度累积来调整学习率。稳定性：在训练深度神经网络时，梯度爆炸和梯度消失是常见的问题。
超详细MySQL高性能优化实战总结!
1、安全：数据可持续性性能：数据的高性能访问2 优化的范围 存储、主机和操作系统方面：主机架构稳定性、I/O规划及配置、Swap交换分区、OS内核参数和网络问题。应用程序方面：应用程序稳定性、SQL语句性能、串行访问资源、性能欠佳会话管理、应用是否适合使用MySQL。
2、**通过子查询优化**：减少回表次数，优化查询效率。首先复习B+树结构，理解InnoDB中的索引分类。通过将查询条件转移到主键索引树，实现减少回表操作。具体操作包括将查询条件调整为主键ID，同时利用子查询提取主键ID，并将`LIMIT`条件转移至子查询中。改进后的SQL执行时间显著缩短。
3、最后，我们通过手把手实战案例，展示了如何将普通的limit查询转换为基于已知位置的查询，利用范围扫描功能，从而提高查询效率。通过实际操作，我们可以直观地看到优化前后的执行时间差异，从而验证优化策略的有效性。
4、使用between...and...很多时候，可以将limit查询转换为已知位置的查询，这样MySQL通过范围扫描between...and，就能获得到对应的结果。如果知道边界值为100000，100010后，就可以这样优化：selectid，name，balanceFROMaccountwhereidbetween100000and100010orderbyiddesc；手把手实战案例我们一起来看一个实战案例哈。
5、在MySql项目实战中，将多行数据转化为同一行多列显示，可以通过以下步骤实现： 查询并获取全部基础数据，形成临时表 从数据库中查询获取全部相关的物料属性数据。将这些数据插入到一个临时表中，同时标记转换为文本描述，以便于后续处理。
个人优化工作总结与经验分享
1、个人优化工作总结与经验分享如下：宏观层面 认知层面 沟通能力：在各种情境下进行主动或被动的沟通训练，以适应理想与实践之间的差异，达成有效共识。结构化思维：在认识、分析、判断、决策与行动的过程中形成连贯性思考，同时认识到人群行为习惯的普遍性，以更全面地理解问题。
2、勤勤恳恳，扎实做好本职工作 全面掌握全县人民调解工作情况，做好各阶段 工作总结 ，并撰写有关材料。由于不了解人民调解工作的性质，在开始的时候非常吃力，我通过不断地学习，基本掌握了近几年人民调解工作的内容和工作方法，并学会了网上报表的报送；通过不懈的努力，基本能够配合白永杰的工作。
3、个人工作总结1 xx年弹指间已过半年。总结我这半年来的工作，只能说是忙碌而充实。
4、个人工作总结1 白驹过隙，转眼从入职至今已快三个月了，通过这三个月的锻炼和磨合，在领导和同事的指导帮助下，我对工作有了一定的了解，经过这三个月的工作学习，个人综合素质有了新的提高，回顾这三个月来的工作历程，总结如下： 工作中的体会以及成长： 努力学习工作知识。
贝叶斯优化基本原理总结
1、贝叶斯优化基本原理总结 贝叶斯优化是一种专门用于解决计算成本昂贵的黑盒优化问题的方法。这类问题通常具有以下两个特点：目标函数 f（x） 及其导数未知，且计算目标函数的时间成本较大。
2、贝叶斯优化的基本原理总结如下：目标函数替代：贝叶斯优化在面对黑盒优化问题时，假设目标函数未知。通过构建代理函数来代替真实的目标函数。初始时，通过采样获得一些数据点，这些数据点用于拟合代理函数。迭代优化过程：利用初始采样点拟合代理函数。
3、贝叶斯优化是一种高效寻找函数全局最优解的算法，其核心框架是Sequential ModelBased Optimization ，特别强调高斯过程回归模型的应用。以下是贝叶斯优化原理的详细解释：核心框架SMBO：SMBO通过代理模型来指导优化过程。代理模型可以是各种随机过程，其中高斯过程是最常用的。
4、贝叶斯优化假设超参数与最终需要优化的损失函数之间存在一个未知的函数关系。其目标是在有限的评估次数内找到这个函数的全局最优解。为了实现这一目标，贝叶斯优化采用了概率代理模型和采集函数两个关键组件。概率代理模型：用于近似目标函数的概率模型。
5、改进概率代理模型 贝叶斯优化依赖于概率代理模型来预测目标函数的值。为了提高优化的准确性，可以尝试使用不同的代理模型，如高斯过程（Gaussian Process， GP）、随机森林（SMAC）或神经网络等。这些模型各有优缺点，适用于不同的场景。
常用优化器总结
1、常用优化器总结如下：SGD 工作原理：以单条数据为学习单位进行梯度下降。适用场景：适用于数据量较小或需要快速迭代的场景。缺点：对参数敏感，需要精心初始化；容易陷入局部极小值；数据量大时训练时间长，且每次迭代需要遍历全部数据。Adagrad 工作原理：采用自适应策略，对历史梯度平方求和后调整学习率。
2、深度学习中常用的优化器总结如下：梯度下降：批量梯度下降：使用整个训练集进行参数更新。随机梯度下降：每次迭代仅使用单个样本进行参数更新，可能导致损失波动下降。小批量随机梯度下降：使用部分样本进行参数更新，介于批量梯度下降和SGD之间。动量法：SGDM：引入动量概念，累积过去的梯度，减少震荡，加速学习。
3、Adam优化器是目前最流行的，结合了自适应梯度的适应性和RMSprop处理非平稳目标的能力，特别适合大数据集和高维空间的学习任务。最后，Dropout正则化在神经网络中起着关键作用，通过在前向传播时随机关闭部分神经元，有效防止过拟合，提升模型的泛化能力。
4、AdamW 改动：将权重衰减项从梯度的计算中拿出来直接加在了最后的权重更新步骤上。优点：显著提升了Adam的效果，现在已成为Transformer训练中的默认优化器。
5、优化器优化方法SWATS：结合SGDM和Adam，初期使用Adam快速收敛，后期使用SGDM稳定收敛。AMSGrad：对Adam的改进，确保学习率随迭代次数单调递减。AdaBound：将学习率限制在一定范围内，避免过大或过小的学习率。Cyclical LR和SGDR：通过周期性调整学习率来加速SGDM的收敛。
6、特点：结合了Adagrad和动量的优势，对稀疏梯度和震荡有良好的处理。优势：在许多情况下都能带来更好的性能，是深度学习中常用的优化器之一。默认参数：通常推荐设置β1=0.9， β2=0.999， ε=1e8，但具体任务可能需要微调。
