![医学遗传学]()
医学遗传学
3 篇文章
![论文解读]()
论文解读
5 篇文章
2024-09-24
33 字
1 分钟
文心一言，能超过ChatGPT吗？
小小白公众号：「胡扯王国」
微信公众号文章：
文心一言，能超过ChatGPT吗？
https://mp.weixin.qq.com/s/GJoLgooqwQdnWNWgXszOeg
2024-09-12
2.3k 字
8 分钟
Adam优化器
在深度学习和机器学习的模型训练过程中，优化算法起着关键作用。
Adam（Adaptive Moment Estimation）优化器是目前最受欢迎和广泛使用的优化算法之一。它结合了动量优化器和 RMSProp 的优势，能够在训练过程中自适应地调整学习率，实现高效和稳健的梯度更新。
下面，我们将详细介绍 Adam 优化器的原理、数学公式，以及 Python 代码实现。
背景与动机
在深度学习中，我们需要通过优化算法最小化损失函数，以找到模型参数的最佳值。传统的优化算法，如随机梯度下降（SGD）和动量优化器，在一些情况下可能会遇到以下问题：
学习率选择困难：固定的全局学习率可能导致收敛速度慢
2024-09-06
1.9k 字
7 分钟
动量优化器
在深度学习和机器学习的优化过程中，梯度下降算法是最基本也是最常用的优化算法之一。然而，标准的梯度下降算法在某些情况下收敛速度较慢，或者在接近最优点时产生振荡。为了加速收敛和减少振荡，引入了动量（Momentum）优化器。
下面，我们将详细介绍动量优化器的原理、数学公式，以及Python代码实现。
背景与动机
在标准的梯度下降（Gradient Descent，GD）算法中，参数的更新规则是：
θt+1=θt−η∇θJ(θt)\theta_{t+1} = \theta_t - \eta \nabla_\theta J(\theta_t)
θt+1=θt−η∇θJ(θt)
其中：
θ
2024-09-04
2.4k 字
10 分钟
自适应学习率优化器
在深度学习和机器学习的模型训练过程中，优化算法起着至关重要的作用。除了标准的梯度下降和动量优化器之外，还有许多自适应学习率的优化算法，如 Adagrad、Adadelta 和 RMSProp。它们通过自适应地调整学习率，以提升收敛速度和稳定性。
以下将详细介绍这三个优化算法，包括公式、原理，以及 Python 代码实现。
Adagrad 算法
背景与动机
在标准的梯度下降过程中，学习率 η\etaη 是一个全局的超参数，对所有参数 θ\thetaθ 都保持不变。在某些情况下，不同参数的特性可能差异很大，使用相同的学习率可能导致收敛效果不佳。
Adagrad（Adaptive Gradie
2024-09-03
2.3k 字
9 分钟
梯度下降优化器
梯度下降（Gradient Descent）是一种最常用的优化算法，广泛应用于机器学习和深度学习模型的训练中。它的主要目的是在参数空间中找到使损失函数最小化的参数集合。下面将详细介绍梯度下降的原理、公式以及Python中的代码实现。
梯度下降的原理
梯度下降是一种基于一阶导数的信息，沿着负梯度方向搜索最小值的迭代优化算法。直观上，可以将其想象成一个人在山坡上（损失函数表面）下山，每一步都按照当前位置的坡度（负梯度）选择下坡的方向，以达到最低点（全局最小值）。
梯度下降的核心思想是：在参数空间中，从初始点开始，沿着损失函数梯度的反方向迭代地更新参数，使得每一步都朝着使损失函数值减小的方向前进，
2024-09-01
3.4k 字
14 分钟
优化器和损失函数
在深度学习和机器学习中，优化器和损失函数是模型训练的核心要素。
优化器决定了模型的参数如何更新，以最小化损失函数
损失函数度量了模型预测值和真实值之间的差异
下面将详细介绍常用的优化器和损失函数。
优化器（Optimizers）
梯度下降（Gradient Descent，GD）
原理：
梯度下降是最基本的优化算法。其核心思想是在参数空间中沿着损失函数梯度的反方向移动，以找到损失函数的最小值。
公式：
θ=θ−α⋅∇θJ(θ)\theta = \theta - \alpha \cdot \nabla_{\theta} J(\theta)
θ=θ−α⋅∇θJ(θ)
θ\thetaθ
2023-12-18
43 字
1 分钟
QQ/微信批量发送自定义新年祝福2.0版本！
小小白公众号：「胡扯王国」
微信公众号文章：
QQ/微信批量发送自定义新年祝福2.0版本！
https://mp.weixin.qq.com/s/yAC_d-lrQeaB6ZocaN_Dfw
2023-11-20
34 字
1 分钟
长沙---相亲数据爬取教程
小小白公众号：「胡扯王国」
微信公众号文章：
长沙---相亲数据爬取教程
https://mp.weixin.qq.com/s/YEeo3cXKQTUzLr9nYUQ_tA
2023-11-20
34 字
1 分钟
长沙最新相亲数据揭秘！
小小白公众号：「胡扯王国」
微信公众号文章：
长沙最新相亲数据揭秘！
https://mp.weixin.qq.com/s/xkB_b0LzGOw6rX6ZdNCbRQ
2023-11-02
35 字
1 分钟
AI---引领者---文心一言---初体验！
小小白公众号：「胡扯王国」
微信公众号文章：
AI---引领者---文心一言---初体验！
https://mp.weixin.qq.com/s/zfsafnPdDOLLEk3jjjSX7g
