Sigmoid函数是什么

Sigmoid函数是生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，Sigmoid函数因其单一增量和反函数单一增量，常被用作神经网络的激活函数来映射0-1之间的变量。

Sigmoid函数是生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，Sigmoid函数因其单一增量和反函数单一增量，常被用作神经网络的激活函数来映射0-1之间的变量。

简介

Sigmoid函数，也称Logistic函数，用于隐藏神经元的输出，取值范围为(0，1)。它可以将实数映射到(0，1)的区间，并可用于二进制分类。当特征之间的差异比较复杂或者不是特别大的时候效果更好。Sigmoid作为激活函数有以下优点和缺点:

优点:流畅，容易衍生。

缺点:激活函数计算量大，反向传播计算误差梯度时求导涉及除法；当进行反向传播时，梯度很容易消失，从而无法完成深度网络训练。

Sigmoid函数由以下公式定义

它对x的导数可以自己表示:

西格玛函数的图形，如s曲线

Sigmoid曲线

西格玛函数的级数表示:

激活功能

在计算机网络中，节点的激活函数定义了给定输入或输入集下节点的输出。标准的计算机芯片电路可以看作是数字电路激活功能，可以根据输入得到on (1)或off (0)输出。这类似于神经网络中线性感知器的行为。然而，只有非线性激活函数允许该网络仅使用几个节点来计算非平凡问题。在人工神经网络中，这个函数也称为传递函数。

Sigmoid函数和tanh函数是早期研究中广泛使用的两种激活函数。两者都是S型饱和函数。当sigmoid函数的输入值趋于正无穷或负无穷时，梯度会趋近于零，产生梯度离散。sigmoid函数的输出总是正的，而不是以零为中心，这将导致权重只在一个方向上更新，从而影响收敛速度。Tanh激活函数是sigmoid函数的改进版本，sigmoid函数是以零为中心的对称函数。它收敛速度快，不易出现损失值晃动，但不能解决梯度分散的问题。这两个函数的计算是指数的，计算比较复杂。软设计函数是tanh函数的改进版本，是以零为中心，取值范围为(1，1)的S型饱和函数。

逻辑回归

逻辑回归是一种广义线性模型，因此它与多元线性回归分析有许多相似之处。它们都有相同的模型形式，w' x+b，其中w和b是待求解的参数，区别在于它们的因变量不同。多元线性回归直接以w' x+b为因变量，即y = w' x+b，而logistic回归使用函数l将w' x+b对应到一个隐藏状态p，p = l (w' x+b)如果l是logistic函数，则是logistic回归，如果l是多项式函数，则是多项式回归。logistic回归的因变量可以分为两类或多类，但两类更常用，更容易解释，多类可用softmax方法处理。实践中最常用的方法是二元逻辑回归。逻辑回归模型的适用条件:

1因变量是第二分类的分类变量或事件发生率，是数值变量。但需要注意的是，重复计数现象的指标不适合Logistic回归。

2残差和因变量应服从二项分布。二项式分布对应的是分类变量，所以不是正态分布，所以解决方程估计和检验问题的不是最小二乘法，而是极大似然法。

3自变量和逻辑斯蒂概率是线性的

4被观察对象相互独立。

原理:如果将线性回归模型直接推导到Logistic回归中，会导致方程两边的值区间不同，以及一般的非线性关系。因为Logistic中的因变量是二元变量，作为方程的因变量的某个概率的估计取值范围是0-1，但是方程右边的取值范围是无穷或无穷小的。因此，引入了逻辑回归。

逻辑回归的本质:发生的概率除以不发生的概率，然后取对数。正是这种不那么复杂的变换，改变了因变量和自变量之间的值区间和曲线关系的矛盾。原因是发生和不发生的概率变成一个比值，这个比值就是一个缓冲，扩大了取值范围，然后进行对数变换，整个因变量发生变化。而且这种转化往往会导致因变量和自变量呈线性关系，这是根据大量实践总结出来的。所以，Logistic回归从根本上解决了因变量不是连续变量怎么办的问题。此外，物流之所以被广泛使用，是因为许多实际问题与其模型相吻合。比如某件事发生与否，和其他数值自变量有关。

注意:如果参数是字符类型，需要重新编码。一般情况下，如果自变量有三个层次，就很难处理，所以如果自变量有更多的层次，就太复杂了。这里讨论的自变量只有三个层次。很麻烦，需要设置两个新变量。有三个变量，第一个变量将1编码为高电平，其他电平为0。第二个变量将1编码为中间级别，将0编码为其他级别。在第三个变量中，所有级别都是0。真的很麻烦，不太好理解。最好不要这样，也就是说，最好所有自变量都是连续变量。

实现