激活函数

激活函数#

flax.nnx.celu(x, alpha=1.0)[source]#

连续可微的指数线性单元激活。

计算逐元素函数

\[\begin{split}\mathrm{celu}(x) = \begin{cases} x, & x > 0\\ \alpha \left(\exp(\frac{x}{\alpha}) - 1\right), & x \le 0 \end{cases}\end{split}\]

有关详细信息，请参阅 连续可微的指数线性单元。

参数

  • x – 输入数组

  • alpha – 数组或标量（默认值：1.0）

返回

一个数组。

flax.nnx.elu(x, alpha=1.0)[source]#

指数线性单元激活函数。

计算逐元素函数

\[\begin{split}\mathrm{elu}(x) = \begin{cases} x, & x > 0\\ \alpha \left(\exp(x) - 1\right), & x \le 0 \end{cases}\end{split}\]
参数

  • x – 输入数组

  • alpha – 标量或 alpha 值的数组（默认值：1.0）

返回

一个数组。

另请参阅

selu()

flax.nnx.gelu(x, approximate=True)[source]#

高斯误差线性单元激活函数。

如果 approximate=False，计算逐元素函数

\[\mathrm{gelu}(x) = \frac{x}{2} \left(\mathrm{erfc} \left( \frac{-x}{\sqrt{2}} \right) \right)\]

如果 approximate=True，则使用 GELU 的近似公式

\[\mathrm{gelu}(x) = \frac{x}{2} \left(1 + \mathrm{tanh} \left( \sqrt{\frac{2}{\pi}} \left(x + 0.044715 x^3 \right) \right) \right)\]

有关详细信息，请参阅 高斯误差线性单元 (GELU)，第 2 节。

参数

  • x – 输入数组

  • approximate – 是否使用近似公式或精确公式。

flax.nnx.glu(x, axis=-1)[source]#

门控线性单元激活函数。

计算函数

\[\mathrm{glu}(x) = x\left[\ldots, 0:\frac{n}{2}, \ldots\right] \cdot \mathrm{sigmoid} \left( x\left[\ldots, \frac{n}{2}:n, \ldots\right] \right)\]

其中数组沿 axis 分为两部分。 axis 维的大小必须可被 2 整除。

参数

  • x – 输入数组

  • axis – 应该沿其计算拆分的轴（默认值：-1）

返回

一个数组。

另请参阅

sigmoid()

flax.nnx.hard_sigmoid(x)[source]#

硬 Sigmoid 激活函数。

计算逐元素函数

\[\mathrm{hard\_sigmoid}(x) = \frac{\mathrm{relu6}(x + 3)}{6}\]
参数

x – 输入数组

返回

一个数组。

另请参阅

relu6()

flax.nnx.hard_silu(x)[source]#

硬 SiLU（swish）激活函数

计算逐元素函数

\[\mathrm{hard\_silu}(x) = x \cdot \mathrm{hard\_sigmoid}(x)\]

hard_silu() 和 hard_swish() 都是同一函数的别名。

参数

x – 输入数组

返回

一个数组。

另请参阅

hard_sigmoid()

flax.nnx.hard_swish(x)#

硬 SiLU（swish）激活函数

计算逐元素函数

\[\mathrm{hard\_silu}(x) = x \cdot \mathrm{hard\_sigmoid}(x)\]

hard_silu() 和 hard_swish() 都是同一函数的别名。

参数

x – 输入数组

返回

一个数组。

另请参阅

hard_sigmoid()

flax.nnx.hard_tanh(x)[source]#

硬 \(\mathrm{tanh}\) 激活函数。

计算逐元素函数

\[\begin{split}\mathrm{hard\_tanh}(x) = \begin{cases} -1, & x < -1\\ x, & -1 \le x \le 1\\ 1, & 1 < x \end{cases}\end{split}\]
参数

x – 输入数组

返回

一个数组。

flax.nnx.leaky_relu(x, negative_slope=0.01)[source]#

Leaky ReLU 激活函数。

计算逐元素函数

\[\begin{split}\mathrm{leaky\_relu}(x) = \begin{cases} x, & x \ge 0\\ \alpha x, & x < 0 \end{cases}\end{split}\]

其中 \(\alpha\) = negative_slope。

参数

  • x – 输入数组

  • negative_slope – 指定负斜率的数组或标量（默认值：0.01）

返回

一个数组。

另请参阅

relu()

flax.nnx.log_sigmoid(x)[source]#

对数 Sigmoid 激活函数。

计算逐元素函数

\[\mathrm{log\_sigmoid}(x) = \log(\mathrm{sigmoid}(x)) = -\log(1 + e^{-x})\]
参数

x – 输入数组

返回

一个数组。

另请参阅

sigmoid()

flax.nnx.log_softmax(x, axis=-1, where=None, initial=_UNSPECIFIED)[source]#

Log-Softmax 函数。

计算 softmax 函数的对数，该函数将元素缩放到 \([-\infty, 0)\) 范围内。

\[\mathrm{log\_softmax}(x)_i = \log \left( \frac{\exp(x_i)}{\sum_j \exp(x_j)} \right)\]
参数

  • x – 输入数组

  • axis – 计算 log_softmax 的轴或多个轴。 可以是整数或整数元组。

  • where – 要包含在 log_softmax 中的元素。

返回

一个数组。

注意

如果任何输入值为 +inf，结果将全部为 NaN：这反映了在浮点数学的上下文中 inf / inf 未被明确定义的事实。

另请参阅

softmax()

flax.nnx.logsumexp(a, axis=None, b=None, keepdims=False, return_sign=False, where=None)[source]#

对数和指数归约。

scipy.special.logsumexp() 的 JAX 实现。

\[\mathrm{logsumexp}(a) = \mathrm{log} \sum_j b \cdot \mathrm{exp}(a_{ij})\]

其中 \(j\) 索引的范围覆盖一个或多个需要归约的维度。

参数

  • a – 输入数组

  • axis – 归约的轴或多个轴。可以是 None，一个整数或一个整数元组。

  • b – \(\mathrm{exp}(a)\) 的缩放因子。必须可以广播到 a 的形状。

  • keepdims – 如果 True，则归约的轴将保留在输出中，作为大小为 1 的维度。

  • return_sign – 如果 True，输出将是一个 (result, sign) 对，其中 sign 是总和的符号，而 result 包含其绝对值的对数。如果 False，则仅返回 result，如果总和为负数，它将包含 NaN 值。

  • where – 要包含在归约中的元素。

返回

根据 return_sign 参数的值，返回数组 result 或数组对 (result, sign)。

flax.nnx.one_hot(x, num_classes, *, dtype=<class 'jax.numpy.float64'>, axis=-1)[source]#

对给定的索引进行独热编码。

输入 x 中的每个索引都被编码为一个长度为 num_classes 的零向量，其中 index 处的元素设置为 1。

>>> jax.nn.one_hot(jnp.array([0, 1, 2]), 3)
Array([[1., 0., 0.],
       [0., 1., 0.],
       [0., 0., 1.]], dtype=float32)

范围 [0, num_classes) 之外的索引将被编码为零。

>>> jax.nn.one_hot(jnp.array([-1, 3]), 3)
Array([[0., 0., 0.],
       [0., 0., 0.]], dtype=float32)
参数

  • x – 索引张量。

  • num_classes – 独热维度中的类别数。

  • dtype – 可选，返回值的浮点 dtype（默认为 jnp.float_）。

  • axis – 应该计算函数的轴或多个轴。

flax.nnx.relu(x)[source]#

修正线性单元激活函数。

计算逐元素函数

\[\mathrm{relu}(x) = \max(x, 0)\]

除了微分，我们取

\[\nabla \mathrm{relu}(0) = 0\]

有关更多信息，请参阅ReLU'(0) 对反向传播的数值影响。

参数

x – 输入数组

返回

一个数组。

示例

>>> jax.nn.relu(jax.numpy.array([-2., -1., -0.5, 0, 0.5, 1., 2.]))
Array([0. , 0. , 0. , 0. , 0.5, 1. , 2. ], dtype=float32)

另请参阅

relu6()

flax.nnx.selu(x)[source]#

缩放指数线性单元激活。

计算逐元素函数

\[\begin{split}\mathrm{selu}(x) = \lambda \begin{cases} x, & x > 0\\ \alpha e^x - \alpha, & x \le 0 \end{cases}\end{split}\]

其中 \(\lambda = 1.0507009873554804934193349852946\) 并且 \(\alpha = 1.6732632423543772848170429916717\)。

有关更多信息，请参阅自归一化神经网络。

参数

x – 输入数组

返回

一个数组。

另请参阅

elu()

flax.nnx.sigmoid(x)[source]#

Sigmoid 激活函数。

计算逐元素函数

\[\mathrm{sigmoid}(x) = \frac{1}{1 + e^{-x}}\]
参数

x – 输入数组

返回

一个数组。

另请参阅

log_sigmoid()

flax.nnx.silu(x)[source]#

SiLU（又名 swish）激活函数。

计算逐元素函数

\[\mathrm{silu}(x) = x \cdot \mathrm{sigmoid}(x) = \frac{x}{1 + e^{-x}}\]

swish() 和 silu() 都是同一函数的别名。

参数

x – 输入数组

返回

一个数组。

另请参阅

sigmoid()

flax.nnx.soft_sign(x)[source]#

Soft-sign 激活函数。

计算逐元素函数

\[\mathrm{soft\_sign}(x) = \frac{x}{|x| + 1}\]
参数

x – 输入数组

flax.nnx.softmax(x, axis=-1, where=None, initial=_UNSPECIFIED)[source]#

Softmax 函数。

计算将元素重新缩放到 \([0, 1]\) 范围的函数，使得沿 axis 的元素总和为 \(1\)。

\[\mathrm{softmax}(x) = \frac{\exp(x_i)}{\sum_j \exp(x_j)}\]
参数

  • x – 输入数组

  • axis – 应该计算 softmax 的轴或多个轴。 在这些维度上求和的 softmax 输出应该总和为 \(1\)。 可以是整数或整数元组。

  • where – 要包含在 softmax 中的元素。

返回

一个数组。

注意

如果任何输入值为 +inf，结果将全部为 NaN：这反映了在浮点数学的上下文中 inf / inf 未被明确定义的事实。

另请参阅

log_softmax()

flax.nnx.softplus(x)[source]#

Softplus 激活函数。

计算逐元素函数

\[\mathrm{softplus}(x) = \log(1 + e^x)\]
参数

x – 输入数组

flax.nnx.standardize(x, axis=-1, mean=None, variance=None, epsilon=1e-05, where=None)[source]#

通过减去 mean 并除以 \(\sqrt{\mathrm{variance}}\) 来归一化数组。

flax.nnx.swish(x)#

SiLU（又名 swish）激活函数。

计算逐元素函数

\[\mathrm{silu}(x) = x \cdot \mathrm{sigmoid}(x) = \frac{x}{1 + e^{-x}}\]

swish() 和 silu() 都是同一函数的别名。

参数

x – 输入数组

返回

一个数组。

另请参阅

sigmoid()

flax.nnx.tanh(x, /)#

计算输入的逐元素双曲正切值。

numpy.tanh 的 JAX 实现。

双曲正切定义为

\[tanh(x) = \frac{sinh(x)}{cosh(x)} = \frac{e^x - e^{-x}}{e^x + e^{-x}}\]
参数

x – 输入数组或标量。

返回

一个数组，包含 x 中每个元素的双曲正切值，并提升为非精确数据类型。

注意

jnp.tanh 等价于计算 -1j * jnp.tan(1j * x)。

另请参阅

  • jax.numpy.sinh(): 计算输入的逐元素双曲正弦值。

  • jax.numpy.cosh(): 计算输入的逐元素双曲余弦值。

  • jax.numpy.arctanh(): 计算输入的逐元素双曲正切的反函数。

示例

>>> x = jnp.array([[-1, 0, 1],
...                [3, -2, 5]])
>>> with jnp.printoptions(precision=3, suppress=True):
...   jnp.tanh(x)
Array([[-0.762,  0.   ,  0.762],
       [ 0.995, -0.964,  1.   ]], dtype=float32)
>>> with jnp.printoptions(precision=3, suppress=True):
...   -1j * jnp.tan(1j * x)
Array([[-0.762+0.j,  0.   -0.j,  0.762-0.j],
       [ 0.995-0.j, -0.964+0.j,  1.   -0.j]],      dtype=complex64, weak_type=True)

对于复数值输入

>>> with jnp.printoptions(precision=3, suppress=True):
...   jnp.tanh(2-5j)
Array(1.031+0.021j, dtype=complex64, weak_type=True)
>>> with jnp.printoptions(precision=3, suppress=True):
...   -1j * jnp.tan(1j * (2-5j))
Array(1.031+0.021j, dtype=complex64, weak_type=True)
目录