3層NNの普遍定理の論文を読む①

こんにちは、いりすです。最近は3層ニューラルネットワークの普遍定理を証明したCybenko, Approximation by Superpositions of Sigmoidal Functionを読んでいます。この論文の主定理は、sigmoidalな関数 $\sigma$ についてニューラルネットワークで表現される数式

$\displaystyle G(x) = \sum _ {j=1}^ N a _ j \sigma(y _ j^ Tx+\theta _ j)$

の集合 $S$ が連続関数空間 $C( I _ n )$ と $L _ 1( I _ n )$ で稠密であることが主張です。特に、sigmoidalな関数 $\sigma$ とは

$\sigma = \left\{ \begin{array}{ll} 1 & (t\to \infty) \\ 0 & (t\to -\infty) \end{array} \right.$

となることです。

discriminatory関数の稠密性

定理1はsigmoidal関数よりも広い関数のクラス、discriminatoryな関数 $\sigma$ について $S$ が連続関数空間との稠密性を示してます。 discriminatoryな関数 $\sigma$ とは測度 $\mu \in M(I _ n)$ に対して

$\displaystyle \forall y\in \mathbb{R} ^ n, \forall \theta \in \mathbb{R}, \int _ {I _ n} \sigma(y^ Tx+\theta) d\mu(x) = 0 \Rightarrow \mu = 0$

となることです。証明の方針は、線形部分空間 $S\subset C(I _ n)$ について、その閉包 $\bar{S} \neq C(I _ n)$ として、ハーンバナッハから線形汎関数 $L(\bar{S})=0$ となるものを作り、Riesz表現定理で

$\displaystyle L(h)=\int _ {I _ n}h(x)d\mu(x)$

と表現します。 $h$ に $\sigma(y^ Tx+\theta$ を突っ込むと0になるので、discriminatoryより $\mu=0$ になり、任意の $C(I _ n)$ に対して $L=0$ になります。

sigmoidal関数はdiscriminatory

続いて、補題1ではsigmoidal $\subset$ discriminatoryを示します。

証明の方針としてはsigmoidal関数列 $\sigma _ \lambda(x) = \sigma (\lambda (y ^ T x + \theta) + \phi)$ にたいして

$\sigma _ \lambda(x) \to \left\{ \begin{array}{lll} 1 & y ^ T x + \theta > 0 \ \ as& \lambda \to \infty\\ 0 & y ^ T x + \theta < 0 \ \ as& \lambda \to \infty\\ \sigma(\phi) & y ^ T x + \theta = 0 \ \ as& \lambda \to \infty \end{array} \right.$

ここで $\gamma(x) = \lim _ {\lambda \to \infty} \sigma _ \lambda (x)$ としてdiscriminatoryの前提とLebesgue優収束定理より

$\begin{align*} 0 &= \lim _ {\lambda \to \infty} \int _ {I _ n} \sigma _ \lambda (x) d\mu(x)\\ &= \int _ {I _ n} \gamma(x) d\mu(x)\\ &= \sigma (\phi)\mu(\Pi _ {y, \theta}) + \mu(H _ {y, \theta}) \end{align*}$

となります。ただし、 $\Pi _ {y, \theta} = \{x;y ^ T x = \theta \}, H _ {y, \theta} = \{ x;y ^ T x + \theta > 0 \}$ 。ここで、 $\mu(\Pi _ {y, \theta}) + \mu(H _ {y, \theta}) = 0$ であれば、 $\mu = 0$ を示します。