The following pages and posts are tagged with
| Title | Type | Excerpt |
|---|---|---|
| The IM Algorithm : A variational approach to Information Maximization (NIPS2003) | Page | \begin{align} \newcommand{\b}[1]{\mathbf{#1}} \newcommand{\bo}[1]{\boldsymbol{#1}} \nonumber \end{align} ※式変形のメモです． --- 入力を$\mathbf{x}$，出力を$\mathbf{y}$とする． 相互情報量$I(\mathbf{x}, \mathbf{y})$，エントロピー$H(\mathbf{x})$，条件付きエントロピー$H(\mathbf{x} \| \mathbf{y})$について一般に以下が成り立つ． $$ \newcommand{\b}[1]{\mathbf{#1}} \newcommand{\bo}[1]{\boldsymbol{#1}} I(\b{x}, \b{y}) = H(\b{x}) - H(\b{x}|\b{y}) = - \mathbb{E}_{\b{x} \sim p(\b{x})} \left[ \log p(\b{x}) \right] + \mathbb{E}_{\mathbb{x}, \mathbb{y} \sim p(\b{x}, \b{y})} \left[ \log p(\b{x} | \b{y}) \right] $$ ここで，ある任意の確率分布$q(\mathbf{x} \| \mathbf{y}) \in Q$を導入すると，KLダイバージェンスの非負性から $$ \newcommand{\b}[1]{\mathbf{#1}}... |
| StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks | Page | [arXiv:1612.03242](https://arxiv.org/abs/1612.03242) 画像とテキストの学習データのペアを増やすため、テキストはembedding後の特徴量を用いて、ガウス分布からサンプリングするようにしたConditioning Augmentationを提案。モデルアーキテクチャの概要・生成例は画像を参照。https://t.co/uAxscuynUQ pic.twitter.com/OUhdYqkI5T— t2kasa (@__t2kasa__) 2018年6月26日 |