jayden5744/ae

AutoEncoder

👋 Hi there! I'm A.I. research engineer of AITok.
I am very interested in speech recognition and natural language processing.

💪 Skills

Platforms & Languages

Deep Learning Framework

ae's Issues

[논문설명] Using Adversarial Autoencoders for Multi-Modal Automatic Playlist Continuation(2) - AAE

1. Adversarial Autoencoder (AAE)

• VAE에 GAN을 덧입힌 구조
• 이렇게 만든 이유는?
  • VAE는 사전확률 분포 p(z)를 표준정규분포로 가정하고, q(z|x)를 이와 비슷하게 맞추는 과정에서 학습이 이루어짐
  • 왜냐하면 표준정규분포와 같이 간단한 확률함수여야만 샘플링이 용이하고, KLD 계산이 쉽기 때문에
  • 그런데 실제 데이터 분포가 정규분포를 따르지 않거나 이보다 복잡할 경우 VAE 성능에 문제가 발생할 수 있음
    

p(z)는 어떻게 아는걸까?

• prior distribution을 정하는 것을 보았을 때, 미리 어느 분포를 하나 정하고, 그 분포의 형태를 취하는 것 중에 사실 AAE는 x를 잘 복원하는 분포를 만드는게 아닐까? (뇌피셜)

• Generator

  • VAE의 Encoder 라인이 분포의 모수를 만드는 생성자(Generator)의 역할을 한다.
  • 데이터 x를 받아서 잠재변수분포 모수를 생성해서 z를 샘플링한다.

• Discriminator

  • 구분자는 생성자의 Encdoer가 샘플링한 가짜 z와 p(z)로부터 직접 샘플링한 진짜 z를 구분하는 역할을 한다.

• GAN의 경우 모델에 특정 확률분포를 전제할 필요가 없습니다. GAN은 데이터가 어떤 분포를 따르든, 데이터의 실제 분포와 생성자(모델)가 만들어내는 분포 사이의 차이를 줄이도록 학습되기 때문

• VAE의 regularization term을 GAN Loss로 대체할 경우 사전확률과 사후확률 분포를 정규분포 이외에 다른 분포를 쓸 수 있게 돼 모델 선택의 폭이 넓어지는 효과를 누릴 수 있다

# Encoder
Q = torch.nn.Sequential(
    torch.nn.Linear(X_dim, h_dim),
    torch.nn.ReLU(),
    torch.nn.Linear(h_dim, z_dim))

# Decoder
P = torch.nn.Sequential(
    torch.nn.Linear(z_dim, h_dim),
    torch.nn.ReLU(),
    torch.nn.Linear(h_dim, X_dim),
    torch.nn.Sigmoid())

# Discriminator
D = torch.nn.Sequential(
    torch.nn.Linear(z_dim, h_dim),
    torch.nn.ReLU(),
    torch.nn.Linear(h_dim, 1),
    torch.nn.Sigmoid())

""" Step 1. Reconstruction phase """
z_sample = Q(X)  # input -> Encoder -> z
X_sample = P(z_sample)  # z -> Decoder -> x'
recon_loss = nn.binary_cross_entropy(X_sample, X)  # X와 x'를 비교

""" Step 2. loss for discriminator """
# Discriminator
z_real = Variable(torch.randn(mb_size, z_dim))   # 실제 분포에서 뽑아낸 z
z_fake = Q(X)   # encoder에서 샘플링하는 z
D_real = D(z_real)  # z_real을 Discriminator에 넣은 output(확률)
D_fake = D(z_fake)  # z_fake를 Discriminator에 넣은 output(확률)
D_loss = -torch.mean(torch.log(D_real) + torch.log(1 - D_fake))  # log를 취한뒤 평균
# D_real이 1(진짜라고 판단하면) log 1==0 / D_fake가 0(가짜라고 판단하면) log (1-0) == 0
# D_real이 0.5이면 log 0.5 = -0.3010 / D_fake가 0.5 log (1-0.5) = -0.3010 => 그렇기떄문에 minus를 붙여줌

""" Stpe 3. Generator"""
z_fake = Q(X)   # input -> Encoder -> z
D_fake = D(z_fake)  #  z -> Discriminator -> z'
G_loss = -torch.mean(torch.log(D_fake))  # Discriminator가 판단하기 어려울 정도로 유사한 z를 만들어내는지에 대한 loss
# D_fake가 1(진짜)로 예측하면 loss는 0으로 수렴하고, D_fake를 0(가짜)로 예측할 수록 loss의 값은 커짐 ex) log(0.00001) = -5

참고자료

• 논문 : https://zenodo.org/record/1455214/files/Vagliano-et-al-Using-Adversarial-Autoencoders-for-Multi-Modal-Automatic-Playlist-Continuation.pdf?download=1
• 코드 : https://github.com/lgalke/mpd-aae-recommender
• 블로그
  • https://ratsgo.github.io/generative%20model/2018/01/27/VAE/
  • https://datascienceschool.net/view-notebook/c5248de280a64ae2a96c1d4e690fdf79/
  • https://www.youtube.com/watch?v=-iamEYdDyvE

[논문설명] Using Adversarial Autoencoders for Multi-Modal Automatic Playlist Continuation(1) - VAE

1. Variational AutoEncoder(VAE)의 목적

• AutoEncoder의 목적과 같이 주어진 데이터를 잘 설명하는 latent vector 즉, z를 찾는 것이다.
• 그러나 차이점은 VAE는 고정된 z가 아닌 z의 분포를 찾는 것이다.
• 쉽게 말하면 AE의 z는 원본 x를 제일 잘 표현하는 값을 찾는 방식이고, VAE는 원본 x를 제일 잘 표현하는 분포를 찾는 방식이다.

값이 아닌 분포를 해서 얻을 수 있는 이점은 뭘까?

• 아무런 가정 없이 random variable만 입력으로 넣어주고 데이터를 복원해보라고하면 너무 어렵고 잘 될리가 만무하니까 잘 복원해주는 random variable을 만들 수는 없을까라는 고민에서 비롯한 방법
• 그렇다고 해서 AE보다 VAE가 더 좋다고는 할 수 없고, 다만 학습은 더 안정적으로 된다고 함.

• 먼저 분포를 정의하기 위해서는 모수를 정의해야 하는데, 여기서는 분포를 정규분포로 가정하기 때문에 평균과 표준 편차를 모수로 가진다.
• Encoder는 학습용 데이터(x)를 입력으로 받고 잠재 변수(z)의 확률분포에 대한 파라미터(모수)를 출력한다
• Decoder 는 잠재변수에 대한 확률 분포 p(z)에서 샘플링한 벡터를 입력받아 이를 이용해 원본 데이터를 복원한다.

2. Encoder

• Encoder의 역할은 데이터가 주어졌을 때 Decoder가 원래의 데이터로 잘 복원할 수 있는 z를 샘플링할 수 있는 이상적인 p(z|x)를 찾는 것
• 그러나 이상적인 p(z|x)가 무엇인지 아무도 모른다
• 이를 알기 위한 방법으로 Variational inference를 사용한다

2-1 Variational inference

• 우리가 이상적인 확률분포를 모를 때, 이를 추정하기 위해 다루기 쉬운 분포를 가정하고 이 확률분포의 모수를 바꿔가며, 이상적인 확률분포에 근사하게 만들어 그 확률분포를 대신 사용하는 것
• 이 다루기 쉬운 분포를 qϕ 라고 한다면, Encoder는 ϕ 라는 파라미터(모수)들을 바꾸어가며, qϕ(z|x) 확률 분포를 이상적인 확률 분포 p(z|x) 에 근사시키는 역할을 수행한다
  
• Encoder의 output은 qϕ(z|x) 확률 분포의 모수이다. 위에서 우리는 정규분포로 가정했기 때문에, 확률분포의 모수는 평균과 분산이다.
• 평균과 분산을 가지고 그냥 샘플링 한다면 back propagation이 불가능하다. 그래서 사용하는 것이 Reparameterization trick이다.

왜 back propagation이 불가능한가?

• 밑에 그림을 보면 Deterministic node는 Backpropagation이 가능하지만 Random Node는 그럴 수가 없다. 왜냐하면 어떤 수식으로 인하여 나온 결과를 역으로 추적하는 것이 Back propagation인데 Random으로 나온 결과는 수식에 따라 타고 갈 수 없기 떄문에(뇌피셜)
  

2-2 Reparameterization trick

• 가우시안 정규분포의 샘플을 추출하고 싶을 때, 아래의 식과 같이 샘플링 하는 것을 말함
• 확률적 특성을 그대로 보존하면서, Back propagation이 가능함

import torch

def __init__(self):
    self.fc1_1 = nn.Linear(784, hidden_size)
    self.fc1_2 = nn.Linear(784, hidden_size)
    self.relu = nn.ReLU()
                        
def encode(self,x):
    x = x.view(batch_size,-1)
    mu = self.relu(self.fc1_1(x))     # mean vector
    log_var = self.relu(self.fc1_2(x))  # variation
    return mu,log_var
    
def reparametrize(self, mu, logvar):  # Reparametrization Trick
    std = logvar.mul(0.5).exp_()      # σ(x)
    eps = torch.FloatTensor(std.size()).normal_()  # ϵ∼N(0,1)
    return eps.mul(std).add_(mu)     # z=μ(x)+σ(x)×ϵ

3. Decoder

• Decoder는 추출한 샘플(z)를 입력으로 받아 원본을 재구축하는 역할을 한다. 기존의 AutoEncoder의 Decoder와 동일

4. Loss Function - Evidence LowerBOund(ELBO)

• 우리가 알고 싶은 것은 p(x)이다.

4-1 Jensen's Inquality

# the Binary Cross Entropy between the target and the output
reconstruction_function = nn.BCELoss(size_average=False)

def loss_function(recon_x, x, mu, logvar):
    BCE = reconstruction_function(recon_x, x)
    KLD_element = mu.pow(2).add_(logvar.exp()).mul_(-1).add_(1).add_(logvar)
    KLD = torch.sum(KLD_element).mul_(-0.5)
    return BCE + KLD

• BCE로 input x와 output x를 비교해서 loss를 구하고
• KLD로 정규분포랑 원래 z분포의 loss를 구한다.

참고자료

• 논문 : https://zenodo.org/record/1455214/files/Vagliano-et-al-Using-Adversarial-Autoencoders-for-Multi-Modal-Automatic-Playlist-Continuation.pdf?download=1
• 코드 : https://github.com/lgalke/mpd-aae-recommender
• 블로그
  • https://ratsgo.github.io/generative%20model/2018/01/27/VAE/
  • https://datascienceschool.net/view-notebook/c5248de280a64ae2a96c1d4e690fdf79/
  • https://www.youtube.com/watch?v=-iamEYdDyvE