Closed-Form Factorization of Latent Semantics in GANs
abstract
latent sementic을 위해 annotation과 supervised classifier가 필요했음
unsupervised manner로 variation factor를 찾아보겠다 (이전에는 sampling, labeling, boundary searching으로 이루어져있었음) - 이전의 알고리즘들이 3d label 없어도 포즈를 바꿀 수 있었듯이
introduction?
representation의 목표: 사람이 이해할 수 있는 특정 같은 의미있는 subspace를 찾기 (눈 위치 같은거...)
supervised 기반의 방법들은 code에서 sampling한 뒤에 이미지를 합성하고 pre-defined label로 annotate함
traditional G: z->[FC]->y, y는 initial feature map
style-based G: z가 layer-wise style code가 되어서 feature map을 modulate할 것이다 (adaIN)
unsupervised manner로 variation factor들을 배우는 것에 대한 장점. interpretable factorized representation을 학습하지만 # of facctor는 pre-defined되어야 함
approach
보통 z ~ N(0, I) -> [ FC ] -> y -> [ G ] -> out_image 이런 식인데 여기서 z를 y로 변환시키는 fc에 대해서 이 FC의 eigenvector를 찾아다가 그걸로 latent vector를 shift하면! 우리가 굳이 label 없이도 필요한 attribute를 찾아낼 수 있다!
재미있는 논문이긴 하다...weight 자체가 가지고 있는 learned characteristics를 바로 이용해버리다니....
코드는 아직 공개 안되었고 https://genforce.github.io/sefa/ 프로젝트 페이지가 있음 '_'