VAE 설치 방법 및 VAE 사용법 (스테이블 디퓨전)

스테이블 디퓨전 1.4 모델부터 VAE 관련 사항이 업데이트 되면서 눈 등 얼굴속 부위의 렌더링을 개선할 수 있게 되었습니다. 이번 글에서는 스테이블 디퓨전에서 VAE란 무엇인지, 이를 통해 어떤 결과물을 기대할 수 있는지, 그리고 사용법을 함께 알아보겠습니다.

 

VAE란

VAE란 Variational Autoencoder의 약자로, 이미지를 자동으로 인코딩 및 디코딩할 수 있게 하는 신경망 모델의 일종입니다. VAE가 있으면 이미지 내 미세한 세부 조정이 가능하며 특히 눈과 같이 디테일을 살리는 것이 필수인 부위를 작업하는 데에 유용하게 사용되고 있습니다. 현재 이용되고 있는 스테이블 디퓨전 모델 모두에 이미 VAE가 들어가 있어 VAE를 따로 설치할 필요는 없으며, EMA와 MSE 등 2개 유형이 적용되어 있습니다. 스테이블 디퓨전이 생성한 AI 이미지에 큰 문제가 없다면 추가 작업이 필요없겠지만 보정이 필요한 상황이라면 고려해볼 수 있겠습니다.

 

VAE 보정 결과물은?

EMA는 대체로 이미지를 선명하게 해주는 데 도움이 되고 MSE는 부드럽게 가공하는 것에 특화되어 있습니다. 아래는 Stable Diffusion이 생성한 이미지 원본과 EMA, MSE를 통해 얼굴의 렌더링을 개선한 예시입니다. 원본을 보시면 눈에는 물방울같은 무늬가 있어 부자연스럽고 입도 마찬가지로 뭔가 어그러져있는 모습입니다. 여기에 EMA와 MSE를 각각 적용하니 눈과 입이 훨씬 자연스러워졌습니다.

 

원본

EMA 적용

MSE 적용

 

물론 위와 같은 극적인 개선이 이루어지는 경우도 있지만 그렇지 않은 경우도 많습니다. 특히 이미지에 들어가있는 글자가 어색해보이는 경우 글자 수정은 아무리 해봐도 보완이 쉽지 않다는 소문이 있습니다. 보완작업이 필요할 땐 여러 방향으로 테스트를 거쳐보는 것이 필요할 수 있겠습니다.

 

VAE 개선된 버전 설치 방법 및 사용법

VAE 기본 버전은 스테이블 디퓨전에 이미 포함되어 있지만, 스테이블 디퓨전의 운영사인 Stability 측에서 좀 더 개선하여 발표한 버전을 다운받아 이용하는 것도 가능합니다. 개선된 VAE 버전을 이용하는 방법은 다음과 같습니다.

 

1. 우선 EMA와 MSE 개선 버전을 다운로드 받아야 합니다. 아래 링크에서 다운로드 받으시면 됩니다.

• EMA VAE 다운로드 : https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt
• MSE VAE 다운로드 : https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt

 

혹 위 링크가 열리지 않는 경우 아래 페이지에서 시도해보실 수 있습니다. Evaluation - COCO 2017 (256x256, val, 5000 images)에 있는 ft-EMA와 ft-MSE에 대한 ckpt 파일 링크를 각각 확인하시면 됩니다.

https://huggingface.co/stabilityai/sd-vae-ft-ema#coco-2017-256x256-val-5000-images

2. 위에서 다운로드받은 파일을 Automatic1111 폴더 내 stable-diffusion-webui/models/VAE 폴더 안에 넣어줍니다.

3. Automatic1111 GUI에서 Settings를 클릭하여 설정 탭으로 이동합니다. Settings가 보이지 않는 경우 왼쪽에서 Show all pages를 선택하면 보입니다.

4. 왼쪽에 보이는 Stable Diffusion을 클릭합니다.

5. SD VAE라고 되어있는 부분을 찾습니다.

6. 설명 옆에 있는 v 화살표를 클릭하고 드롭다운 메뉴를 엽니다.

7. 사용해보려는 VAE 파일을 선택합니다.

8. 상단에 보이는 Apply Settings 버튼을 클릭합니다.

9. 로딩이 성공적으로 완료되면 'Settings:sd_vae applied'라는 메시지가 표시됩니다.

 

기본 탑재되어 있는 VAE 버전을 이용하시려면 위의 6번 단계에서 'None(없음)'을 선택하시면 됩니다. 그리고 상황에 따라 스테이블 디퓨전이 VAE 버전을 자동으로 선택하게 하려면 'Auto(자동)'를 선택하시면 됩니다. 다만 Auto를 선택하게 되면 어떤 버전을 사용했는지 사용자가 알 수 없게 된다는 단점은 있겠습니다.