[AI 부트캠프] DAY 71 - 딥러닝 7

[오늘의 일지]

딥러닝 실시간 강의 - Diffusion Model

[상세 내용]

Diffusion Model

- 확산 모델(Diffusion Model)은 확률적인 데이터 생성 및 이미지 생성과 관련된 딥러닝 모델 중 하나입니다. 확산 모델은 데이터의 생성 과정을 시뮬레이션하고, 이론적으로 이미지 생성 작업에 사용될 수 있습니다. 확산 모델은 이미지 생성의 역과정을 시뮬레이션하는 과정에서 데이터 분포를 모델링하고, 원본 이미지와 생성된 이미지 간의 차이를 최소화하도록 학습합니다. 이 모델은 다양한 종류의 이미지 생성 작업에 적용될 수 있으며, 특히 고해상도 이미지 생성 및 이미지 복원 작업에 유용합니다.

• 이미지 생성: 확산 모델은 고품질 이미지 생성에 사용됩니다. 예를 들어, 고해상도 얼굴 이미지 생성에 활용될 수 있으며, 확산 모델을 사용하여 초기 노이즈에서부터 시작하여 점차 이미지를 개선해 가면서 사실적인 얼굴 이미지를 생성합니다.
• 이미지 복원: 확산 모델은 손상된 이미지를 복원하는 데도 사용됩니다. 이미지에 노이즈가 추가되었거나 부분적으로 손상된 이미지를 초기 노이즈로부터 충분한 반복 스텝을 통해 복원할 수 있습니다.
• 화풍 변환: 확산 모델은 이미지의 스타일을 변경하는 화풍 변환 작업에도 활용됩니다. 초기 이미지를 원하는 화풍 스타일로 변환하기 위해 확산 과정을 사용합니다.
• 노이즈 제거: 확산 모델은 이미지에서 노이즈를 제거하는 데도 유용합니다. 노이즈가 추가된 이미지를 초기 이미지로 설정하고, 확산 모델을 사용하여 원래 이미지를 복원할 수 있습니다.
• 이상 탐지: 확산 모델은 정상적인 이미지 데이터 분포를 학습하고, 이상치 이미지를 생성할 때 사용할 수 있습니다.
• 고해상도 이미지 생성: 낮은 해상도 이미지를 고해상도 이미지로 업샘플링하는 데 사용될 수 있습니다. 초기 낮은 해상도 이미지에서 시작하여 확산 모델을 사용하여 고품질 이미지를 생성합니다.

 

원리

• 시작 이미지 초기화: 생성 프로세스는 무작위 노이즈 또는 초기 이미지로 시작됩니다. 이 시작 이미지를 "텐더 이미지(tenured image)"라고 합니다.
• 역 확산(Reverse Diffusion): 이제 역 확산 단계를 거칩니다. 이 과정에서, 초기 이미지를 점진적으로 개선하기 위해 노이즈를 더하고, 이미지를 점차적으로 "훼손"합니다. 이것은 이미지의 품질을 낮추는 과정이며, 주로 마코프 체인 몬테 카를로(Markov Chain Monte Carlo) 방법을 사용하여 수행됩니다.
• 반복적인 확산 스텝: 역 확산 단계는 여러 스텝으로 나누어 수행됩니다. 각 스텝에서는 노이즈가 추가되고 이미지가 훼손됩니다. 역확산 스텝을 수행할수록 초기 이미지에서 점차적으로 멀어지는 이미지가 생성됩니다.
• 역 확산 스텝의 역순: 역 확산 스텝을 완료하면, 그 스텝들의 역순으로 진행합니다. 이것은 초기 이미지에서 시작하여 생성할 이미지를 점차적으로 향상시키는 단계입니다.
• 텐더 이미지로의 복원: 역 확산 과정의 역순을 통해 초기 이미지를 향상시켜 실제 이미지와 유사한 이미지를 생성합니다.
• 품질 평가 및 학습: 생성된 이미지와 실제 이미지 간의 유사성을 측정하여 생성자 모델을 학습합니다. 일반적으로 이 평가에는 평가 모듈(Scoring Module)이 사용됩니다.

 

모델 예시 

- Denoising Diffusion Probabilistic Model (DDPM): DDPM는 확산 모델의 초기 형태 중 하나입니다. 이 모델은 이미지 생성 작업에 적용될 때, 초기 이미지에 노이즈를 추가하고 이 노이즈를 점차적으로 제거하여 원본 이미지를 복원하는 방식으로 작동합니다. DDPM은 높은 품질의 이미지 생성과 이미지 복원을 위한 확률적인 접근을 채택합니다.

- Improved Diffusion Probabilistic Models (iDPM): iDPM는 DDPM의 발전된 형태로, 초기 버전에 비해 더 나은 이미지 생성 성능을 제공합니다. 이 모델은 개선된 확산 모델의 구현으로, 이미지 생성에 더욱 정교한 확률 모델을 사용하여 고품질 이미지를 생성하는 데 사용됩니다.

 

[마무리]

 어제에 이어서 generation 모델에 대해서 이어서 공부하였습니다. 어제 정리했던 모델들에서 좀 더 발전된 내용이라고 할 수 있었는데 이미지와 관련된 AI분야가 발전 속도도 빠르고 다양하게 확장하고 있다는 것을 느꼈습니다. 그리고 실제 눈으로 보이는 분야이다 보니 더 흥미롭게 다가왔던 내용이었던 거 같습니다.