[AI 부트캠프] DAY 90 - 트랙학습 CV 4

[오늘의 일지]

트랙학습 녹화 강의 - Transfer learning

[상세 내용]

Transfer learning 

- 이번 수업은 사실 기존 U-net에 transfer learning을 적용시키는 실습 위주의 내용이었습니다. 근데 저는 코드를 짜면서 적용하는 것까지는 이해하는데 무리가 있어서 transfer learning이라는 것이 어떤 특징을 가지고 있는지 알아보고 이해하려고 노력했습니다.

 

정의

- Transfer learning은 한 도메인에서 학습된 모델을 다른 관련 도메인으로 전이하여 활용하는 기계 학습의 한 형태입니다. 간단한 기본적인 아이디어는 한 작업에서 학습된 모델의 일부 또는 전체를 새로운 작업에 재사용하는 것입니다.

• Feature Extraction: 사전에 학습된 모델의 하위 층에서 추출한 특성을 사용하여 새로운 모델을 학습하는 방법입니다. 이는 입력 데이터의 일반적인 특성을 학습한 원본 모델로부터 유용한 정보를 가져와 새로운 작업에 적용하는 데 사용됩니다.
• Fine-tuning: 사전에 학습된 모델을 새로운 작업에 맞게 조정하는 과정입니다. 전체 모델이나 일부 층의 가중치를 조정하여 새로운 데이터셋에 더 적합하게 만듭니다.

 

특징

- Transfer learning은 주로 사전에 대규모 데이터셋에서 학습된 모델을 기반으로 합니다. 이미 학습된 모델의 가중치와 아키텍처를 가져와서 새로운 작업에 활용합니다.

- Transfer learning은 적은 양의 데이터에서도 효과적으로 작동할 수 있습니다. 사전 학습된 모델은 이미 다른 작업에서 유용한 특성을 학습했기 때문에 새로운 작업에서 적은 양의 데이터로도 좋은 성능을 보일 수 있습니다.

- 기존에 학습된 모델은 일반적이고 추상적인 특성을 학습했기 때문에 다양한 작업에서 사용될 수 있습니다. 이는 모델이 새로운 작업에서 빠르게 학습하고 높은 일반화 능력을 갖게 해 줍니다.

- Transfer learning은 주로 두 가지 방식으로 사용됩니다. 첫째, 특성 추출은 사전 학습된 모델의 일부 층에서 특성을 추출하고 이를 새로운 모델에 입력으로 사용합니다. 둘째, 미세 조정은 사전 학습된 모델의 일부 또는 전체 층을 새로운 작업에 맞게 조정하는 과정입니다.

 

출처:https://www.nature.com/articles/s41524-022-00878-5

 

[마무리]

 오늘은 온라인 강의를 통해서 transfer learning이라는 기법에 대해서 배웠습니다. 전체적으로 이해한 결과는 간단하게 정리하자면 사전에 다른 데이터를 통해서 학습된 모델을 가져와서 가중치나 특성들을 얻어낸 다음에 저장해서 적은 양의 데이터에서도 비슷한 결과를 얻을 수 있는 방법이라고 하는 것 같았습니다. 이 기법은 시간 절약 측면이나 대중적인 제품을 만들 때 최적화하기 좋은 역할을 할 거 같다고 느꼈습니다.