2024/027 [AI 부트캠프] DAY 137 - 파이널 프로젝트 28 [오늘의 일지] 프로젝트 - YOLOv8 대용량 데이터 학습 시 주의해할 점 [상세 내용] YOLOv8 대용량 데이터 학습 시 주의해할 점 - 어제 일지에서 대용량 데이터를 학습하는 과정과 결과에 대해서 정리했습니다. 그럼 오늘은 대용량 데이터를 학습하는 과정에서 겪었던 주의 하면 좋을 거 같은 부분에 대해서 정리해 보겠습니다. RAM 용량 관리 - 자세한 구조나 원리는 모르겠지만 train 데이터를 인식하고 caching 할 때는 램 용량을 많이 사용하지 않은 것으로 보였는데 validation 데이터를 caching 하는 과정에서 생각보다 많이 램 용량을 할당하는 것을 파악했습니다. 그 규모는 약 4만 개의 320픽셀 이미지 데이터를 기준으로 50GB 정도를 할당하는 것으로 보였습니다. 이러한 현상 .. 2024. 2. 3. [AI 부트캠프] DAY 136 - 파이널 프로젝트 27 [오늘의 일지] 프로젝트 - YOLOv8 다중 클래스 학습 결과 [상세 내용] YOLOv8 다중 클래스 학습 결과 - 지난 일지에서 코랩에서 대용량 데이터를 활용해서 학습을 시키는 방법을 정리하였습니다. 그렇게 학습하게 된 대용량 데이터의 다중 클래스 학습의 결과를 정리해 보겠습니다. 제한된 조건 - 대용량 데이터라도 여유 있는 리소스가 있었다면 평가 지표가 어느 정도 수렴할 때까지 학습시켜 보면 좋겠지만 코랩 프로 플러스의 컴퓨팅 단위가 제한되어 있어서 10 epochs 정도만 학습시키는 걸로 시도해 보았습니다. 학습 결과 - 대용량 데이터의 학습 결과를 직관적으로 결과를 평가하기 위해서는 비교대상이 필요했습니다. 사실 9개의 클래스를 학습시킬 때도 느꼈지만 클래스의 개수가 늘어날수록 같은 epochs.. 2024. 2. 2. [AI 부트캠프] DAY 135 - 파이널 프로젝트 26 [오늘의 일지] 프로젝트 - 코랩 환경에서 대용량 데이터 활용 [상세 내용] 코랩 환경에서 대용량 데이터 활용 활용 계기 - 지난 일지에서는 코랩 환경이나 로컬에서 소규모 데이터로 학습을 시키고 어느 정도 괜찮은 결과를 얻은 과정에 대해서 정리하였습니다. 이제는 이번 프로젝트의 마지막 학습이라고 할 수 있는 전체 학습 데이터를 가지고 학습만 남아있게 된 것입니다. 전체 데이터는 60GB로 이미지 파일과 txt 파일로만 400만 개가 넘는 양입니다. 이 대용량 데이터를 지원받은 코랩 프로 플러스 환경에서 학습시킨 과정에 대해서 정리해 보겠습니다. 구글 클라우드의 문제점 - 코랩 프로 플러스를 사용하기 위해서는 구글 클라우드도 함께 연동해서 사용해야 했기 때문에 클라우드 용량도 100GB를 지원받아서 사용하.. 2024. 2. 1. 이전 1 2 다음 반응형
