2024/0121 [AI 부트캠프] DAY 118 - 파이널 프로젝트 9 [오늘의 일지] 프로젝트 - 데이터 정제 [상세 내용] 데이터 정제 - 지난주에 데이터를 파악했을 때는 반정형 데이터인 json 파일로 되어 있어서 보는데도 불편하고 가져다가 쓰기 위해서도 불편한 부분이 많다는 것을 느꼈습니다. 그래서 기존에 프로젝트 때마다 사용했던 방식인 케글이나 데이콘에서 많이 제공하는 pandas 데이터 프레임 방식으로 정형화시키기를 시도했습니다. json 파일 열고 원하는 부분 정형화 하기 - 기존의 존재하는 라이브러리를 사용하여 json을 열고 pandas의 json을 노멀라이즈 하는 기능이 있어서 사용한 뒤 for문을 통해 순환되는 데이터들을 마지막으로 concat을 토해서 전체적으로 받았다. 아래와 같은 방법을 한 사이클로 해서 데이터를 받았습니다. data1_list = .. 2024. 1. 9. [AI 부트캠프] DAY 117 - 파이널 프로젝트 8 [오늘의 일지] 프로젝트 - 데이터 파악하기 [상세 내용] 데이터 파악 - 이제 약 4주가량 시간이 남지 않았기 때문에 더 이상 지체하지 않고 Ai-hub를 통해서 공개된 데이터를 파악해 보고 어떤 식으로 학습을 위해서 데이터를 정제할 수 있을지 파악해 보기로 했습니다. 데이터에 대한 정보는 링크를 통해 가보면 자세하게 나와 있습니다. AI-Hub 샘플 데이터 ? ※샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며, 데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되 www.aihub.or.kr 데이터 종류 - 데이터는 학습을 위한 이미지 데이터와 이미지 데이터의 특징을 담고 있는 json 파일로 된 데이터로 나눠져 있었습니다. json.. 2024. 1. 6. [AI 부트캠프] DAY 116 - 파이널 프로젝트 7 [오늘의 일지] 프로젝트 - 기업 미팅 후 불확실한 상황 정리 [상세 내용] 기업 미팅 후 불확실한 상황 정리 기존 요청 사항 - 기존에 저희 조는 각자 사용하는 로컬의 성능이 좋지 않은 관계로 최대한의 GPU를 사용할 수 있는 서버를 빠른 시간 내에 제공받기를 원했다. - 그리고 로컬이 좋지 못한 것을 감안해서 최대한 colab 환경에서라도 돌릴 수 있게 데이터 자체를 온라인 서버상으로 사용할 수 있게 구축해 주길 요청했습니다. - 그리고 기업에서 요구했던 학습 진행 방향성이 object detection이 아닌 multi-label classification만을 학습하는 것인데 평가 지표를 왜 mAP로 요구하고 있는지를 답변받기를 원했습니다. 답변 결과 - 결과적으로는 제대로 얻은 결과는 없었습니다... 2024. 1. 5. [AI 부트캠프] DAY 115 - 파이널 프로젝트 6 [오늘의 일지] 프로젝트 - 본격적인 프로젝트 전 공부 [상세 내용] 본격적인 프로젝트 전 공부 용어 정리 - 프로젝트 전에 많이 사용될 용어에 대해서 간단하게 정리하려고 합니다 이미지 크롭 - 직역하자면 이미지를 자르는 건데 여기서 이미지를 크롭 하는 가장 중요한 이유는 주변의 배경에 걸리는 이미지로 인해서 발생하는 모델의 학습 저하를 방지하기 위함이라고 할 수 있습니다. 이번 프로젝트에서 아마도 중요하게 작용할 거 같습니다. 비엔나 코드 - 비엔나(Vienna) 코드는 주로 웹 개발 및 데이터 시각화를 위한 오픈 소스 라이브러리와 프레임워크를 지칭하는 용어입니다. 주로 JavaScript와 TypeScript를 사용하여 구축되어 있으며, 데이터 시각화 및 웹 애플리케이션 개발에 유용합니다. - 비엔나.. 2024. 1. 4. 이전 1 2 3 4 5 6 다음 반응형
