AI/AI 부트캠프77 [AI 부트캠프] DAY 84 - 딥러닝 프로젝트 9 [오늘의 일지] 딥러닝 프로젝트 - 제출 에러 문제 해결 [상세 내용] 제출 에러 문제 해결 - 어제까지 test 데이터 변경 후에 제출 오류 나던 부분을 대회 디스커션도 찾아보고 강사님과의 소통 후에 해결했습니다. test 데이터에 새로 추가된 리더보드 스코어와 연관된 칼럼이 있었는데 이 칼럼에서 오류가 발생했던 것으로 보입니다. 그래서 제출 코드를 만들 때 그 칼럼을 어떻게 처리할지 만들어 놓으면 해결이 되는 것처럼 보였습니다. 간략하게 문제가 되었던 칼럼에 대해서 더 설명하자면 기존에 리더보드의 점수로 평가받을 수 있었던 행들은 True로 설정되어 있고 그 이외의 값들은 False로 되어 있던 것입니다. 그래서 캐글 자체 내에서 스코어링을 하는 과정에서 오류가 발생한 것으로 보입니다. 저는 if문을.. 2023. 11. 18. [AI 부트캠프] DAY 83 - 딥러닝 프로젝트 8 [오늘의 일지] 딥러닝 프로젝트 - 최종 모델 선정 [상세 내용] 최종 모델 선정 추가 기능 - 이제 프로젝트 기간이 얼마 남지 않았습니다. 그래서 저희 조는 마지막으로 모델을 선정하고 어느 정도의 결과를 도출해 내야 했으며 몇 가지 기능을 수정해 가며 개선된 결과도 찾아야만 했습니다. 그래서 기존 일지에서 올렸던 LSTM 코드를 기반으로 몇 가지 기능을 추가했습니다. 첫 번째는 피처 엔지니어링을 통해서 주요 피처들의 60초 후의 값들을 같은 row에 추가시켜 주는 것을 shift 함수를 이용하여 구현했습니다. 캐글에서 참고했던 코드들은 shift를 60초만 한 게 아니라 10초, 20초, 30초,... , 60초까지 더 생성하는 것이었기 때문에 그냥 60초만 생성해 주는 코드로 변경해서 사용했습니다. .. 2023. 11. 17. [AI 부트캠프] DAY 82 - 딥러닝 프로젝트 7 [오늘의 일지] 딥러닝 프로젝트 - 캐글 제출 [상세 내용] 캐글 제출 오류 처리하기 - 이번 캐글의 제출 파일 형식은 데이콘의 방식과는 많이 달랐습니다. 데이콘의 경우는 그냥 제출 파일만 제출하고 리더보드에서 점수만 받으면 끝나는 방식이었는데 캐글의 제출방식은 캐글 노트북에서 모든 코드를 실행시켜서 하나의 에러도 발생하지 않아야 제출이 가능했습니다. 그 이유는 특이하게도 데이터의 test 파일을 api로 불러와서 train 파일과 같은 전처리를 해준 뒤에 학습시켰던 모델에 의해서 예측이 나온 후에 제출 파일이 완성되야만 하는 과정이 들어가 있기 때문입니다. 그래서 여러 번의 반복 과정을 통해서 오류를 처리해야만 했습니다. 저는 중간에 예측파일을 넣는 과정에서 데이터를 torch형태로 바꿔주고 차원을 늘.. 2023. 11. 16. [AI 부트캠프] DAY 81 - 딥러닝 프로젝트 6 [오늘의 일지] 딥러닝 프로젝트 - 베이스라인 코드 수정 [상세 내용] 베이스라인 코드 수정 LSTM - 강사님께서 제시해 준 LSTM의 베이스라인 코드에서 몇 가지 수정할 부분이 있었고 또 기능적인 측면에서 추가해면 좋을 거 같은 것들이 있었습니다. 우선 강사님의 코드에서는 모델을 학습을 시킬 때 for문에서 미니배치를 통해 분리된 데이터들이 각각의 학습을 진행한 후에 각 배치마다 loss 값이 나오는데 마지막 배치의 loss값만 출력되는 것 같았습니다. 원래의 loss값은 하나의 루프의 로스 값을 모두 더해서 배치 사이즈로 나눠줘야만 loss값의 평균을 출력하는 게 정상입니다. 그래서 코드를 모두 수정했습니다. 그리고 기존 코드에서는 학습만 할 수 있게 되어있었는데 학습 후에 test를 거쳐서 한 번.. 2023. 11. 15. 이전 1 ··· 9 10 11 12 13 14 15 ··· 20 다음 반응형
