데이콘 정리 이상치 탐지 1

https://dacon.io/competitions/official/236036/codeshare/7506?page=1&dtype=recent 

[Private: 0.96225, 7th] VAE, RaPP, Residual 등

 

**허준호 님과 함께 참여했던 데이콘 이상치 탐지 후기 및 정리**

처음 만난 사람과 빠르게 협업한 경험

진동 데이터/ 음향 데이터 에 관해서 처음 다루어 본 경험

 

[대회배경]

<데이콘 대회 측 배경>

 이미지 데이터는 크기가 클수록 이동, 분석, 그리고 적용에 많은 비용이 발생한다는 단점이 존재. 따라서, 상대적으로 데이터 크기가 작은 음향 데이터를 활용할 수 있다면, 보다 적은 비용으로 스마트 제조 혁신을 이루어 낼 수 있을 것임. 또한 기계의 고장을 진단할 때 어려운 문제 중 하나는 비정상 데이터를 얻기 힘듦. 정상 데이터들로부터 비지도 학습(Unsupervised Learning)을 통해 기계 고장을 진단할 수 있다면, 데이터 구축에 필요한 시간과 비용의 문제까지 모두 해결할 수 있을 것임.

 

<현직자분 피셜>

 기계 진단을 장비의 진동으로 많이 찾는다. 특히 회전체는 베어링같은거 고장이 잘나는데 진동으로 문제가 발생했는지 안했는지 알 수 있다.

 

 

[방법론]

1. Auto encoder

사용 loss : center loss, KL, Arc Loss, L1, L2

사용 네트워크 아키텍처 : Residual, Linear

활성함수 : gelu, reky relu

 

2. VAE

사용 loss : center loss, KL, Arc Loss, L1, L2

사용 네트워크 아키텍처 : Residual, Linear

활성함수 : gelu, reky relu

 

3. RAPP (NAP)

Train은 동일한 방법으로 진행하되, Test시, 레이어를 통과한 결과물도 함께 비교하여 이상 점수의 격차를 늘리는 방법임

(kh-kim.github.io/blog/2020/02/18/rapp.html)

 

 

[결과]

아직 최종 순위는 나오지 않았지만 대부분 프라이빗 점수대로 순위가 결정나는 경우가 많다. 

아쉽게도 우승인 5등안에는 들지 못했지만 7등을 하여서 기쁘다. 

처음 뵙는 분이랑 함께 프로젝트를 진행하고 작게나마 결과를 낼 수 있어서 좋은 경험이었다.

 

[아쉬운점]

1. FFT 에 대해서 조금더 트라이 해봤으면 좋았을 것 같다.

2. FFT 과정에서 hanning window를 해야하는 것을 몰랐다.

 

[배운점] 

1. 우선 이상치 탐지에 대해서 처음 접해보고 프로젝트를 해보니 더 빠르게 익힐 수 있었다.

2. 다음 부터 실험 할때는 체크 리스트를 만들어서 무조건 해보고 한개씩 지워야 겠다. => 이번에 FFT 몇번 더 시도 안해본게 너무 아쉽다.

3. mfcc에서 정보소실이 많이 발생하는 것을 실제 데이터를 통해서 알게됬다.

4. 다른분들을 보니 pyod를 사용한 분들이 상위권에 많이 보였다. 

[참고한 레퍼런스] 

<RAPP 참고>

https://kh-kim.github.io/blog/2020/02/18/rapp.html

https://leedakyeong.tistory.com/entry/RaPPNovelty-Detection-with-Reconstruction-along-Projection-Pathway-%EA%B5%AC%ED%98%84-Tensorflow-mnist

 

<DCASE 보고서>

https://dcase.community/documents/challenge2021/technical_reports/DCASE2021_Cai_65_t2.pdf https://dcase.community/documents/challenge2021/technical_reports/DCASE2021_Narita_14_t2.pdf https://dcase.community/documents/challenge2021/technical_reports/DCASE2021_Lopez_6_t2.pdf

 

https://dcase.community/challenge2022/task-unsupervised-anomalous-sound-detection-for-machine-condition-monitoring-results#LiuCQUPT2022

 

 

<loss 참고>

https://mr-waguwagu.tistory.com/m/46

https://towardsdatascience.com/hands-on-anomaly-detection-with-variational-autoencoders-d4044672acd5 https://pytorch.org/docs/stable/generated/torch.nn.CosineSimilarity.html

 

<mfcc 참고>

https://brightwon.tistory.com/11

 

<해보진 못했지만 흥미로웠던 논문들>

https://arxiv.org/pdf/2201.11950.pdf

https://github.com/KyeongJoong/INRAD

GitHub - KyeongJoong/INRAD

https://arxiv.org/abs/2201.07284

https://github.com/thuml/Anomaly-Transformer

GitHub - thuml/Anomaly-Transformer: About Code release for "Anomaly Transformer: Time Series Anomaly Detection with Association