가끔 집에 혼자 있을 때 갑작스럽게 들리는 냉장고 소리에 당황해 본 적은 없으세요? 순간 깜짝 놀라기도 하지만 혹시나 냉장고에 무슨 문제가 발생한 게 아닐까 하는 걱정도 하게 됩니다. 보통 기계에서 소음이 발생하면 왠지 고장 난 것 같아 불안해지거든요. 그럴 때 수리 기사님을 부르면, 어떤 소리를 들었는지 여쭤보시고 정상적인 소리인지 혹은 어떤 장비나 부품에 이상이 발생했고, 어떤 조처를 해야 하는지 말씀해 주십니다.
이처럼 특정 환경에 오래 노출되어 ‘소리’와 관련된 여러 경험이 쌓이면, 사람들은 쉽게 정상적인 소리와 비정상적인 소리를 구별할 수 있게 되거나 특정 소리가 가진 특장점에 대한 지식을 갖게 됩니다. 마치 한 분야의 달인처럼 말이에요. 소리에는 여러분의 생각보다 꽤 많은 정보가 담겨 있거든요.
일반적인 때와 다른 특이한 경우가 발생했을 때 이를 알아차리는 것을 **‘이상 탐지(Anomaly Detection)’**라고 합니다. 특이한 경우라고 하면 정상 범주를 벗어난 이상적인 행태를 의미하며, 더욱 단순히는 불량, 가짜, 노이즈, 오류 등이라고 말할 수 있습니다. 가령 갑자기 서버 트래픽이 미친 듯이 증가하게 된다면 DDoS와 같은 공격일 수도 있고, 금융에서도 가령 30분 전에는 서울에 있는 편의점에서 결제가 이뤄졌는데 갑자기 30분 후에 서울이 아닌 국내 지역 혹은 해외에서 비정상적인 금액의 결제가 이뤄졌다면 이상 거래임을 의심해볼 수 있습니다. 혹은 차의 엔진 소리만 듣고 이상 여부를 아는 달인들도 있고요. 현실의 많은 분야에서 정상과 비정상을 구별해내야 하는 상황들이 발생하고 있기에, 금융, 의학, 보안, 제조업 등 다양한 분야에서 anomaly detection은 사용되고 있습니다.
우리에게 조금 더 와닿는 경험으로 한 번 anomaly detection을 비유해보겠습니다. 연인과 알콩달콩한 연애를 하시는 분들이라면, 직접 이 질문을 해보신 적도 있을 거고 혹은 들어본 적도 있으실 거예요. 바로 ‘나 뭐 달라진 거 없어?’ 입니다. 사실 이 질문에 대답하는 건 굉장히 어려운 일입니다. 왜냐하면 ‘달라진 거’는 여러 기준에서 발생할 수 있는데, 그 기준은 달라진 부분이 속한 분야에 대한 정보가 없다면 쉽게 알 수 없는 내용이기 때문입니다. 이 질문의 요지는 일반적으로 평소에 비해서 무엇이 달라졌냐? 에 대한 답을 잘 해야 한다는 것인데, ‘평소에 비해서’ 라는 부연 설명은 결국 무언가 다른데 어딘지 모를 곳이 한 끗 달라졌다는 것입니다. 머리 모양이라든지 안경의 유무 등은 쉽게 알아차릴 수 있지만, 가령 평소와 다른 색상의 화장품 혹은 어제와 다른 벨트 모양 등 세세한 부분이 달라졌을 때는 단번에 알아차리기 어렵습니다.
그래서 anomaly detection의 가장 어려운 부분은 모든 상황에 있어 정상적인 상태를 파악하고, 여러 기준점에 부합해 관찰하며 모든 기준에 대응할 수 있어야 한다는 것입니다. 우리가 흔히 사용하는 classification 기술과 기술적으로 가장 다른 부분이 여기서 드러납니다. Classification에서는 ‘U와 V를 구분하라!’ 라는 정답지가 존재하는 반면, anomaly detection은 ‘기존의 데이터 분포와 많이 다른 부분을 찾아줘!’ 라는 조금 다른 관점에서 데이터를 분석한다고 볼 수 있거든요.
(출처: 트위터 (@wannataltwe))
Anomaly detection이 중요한 이유는 실생활에서 발생할 수 있는 위험 상황에 대한 피해를 방지할 방안이기 때문입니다. 이상 탐지는 실시간으로 정상적인 활동에서 벗어난 패턴이나 행동을 식별할 수 있기에, 금융권에서는 부정행위나 사기 탐지, IT 업계에서는 시스템에서 발생할 수 있는 장애를 막을 수 있고, 제조업에서는 불량 공정으로 이어질 수 있는 상황을 미리 방지할 수 있습니다. 프로덕트를 생산해내는 생산자뿐만 아니라 사용하는 사용자의 사용성에도 큰 영향을 미칠 수 있기에 이상 탐지는 필수적입니다.