이상탐지9 [논문리뷰] Change Point Enhanced Anomaly Detection for IoT Time Series Data "Change Point Enhanced Anomaly Detection for IoT Time Series Data"는 변화 지점 검출을 통해 IoT 시계열 데이터의 오탐을 줄이고 이상 탐지의 정확성을 높이는 새로운 규칙 기반의 의사 결정 시스템을 제안한 논문입니다. 아래는 위 논문의 요약 및 설명입니다. Abstract갑작스러운 변화 지점을 정상 행동과 함께 탐지하고 이를 통해 비정상 행동, 즉 이상치를 구별하는 것은 오탐률을 최소화하고 예측 및 예보를 위한 정확한 기계 학습 모델을 구축하는 데 중요한 단계입니다. 이 논문은 IoT 센서에서 수집된 수자원 데이터에 초점을 맞추어, 변화 지점 검출을 통한 시계열 데이터의 이상 탐지를 향상시키는 새로운 자동화된 지능형 규칙 기반 의사 결정 지원 시스템을 .. 2024. 8. 2. Anomaly Detection_One-Class SVM One-class SVM(anomaly detection)은 비지도 학습 알고리즘으로 데이터셋에서 이상치를 식별하는 데 사용됩니다. 다른 SVM 알고리즘과 달리 훈련을 예상 클래스인 데이터의 한 클래스만 사용합니다. 그런 다음 알고리즘은 일반 클래스와 크게 다른 이상을 식별하는 방법을 학습합니다. 단일 클래스 SVM은 데이터를 N차원 공간으로 변환하여 작동하며 각 차원은 데이터의 기능을 나타냅니다. 그런 다음 알고리즘은 일반 클래스와 이상값을 구분하는 초평면(또는 2D 데이터의 경우 평면)을 그립니다. 초평면은 Support Vector라고 하는 가장 가까운 데이터 점과 초평면 사이의 거리를 최대화하는 방식으로 배치됩니다. 초평면과 가장 가까운 데이터 포인트 사이의 거리를 마진이라고 하며 정상 클래스와 .. 2023. 5. 2. Anomaly Detection_AutoEncoder AutoEncoder Anomaly Detection은 오토인코더 신경망을 사용하여 데이터 세트에서 이상을 식별하는 비지도 학습 유형입니다. 오토인코더는 입력을 출력에 복사하도록 훈련된 신경망으로, 중간에 병목 현상 레이어가 추가되어 입력을 잠재 벡터라고 하는 저차원 표현으로 압축합니다. 그런 다음 디코더는 이 잠재 벡터를 가져와 원래 입력을 재구성합니다. 오토인코더는 데이터를 저차원 공간으로 압축한 다음 원래 형태로 다시 재구성하여 데이터에서 가장 중요한 기능을 추출하는 방법을 학습합니다. 그 과정에서 필수 특성을 캡처하는 데이터의 압축된 표현을 학습합니다. 오토인코더 이상 감지를 사용하려면 일반 데이터에서 오토인코더를 훈련한 다음 이를 사용하여 새 데이터 포인트를 재구성합니다. 원래 데이터와 재구성된.. 2023. 5. 2. Anomaly Detection_Iforest Iforest(Isolation Forest)는 이상치 탐지 알고리즘 중 하나로, 대량의 데이터 중에서 소수의 이상치를 탐지하기 위해 사용됩니다. Iforest의 핵심 아이디어는 바로 데이터의 특성(feature)을 이용하여 분기하는 것입니다. 일반적인 분류 문제와 달리, Iforest는 이상치를 분류하기 위해 목표하는 것이 아니라, 이상치가 아닌 정상 데이터들이 빠르게 분리될 수 있는 경로를 찾습니다. 이를 위해 Iforest는 데이터를 랜덤하게 선택한 뒤, 랜덤한 feature와 임계값(threshold)을 이용하여 데이터를 두 그룹으로 나눕니다. 이 과정을 재귀적으로 반복하여 이상치인 데이터는 단계가 적게 거친 경로를 통해 분리됩니다. Iforest의 장점 중 하나는 학습 데이터의 크기에 민감하지 .. 2023. 4. 14. 이전 1 2 3 다음
