809935_ko-KR

liliconcom

데이터 무결성 문제를 나타낼 수 있는 비정상적인 패턴 식별

방법을 확인하세요:

• 패턴 탐색
• 중복된 값 식별
  • 가장 많이 중복된 값 찾기 - 열 내에서 가장 자주 나타나는 값
  • 가장 긴 실행 찾기 - 열 내에서 연속된 행에서 반복되는 값
  • 가장 긴 중복 시퀀스 찾기 - 열 내에서 반복되는 값 시퀀스
  • 열 전체에서 중복 항목 찾기 - 여러 열에 걸쳐 같은 행에 나타나는 값 시퀀스
  • 중복을 해석하려면 Rarity Score를 사용하세요
    • 개념적으로 패턴은 공정한 동전을 던졌을 때 [희귀도 값]의 앞면이 연속으로 나올 가능성과 거의 같습니다.
    • 통계적으로 -Log2(p); 여기서 p는 값의 무작위 순서를 가정한 패턴의 확률입니다.
• 특이한 값을 식별합니다
  • 셀 내에서 서식이 지정된 너비 찾기 - 전체 및 소수점 모두
  • 의심스러운 분수 길이 찾기
  • 너무 균일한 의심스러운 선행 숫자를 찾으세요
    • Benford의 법칙에 따라 선행 숫자의 분포를 확인합니다. Benford의 법칙은 자연적으로 발생하는 많은 숫자 그룹에서 선행 숫자의 분포가 균일하지 않다고 말합니다.

    • Log10( (d+1) / d), 여기서 d는 선행 숫자입니다.

• 연속된 행의 그룹(기본값은 10) 내에서 한 열이 다른 열과 정확한 선형 관계를 갖는 예상치 못한 선형 관계를 식별합니다.
• 사양 한계 속성이 있는 열에 대한 사양 한계 이상 식별
  • 셀의 한계가 LSL 또는 USL과 정확히 일치하는 사양 한계 일치 항목을 찾습니다.
  • 사양 한계 분포를 비교하여 사양 범위를 벗어난 값과 예상 사양 범위를 벗어난 값을 비교합니다.

자원:

• 연속 분수에 대한 Kurt Schwitter

기본 데이터 분석 및 모델링