| 스피커 |
성적 증명서 |
| 마이스텝 |
JMP Discovery 서밋에 오신 것을 환영합니다. |
| |
저는 JMP 제품 관리자 미아 스티븐스입니다. 그리고 JMP 시스템 엔지니어 조던 힐러와 함께하게 되었습니다. 오늘은 데이터 큐레이션 워크플로 자동화에 대해 이야기해 보겠습니다. |
| |
발표는 두 부분으로 나뉩니다. 먼저 분석 워크플로와 데이터 큐레이션이 이 워크플로에서 어떤 역할을 하는지에 대해 이야기하며 발표를 시작하겠습니다. |
| |
이제 본론으로 들어가 이 강연의 핵심, 핵심을 조던에게 말씀드리겠습니다. 재현 가능한 데이터 큐레이션의 필요성에 대해 이야기해 보겠습니다. |
| |
JMP 15에서 이를 수행하는 방법을 살펴보겠습니다. 그리고 데이터 큐레이션 단계를 기록하고 분석을 위해 데이터를 준비하는 작업을 수행하는 JMP 16의 새로운 기능을 잠깐 살펴보겠습니다. |
| |
분석 워크플로에 대해 생각해 보겠습니다. 널리 사용되는 워크플로 중 하나를 소개합니다. 물론, 이 모든 것은 비즈니스 문제가 무엇인지 정의하고, 해결하려는 문제를 이해하는 것에서 시작됩니다. |
| |
그런 다음 데이터를 수집해야 합니다. 물론, 다양한 소스에서 데이터를 수집하여 JMP로 가져올 수도 있습니다. 마지막으로, 결과를 공유하고 다른 사람들과 소통할 수 있어야 합니다. |
| |
아마도 이 과정에서 가장 시간이 많이 걸리는 부분은 분석을 위해 데이터를 준비하거나 데이터를 큐레이션하는 일일 것입니다. |
| |
그렇다면 데이터 큐레이션이란 정확히 무엇일까요? 데이터 큐레이션은 분석 결과를 도출하는 데 데이터가 유용하게 활용될 수 있도록 하는 것입니다. 근본적으로 우리는 주어진 하루를 활용하여 문제를 해결할 수 있기를 원합니다. |
| |
이는 주로 데이터 구성, 데이터 구조, 데이터 품질 문제 해결에 관한 것입니다. |
| |
데이터와 관련된 문제나 일반적인 문제에 대해 생각해 보면, 일반적으로 네 가지 범주로 나뉩니다. 잘못된 형식, 불완전한 데이터, 누락된 데이터, 또는 지저분하거나 복잡한 데이터가 있을 수 있습니다. |
| |
그리고 이러한 유형의 문제에 대해 이야기하고 데이터 내에서 이러한 문제를 식별하는 방법을 설명하기 위해 STIPS 과정에서 차용할 것입니다. |
| |
STIPS에 익숙하지 않은 경우 STIPS는 산업 문제 해결을 위한 통계적 사고라는 무료 온라인 과정이며 7단계로 구성됩니다. |
| |
개별 모듈입니다. 모듈 2는 탐색적 데이터 분석에 관한 것입니다. |
| |
탐색적 데이터 분석과 데이터 큐레이션은 상호작용적이고 반복적인 특성을 지니므로, 이 모듈의 마지막 강의는 분석을 위한 데이터 준비입니다. 데이터 내 품질 문제를 파악하고 데이터 큐레이션을 위해 취할 수 있는 단계들을 소개합니다. |
| |
그럼 일반적인 문제에 대해 좀 더 자세히 알아보겠습니다. 잘못된 서식. 그렇다면 잘못된 서식이란 무엇을 의미할까요? |
| |
이는 데이터 형식이 잘못되었거나 분석에 적합하지 않은 경우입니다. 이는 데이터 테이블 전체에 적용될 수 있습니다. 예를 들어, 데이터가 여러 열에 분산되어 있지만 분석을 위해서는 데이터를 한 열에 모아야 할 수 있습니다. |
| |
이는 개별 변수에 적용될 수 있습니다. 모델링 유형이나 데이터 유형이 잘못되었거나, JMP에서 형식이 지정되지 않은 날짜 데이터, 즉 날짜 또는 시간 데이터가 있을 수 있습니다. |
| |
미관상으로도 좋을 수 있습니다. 데이터 표의 시작 부분에서 반응 변수를 제거하고, 변수 이름을 바꾸고, 요인들을 그룹화하여 데이터 표에서 쉽게 찾을 수 있도록 할 수 있습니다. |
| |
불완전한 데이터는 데이터가 부족하다는 것을 의미합니다. 이는 중요한 변수에 대한 데이터일 수 있으므로, 궁극적으로 문제 해결에 도움이 될 수 있는 변수에 대한 데이터를 확보하지 못할 수 있습니다. |
| |
또는 변수의 조합에 따라 발생할 수 있습니다. 아니면 단순히 관측치가 충분하지 않거나 데이터 테이블에 데이터가 충분하지 않다는 것을 의미할 수도 있습니다. |
| |
결측치란 변수의 값을 사용할 수 없는 경우를 말하며, 이는 다양한 형태로 나타날 수 있습니다. |
| |
마지막으로, 더럽거나 지저분한 데이터는 관찰이나 변수에 문제가 있는 경우입니다. |
| |
데이터가 부정확할 수 있습니다. 값이 틀릴 수도 있고, 사람들이 데이터를 기록하거나 시스템에 데이터를 입력하는 방식에 일관성이 없을 수도 있습니다. |
| |
귀하의 데이터가 부정확할 수도 있고, 측정 시스템이 부족할 수도 있고, 오류나 오타가 있을 수도 있습니다. |
| |
데이터가 오래되었을 수 있습니다. 즉, 더 이상 사용되지 않는 시설이나 기계에서 정보를 수집했을 수 있습니다. |
| |
오래된 정보일 수도 있습니다. 즉, 데이터를 수집한 이후 프로세스가 너무 많이 변경되어 더 이상 유용하지 않을 수 있습니다. |
| |
데이터가 삭제되었거나 잘렸을 수 있습니다. 서로 중복되는 열이 있을 수 있습니다. 기본 정보가 동일하거나 행이 중복되는 경우도 있습니다. 따라서 지저분하고 복잡한 데이터는 매우 다양한 형태를 띨 수 있습니다. |
| |
그렇다면 잠재적인 문제는 어떻게 파악할 수 있을까요? 데이터를 살펴보면서 문제를 파악하기 시작합니다. 사실, 이 과정은 반복적이며, 데이터를 그래픽이나 수치적으로 탐색하기 시작하면 수정해야 할 문제가 될 수 있는 부분들을 발견하게 됩니다. |
| |
또는 해결하세요. 따라서 좋은 시작점은 데이터 테이블을 스캔하는 것부터 시작하는 것입니다. 데이터 테이블을 스캔하면 종종 몇 가지 명백한 문제를 발견할 수 있습니다. |
| |
이 예시에서는 STIPS 과정의 Components라는 데이터를 사용할 것입니다. 시나리오는 어떤 회사가 소형 부품을 제조하고 수율을 개선하려고 한다는 것입니다. |
| |
그리고 그들은 15개 열로 구성된 369개 배치의 부품에 대한 데이터를 수집했습니다. 그래서 데이터를 살펴보면, 몇 가지 명백한 문제점을 바로 발견할 수 있습니다. |
| |
데이터 표의 상단을 보면, 이 작고 예쁜 그래프들을 볼 수 있는데, 분포의 모양과 값을 볼 수 있습니다. |
| |
예를 들어, 배치 번호는 히스토그램으로 표시됩니다. 배치 번호는 연속적인 것이 아니라 식별자로 생각될 수 있습니다. 따라서 이는 데이터가 잘못 코딩되었음을 나타낼 수 있습니다. |
| |
폐기된 숫자를 보면 분포의 모양을 알 수 있습니다. 또한 음수 값이 있는 것도 볼 수 있는데, 이는 불가능할 수도 있습니다. |
| |
두 개의 값을 갖는 프로세스에 대한 히스토그램을 볼 수 있으며, 이를 통해 프로세스의 모델링 유형을 연속형에서 명목형으로 변경해야 한다는 것을 알 수 있습니다. |
| |
열 패널을 살펴보면 더 많은 정보를 볼 수 있습니다. 예를 들어, 배치 번호와 부품 번호는 모두 연속형으로 코딩되어 있습니다. 이는 아마도 명목형일 것입니다. |
| |
데이터 자체를 살펴보면 다른 문제들을 발견할 수 있습니다. 예를 들어 습도는 연속형이라고 생각하지만, N/A 값을 갖는 관측치가 몇 개 있습니다. |
| |
JMP에서는 텍스트를 인식하기 때문에 열이 명목형으로 코딩되므로 이 부분을 수정하는 것이 좋습니다. |
| |
공급업체 관련 문제가 몇 가지 보입니다. 누락된 값 몇 개와 오타가 있습니다. 그리고 온도 항목에 점이 여러 개 있는데, 이는 이 행의 온도 값이 누락되었음을 나타냅니다. 따라서 이 문제는 추가 조사가 필요할 수 있습니다. |
| |
따라서 데이터 테이블을 스캔하는 것만으로도 많은 문제를 파악할 수 있으며, 한 번에 한 변수씩 데이터를 시각화하면 잠재적인 문제를 더 많이 파악할 수 있습니다. |
| |
정말 좋은 시작점이자 제가 정말 좋아하는 도구는 바로 열 뷰어입니다. 열 뷰어는 선택한 모든 변수에 대한 숫자 요약을 제공합니다. |
| |
예를 들어, 여기 몇 가지 값이 누락되어 있습니다. 온도의 경우 369개 값 중 265개가 누락되어 있는 것을 볼 수 있습니다. 따라서 온도가 중요한 요소라고 생각하면 잠재적으로 문제가 될 수 있습니다. |
| |
데이터 테이블에 기록된 값에도 잠재적인 문제가 있음을 알 수 있습니다. 예를 들어, 폐기율과 폐기 건수는 모두 음수 값을 갖습니다. |
| |
그리고 만약 이것이 물리적으로 가능하지 않다면, 우리가 데이터를 수집한 시스템에서 다시 조사해보고 싶을 수도 있습니다. |
| |
계산된 통계를 살펴보면 다른 문제들도 발견할 수 있습니다. 예를 들어, 배치 번호와 부품 번호는 범주형이어야 합니다. |
| |
평균 배치 번호나 평균 부품 번호를 갖는 것은 의미가 없습니다. 따라서 데이터 테이블로 돌아가 모델링 유형을 변경해야 할 수도 있습니다. |
| |
분포는 데이터와 잠재적인 문제에 대해 많은 것을 알려줍니다. 분포의 모양, 중심화, 산포를 확인할 수 있으며, 오타도 확인할 수 있습니다. |
| |
여기 고객 번호에서 특히 문제는 주요 고객이 네다섯 명 정도이고, 소규모 고객도 몇 명 있다는 것입니다. 고객 번호와 분석을 활용하려면, 재코딩을 통해 소규모 고객 중 일부를 다른 범주로 그룹화하는 것이 좋습니다. |
| |
습도에 대한 막대 그래프가 있는데, 이는 열에 N/A 값이 있기 때문입니다. 데이터 표를 살펴볼 때는 잘 보이지 않았을 수도 있지만, 분포를 보면 꽤 명확하게 알 수 있습니다. |
| |
공급업체의 오타를 확실히 볼 수 있습니다. |
| |
그리고 연속형 변수를 살펴보면, 다시 한번 모양, 중심화, 확산을 살펴볼 수 있지만, 이러한 변수 내에서도 몇 가지 특이한 관찰 결과를 볼 수 있습니다. |
| |
따라서 한 번에 한 변수씩 데이터를 살펴본 후, 자연스럽게 두 개 이상의 변수에 대해서도 데이터를 탐색하게 됩니다. |
| |
예를 들어 그래프 빌더에서 폐기율과 폐기 수를 비교해 보겠습니다. |
| |
패턴에 대한 관심이 보입니다. 그래서 이런 밴드들이 보이는데, 데이터 표에 이 패턴이 나타나는 이유를 설명하는 데 도움이 되는 무언가가 있을 수도 있습니다. |
| |
사실, 배치 크기에 따라 색상을 지정하면 이해가 됩니다. 즉, 배치당 부품 수가 5,000개일 경우, 200개만 있는 배치보다 폐기 부품이 발생할 가능성이 더 큽니다. |
| |
아래쪽에 이상한 관측치가 몇 개 있는 것을 볼 수 있습니다. 사실, 이 관측치들은 스크랩 수에 대해 음수 값을 갖는 관측치들이고, 이 그래프에서 이 관측치들이 두드러지게 나타납니다. |
| |
열 전환기나 데이터 필터를 추가하면 그래프에 차원을 더할 수 있습니다. 즉, 압력을 살펴볼 수 있고, |
| |
예를 들어, ... 대신에 |
| |
음, 압력을 보거나 dwell로 전환할 수 있습니다. 제가 여기서 찾고 있는 것은 이러한 변수와 반응 사이의 일반적인 관계에 대한 감을 얻는 것입니다. |
| |
압력이 스크랩율과 양의 상관관계를 갖는 것 같습니다. 그리고 Dwell 모드로 전환하면 두 값 사이에 큰 상관관계가 없을 것 같습니다. |
| |
체류율 및 폐기율이나 온도. 따라서 이러한 변수는 문제 해결에 그다지 도움이 되지 않을 수 있습니다. |
| |
하지만 속도를 보세요. 속도는 음의 상관관계를 가지고 있습니다. 그리고 위쪽에 제가 조사해 보고 싶은 특이한 관찰 결과가 몇 가지 있습니다. |
| |
그러니 데이터를 살펴보는 것만으로도 많은 것을 배울 수 있습니다. |
| |
물론, 이 논의의 범위를 벗어나는 이상치와 누락된 값을 탐색하기 위한 더욱 고급 도구도 있습니다. |
| |
그리고 분석 단계에 들어가면서 데이터를 분석하거나 모델을 구축하기 시작하면 처리해야 할 잠재적인 문제에 대해 훨씬 더 많이 알게 될 것입니다. |
| |
중요한 점은 데이터를 살펴보고 이러한 문제를 식별할 때 해당 문제를 기록해 두는 것입니다. |
| |
일부 문제는 진행하면서 해결할 수 있습니다. 따라서 프로세스를 진행하면서 데이터를 재구성하고 정리할 수 있습니다. |
| |
하지만 나중에 분석을 반복해야 하거나 새로운 데이터나 다른 데이터에 대한 분석을 반복하고 싶을 때 단계를 반복할 수 있도록 수행하는 단계를 반드시 기록해야 합니다. |
| |
이제 재생산 가능한 데이터 큐레이션과 이것이 무엇인지에 대해 조던에게 이야기해 드리겠습니다. |
| 조던 힐러 |
네, 고마워요, 미아. 정말 좋았어요. 그리고 JMP에서 포인트 앤 클릭 방식으로 데이터 큐레이션을 수행하는 방법을 배웠습니다. 이제 이를 재현 가능하게 만드는 방법에 대해 이야기해 볼까요? |
| |
재현성에 대해 걱정하는 이유는 데이터 세트가 새로운 데이터로 정기적으로 업데이트되기 때문입니다. 만약 이것이 일회성 활동이라면 포인트 앤 클릭에 대해 크게 신경 쓰지 않았을 것입니다. 하지만 데이터가 계속해서 업데이트되면, |
| |
매번 포인트 앤 클릭으로 데이터 큐레이션을 반복하는 것은 너무 많은 노동력이 필요합니다. |
| |
따라서 모든 데이터 큐레이션 단계를 수행하는 스크립트를 생성하는 것이 더 효율적이며, 버튼을 한 번 클릭하면 해당 스크립트를 실행할 수 있습니다. |
| |
그리고 모든 것을 한 번에 처리합니다. 효율성 외에도 |
| |
프로세스를 문서화하는 것입니다. 무엇을 했는지 기록하는 역할을 하죠. 나중에 스스로 참고해서 무엇을 했는지 되새길 수 있고, 나중에 이 프로세스를 담당하게 될 사람들에게도 기록이 됩니다. |
| |
이 프레젠테이션의 나머지 부분에서는 포인트 앤 클릭만으로 데이터 큐레이션 스크립트를 생성하는 방법을 보여드리는 것이 목표입니다. |
| |
이 작업을 위해 별도의 프로그래밍 작업이 필요하지 않기를 바랍니다. 해당 프로그램 코드는 추출되어 저장될 예정이며, 그 과정에 대해 간략하게 설명드리겠습니다. |
| |
두 가지 섹션이 있습니다. JMP 15에서 데이터 큐레이션 스크립트를 얻는 방법과, 내년 JMP 16이 출시되면 수행할 방법이 있습니다. |
| |
JMP 15에는 재사용 가능한 JSL 스크립팅 코드를 생성하는 몇 가지 데이터 큐레이션 작업이 있습니다. |
| |
그냥 포인트 앤 클릭을 실행하면 코드를 가져오는 기술이 있습니다. 제가 보여드리겠습니다. 리코드 같은 도구는 |
| |
계산을 사용하여 새 수식 열 생성, 데이터 테이블 재구성 등의 도구는 테이블 메뉴에 있습니다. 스택, 분할, 조인, 연결, 업데이트 등이 있습니다. 이러한 모든 도구는 |
| |
JMP 15에서는 포인트 앤 클릭으로 실행한 후 자체 스크립트를 생성합니다. |
| |
자체 JSL 스크립트를 생성하지 않는 다른 일반적인 작업이 있으며 이러한 작업을 보다 쉽게 수행하고 재현할 수 있도록 하기 위해 |
| |
그리고 이는 주로 열 관련 작업, 열의 데이터 유형 변경, 모델링 유형, 표시 형식 변경 등에 도움이 됩니다. |
| |
데이터 테이블에서 열의 이름을 바꾸고, 순서를 바꾸고, 삭제하고, 사양 제한이나 값 레이블과 같은 열 속성을 설정합니다. |
| |
따라서 JMP 15에서 해당 작업을 지원하는 데는 데이터 정리 스크립트 도우미가 사용됩니다. |
| |
JMP 16을 잠깐 소개해 드리겠습니다. JMP 16의 로그에 새로운 기능이 추가되어 매우 기쁩니다. 아마도 향상된 로그 모드라고 불릴 것 같습니다. |
| |
JMP 16의 기본 아이디어는 평소처럼 데이터 큐레이션 단계를 가리키고 클릭하기만 하면 된다는 것입니다. |
| |
필요한 JSL 코드가 자동으로 생성되고 로깅됩니다. 그냥 받아서 저장하기만 하면 됩니다. 정말 간단하고 유용해서 여러분께 보여드릴 수 있어서 기쁩니다. |
| |
참고용 요약본입니다. JMP 15에서 왼쪽에 있는 작업들은 일반적인 데이터 큐레이션 작업이며, 전체 목록은 아닙니다. |
| |
가운데 열은 JMP에서 포인트 앤 클릭 방식으로 이러한 작업을 수행하는 방법을 보여줍니다. 재사용 가능한 스크립트를 추출하는 방법은 오른쪽에 나와 있습니다. 따라서 여기서 모든 내용을 다루지는 않겠습니다. |
| |
네, 나중에 참고하실 수 있도록 준비해 두었습니다. 데모를 시작해 보겠습니다. 미아가 컴포넌트 데이터 테이블에서 발견한 몇 가지 문제를 해결하는 방법을 보여드리겠습니다. JMP 15부터 시작하겠습니다. |
| |
그리고 우리가 먼저 이야기할 것은 그 컬럼 문제 중 일부입니다. |
| |
작고 보기 어리석은 동물 |
| |
데이터 유형, 모델링 유형, 그런 것들 말이죠. 이제 포인트 앤 클릭만 고려한다면 |
| |
JMP에서 일반적으로 하는 일은 습도에 대한 것입니다. 이것은 기억할 열입니다. |
| |
거기에 텍스트가 있는데, 문자 열로 잘못 입력되고 있습니다. 포인트 앤 클릭으로 수정하려면 보통 마우스 오른쪽 버튼을 클릭하고 열 정보로 들어가서 해당 변경 사항을 수정해야 합니다. |
| |
이 작업은 JMP 15에서 사용 가능한 스크립트를 그대로 유지하는 JMP 작업 중 하나입니다. 따라서 이 작업에서는 데이터 정리 스크립트 도우미를 대신 사용하겠습니다. 자, 시작해 볼까요? |
| |
추가 기능 메뉴에 있습니다. 제가 설치했으니 여러분도 설치하실 수 있습니다. 데이터 정리 스크립트 도우미, 이 작업에 필요한 도구는 Victor the Cleaner입니다. |
| |
열을 변경하기 위한 그래픽 사용자 인터페이스(GUI)를 제공하므로 여기서 데이터 유형과 모델링 유형을 다룰 수 있습니다. 열 이름을 바꾸고, 열 순서를 변경하고, 열을 삭제한 후 스크립트를 저장할 수 있습니다. 자, 여기서 몇 가지 변경 작업을 해 보겠습니다. |
| |
습도의 경우, N/A 값이 있어서 텍스트로 입력된 것입니다. 이 값을 문자 변수에서 숫자 변수로 변경하고, 명목 변수에서 연속 변수로 변경하겠습니다. |
| |
또한 배치 번호가 명목 번호로 변경되어야 한다는 것을 확인했습니다. 부품 번호도 명목 번호로 변경되어야 하며 현재 번호인 프로세스도 변경되어야 합니다. |
| |
명사 같은. |
| |
팹 테크. 저한테는 쓸모가 없네요. 시설(facility) 열을 삭제해 봅시다. 여기서 이름을 클릭하고 '삭제'를 클릭해서 선택하겠습니다. |
| |
미아가 언급한 몇 가지 외관상의 변경 사항은 다음과 같습니다. 폐기율은 표의 맨 끝에 있습니다. 더 일찍 옮기고 싶습니다. |
| |
고객 번호입니다. 따라서 해당 번호를 선택하고 화살표를 사용하여 순서대로 고객 번호 바로 뒤로 이동합니다. |
| |
제가 할 마지막 변경은 압력 변수의 이름을 바꾸는 것입니다. |
| |
제 조직의 엔지니어들은 이 열을 psi라고 불렀습니다. 그래서 이 열에 psi라는 이름을 붙이고 싶습니다. 자, 이제 제가 여기서 변경하고 싶은 모든 내용입니다. |
| |
몇 가지 선택 사항이 있습니다. 스크립트를 데이터 테이블 자체에 저장할지 여부를 결정해야 합니다. 그러면 왼쪽 상단 패널에 작은 스크립트 섹션이 생길 겁니다. |
| |
별도의 창에 저장할 위치를 지정하려면 스크립트 창에 저장해 보겠습니다. 또한, "확인"을 클릭했을 때 지정한 정리 작업을 실행할지 여부를 선택할 수 있습니다. 실행을 유지하고 "확인"을 클릭해 보겠습니다. |
| |
이제 모든 변경 사항이 적용된 것을 확인하실 수 있습니다. 항목이 재정렬되고, 열 속성이 변경되는 등 여러 가지가 있습니다. 그리고 |
| |
스크립트가 있습니다. 이를 구현할 스크립트가 있습니다. 스크립트는 자체 창에 있으며, 이 작은 프로그램이 기반이 될 것입니다. 이 스크립트를 기반으로 데이터 큐레이션 스크립트를 만들 것입니다. 이 스크립트를 저장해 보겠습니다. 저는 바탕 화면에 저장할 것입니다. 이 스크립트의 이름은 다음과 같습니다. |
| |
v15 큐레이션 스크립트. |
| |
모델링 유형 변경, 데이터 유형 변경, 이름 변경, 순서 변경. |
| |
이 모든 것은 Victor에게서 왔습니다. 제 코드에 이 내용을 기록해 두겠습니다. 나중에 읽을 수 있도록 코드에 간단한 주석을 남겨두는 것이 좋습니다. Victor 도구에서 가져온 내용이라는 메모를 남겨 두겠습니다. |
| |
그리고 DCSA에서 데이터 정리 스크립트 도우미 Victor에게 보낸 메시지라고 가정해 보겠습니다. 주석입니다. 두 개의 슬래시가 |
| |
프로그램의 한 줄은 주석입니다. 즉, 프로그램 인터프리터가 이 부분을 프로그램 코드로 실행하려고 하지 않는다는 뜻입니다. 작은 메모로 인식되며, 위쪽에서 녹색으로 표시됩니다. |
| |
대본에 작은 코멘트를 남기는 건 좋은 생각이에요. 좋아요, 다음으로 넘어가죠. |
| |
제가 다룰 다음 큐레이션 작업은 공급업체 칼럼입니다. 미아는 여기에 해결해야 할 몇 가지 문제가 있다고 말했습니다. |
| |
이 작업에는 recode 도구를 사용하겠습니다. Recode는 JMP 15에 포함된 도구 중 하나로, 자체 스크립트를 남겨둡니다. 어디서 가져오는지 알아야 합니다. 자, recode를 실행하고 스크립트를 가져오겠습니다. 마우스 오른쪽 버튼을 클릭하세요. |
| |
다시 코딩하다. |
| |
이 데이터 값을 수정하겠습니다. 빨간색 삼각형부터 시작하겠습니다. 모든 텍스트를 제목 대문자로 변환하는 것부터 시작해 보겠습니다. 이렇게 하면 Hersch 값의 소문자 부분이 깔끔하게 정리됩니다. |
| |
불필요한 공백과 공백 문자도 제거해 보겠습니다. 이렇게 하면 Anderson의 앞부분 공백이 깔끔하게 정리됩니다. 좋아요. |
| |
따라서 리코딩 도구에서 변경한 모든 내용은 이 목록에 기록되며, 원하는 경우 변경 사항을 순환하여 실행 취소하고 다시 실행할 수 있으며 해당 기록을 순환할 수도 있습니다. |
| |
좋아요, 몇 가지만 더 수정해야겠어요. 수동으로 만들어 볼게요. Hershes를 그룹화하고, Coxs를 그룹화하고, Andersons를 모두 그룹화해 볼게요. |
| |
Trutna와 Worley의 말이 이미 맞습니다. 마지막으로 이 누락된 값들을 다룰 것입니다. 이 값들을 별도의 누락 범주에 할당하겠습니다. |
| |
이게 제 재코딩 과정입니다. 이제 해야 할 일은 끝났습니다. 그냥 가리키고 클릭만 했다면 재코딩을 클릭하면 끝이었을 겁니다. 하지만 이 스크립트를 구해야 한다는 걸 기억하세요. 그래서 빨간색 삼각형으로 가겠습니다. |
| |
스크립트 섹션으로 가서 이 스크립트를 스크립트 창에 저장해 보겠습니다. |
| |
여기서는 스크립트 창에 저장되어 있고, 진행 중인 큐레이션 스크립트의 맨 아래에 해당 섹션을 붙여넣을 것입니다. |
| |
자, 어디 보자. 여기서 다 가져올게. 굳이 볼 필요도 없잖아. 응. 프로그래머가 될 필요도 없고, 컨트롤 C를 누르고 맨 아래에 붙여넣기만 하면 돼. 그리고 이게 빨간색 삼각형을 다시 코딩한 거라는 걸 알려줘. |
| |
좋아요, 이제 이 창을 닫아도 됩니다. 더 이상 필요 없으니까요. 그리고 이 업데이트 내용을 큐레이션 스크립트에 저장하겠습니다. 이렇게 다시 코딩하고 |
| |
을 얻으다 |
| |
이에 대한 코드입니다. |
| |
좋습니다. 그럼 우리가 다룰 다음 작업은 계산입니다. |
| |
수율. 아, 죄송해요. 제가 할 일은 실제로 재코딩을 실행하는 겁니다. 스크립트를 저장했으니 이제 재코딩을 실행해 봅시다. 자, 재코딩된 공급업체 열이 나왔습니다. 완벽하네요. |
| |
좋아요, 수율 열을 계산해 봅시다. 이건 좀 중복되는 내용인데, 이미 폐기율이 나와 있잖아요. |
| |
하지만 논의의 편의를 위해 새 열을 계산하고 해당 스크립트를 추출하는 방법을 보여드리겠습니다. JMP 15에서 스크립트를 쉽게 구할 수 있는 곳이기도 합니다. 여기서도 스크립트의 위치를 알고 있다면 쉽게 구할 수 있습니다. 수율 열을 만들어 보겠습니다. |
| |
새 열을 만들려면 여기 위를 두 번 클릭하고 열 16에서 yield로 이름을 바꾸세요. |
| |
그리고 이에 공식을 부여해 보겠습니다. |
| |
수율을 계산하려면 각 배치에 얼마나 많은 양품이 있는지 알아내야 합니다. 즉, 배치 크기에서 폐기된 수를 뺀 값이 됩니다. |
| |
각 배치에서 제가 가지고 있는 양품 단위의 수는 이렇습니다. 이 값을 전체 배치 크기로 나누면 여기 수율 열이 나옵니다. 네, 수율이 0.926인 것을 볼 수 있습니다. |
| |
스크랩율은 0.074입니다. 1에서 수율을 뺀 값입니다. 정말 좋습니다. 계산이 정확합니다. 이제 수율 열을 만들었으니 스크립트를 가져와 보겠습니다. 방법은 다음과 같습니다. 마우스 오른쪽 버튼을 클릭하고 열을 복사하세요. |
| |
마우스 오른쪽 버튼을 클릭하여 열을 복사합니다. |
| |
붙여넣기. 이제 데이터 표에 새 열을 추가합니다. 'yield'라는 이름의 열이고, 수식은 다음과 같습니다. |
| |
자, 제가 말했듯이, 프로그래밍을 전혀 몰라도 됩니다. 아주 작은 예외가 하나 있습니다. 아마 눈치채셨을 겁니다. |
| |
JSL에서는 모든 단계 끝에 세미콜론이 있습니다. 이는 여러 JSL 표현식을 구분하는 역할을 하며, 스크립트 맨 아래에 새로운 표현식을 추가할 때는 그 사이에 세미콜론이 있는지 확인해야 합니다. 그래서 저는 세미콜론만 입력했습니다. 복사 열 |
| |
함수에서 세미콜론을 추가하지 않았으므로 수동으로 추가해야 합니다. |
| |
좋아요, 좋습니다. 여기까지가 수익률 항목입니다. 다음으로 말씀드리고 싶은 것은 이것입니다. |
| |
제 프로세스는 1번과 2번으로 분류되어 있습니다. 썩 친숙하지 않네요. 좀 더 구체적인 이름을 붙이고 싶습니다. 프로세스 1번은 '생산', 프로세스 2번은 '실험'이라고 부르겠습니다. 값 레이블을 사용해서요. |
| |
값 레이블은 열 속성의 예입니다. 열에 추가할 수 있는 다양한 열 속성 목록이 있습니다. |
| |
측정 단위 같은 것들입니다. 그래프의 표시 순서를 바꾸고 싶을 때 값 순서를 사용할 수 있습니다. |
| |
품질 분석에 관리 한계나 사양 한계 또는 과거 시그마를 추가하려는 경우에도 여기서 작업을 수행할 수 있습니다. |
| |
좋습니다. 이 모든 것은 우리가 열에 추가하는 열 속성이고, 우리가 열에 추가하는 메타데이터입니다. |
| |
열 속성을 추가하는 JSL 스크립트에 접근하려면 데이터 정리 스크립트 도우미를 사용해야 합니다. 방법은 다음과 같습니다. 먼저, 평소처럼 마우스를 가리키고 클릭하여 열 속성을 추가합니다. 이제 값 레이블을 추가하겠습니다. |
| |
프로세스 번호 1은 생산이라고 부르겠습니다. 추가하세요. |
| |
2번째 과정은 실험적이라고 부르겠습니다. |
| |
그리고 해당 값 레이블 열 속성을 추가하면, |
| |
이제 데이터 테이블에 보기 좋은 라벨이 표시됩니다. 프로세스 1과 프로세스 2 대신 프로덕션과 실험이 표시됩니다. |
| |
데이터 정리 스크립트 도우미. 속성 복사기를 선택하겠습니다. |
| |
열 속성 스크립트가 클립보드에 복사되었으며 현재 진행 중인 스크립트로 돌아갈 것이라는 작은 메시지가 나타났습니다. |
| |
DCSA 부동산 복사기에서. |
| |
그런 다음 붙여넣기, Ctrl V를 눌러 붙여넣기. 두 값 레이블을 지정하는 스크립트가 있습니다. 이제 완료되었습니다. |
| |
아주 좋습니다. 좋아요, 데이터 큐레이션 단계를 하나 더 거쳐야 하는데, 이 부분에도 데이터 정리 스크립트 도우미가 필요합니다. |
| |
예를 들어, 이 데이터 테이블에서 진공이 꺼진 행만 고려하고 싶습니다. 그렇죠. 그러면 그런 행은 313개입니다. |
| |
이 데이터 테이블에서 vacuum이 활성화된 행들을 제거하고 싶습니다. 마우스를 가리키고 클릭하는 방법은, 제가 지금처럼 해당 행들을 선택한 다음 table subset 명령을 실행하는 것입니다. |
| |
사용 가능한 코드를 얻으려면 데이터 정리 스크립트 도우미를 다시 한 번 사용해야 합니다. 이 데이터 테이블의 하위 집합을 진공 기능이 꺼진 행으로만 나누는 방법은 다음과 같습니다. 먼저 행 메뉴의 행 선택 하위 메뉴에서 "위치 선택"을 사용하겠습니다. |
| |
선택 영역에 재사용 가능한 스크립트를 생성하기 위해 명령을 사용합니다. 진공 기능이 꺼진 행을 선택하겠습니다. |
| |
그리고 선택을 실행하기 위해 확인을 클릭하기 전에, 다시 빨간색 삼각형으로 가서 스크립트 창에 스크립트를 저장합니다. |
| |
Control A. Control C를 눌러 복사한 후 다시 붙여넣습니다. |
| |
행에서. |
| |
선택 위치 |
| |
Control V. 진공이 꺼진 행을 선택하는 JSL 코드가 있습니다. 이제 한 번 더, |
| |
선택한 행을 가져오려면 데이터 정리 스크립트 도우미를 사용해야 합니다. 아, 먼저 실제로 선택 항목을 실행해 보겠습니다. |
| |
자, 이제 행을 선택한 상태에서 추가 기능, 데이터 정리 스크립트 도우미, 선택한 행의 하위 집합으로 다시 이동하겠습니다. |
| |
데이터 하위 집합을 포함하는 새 데이터 테이블의 이름을 지정하라는 메시지가 표시됩니다. "vacuum"이라고 부르겠습니다. "vacuum off"라고 부르겠습니다. 이것이 새 데이터 테이블 이름입니다. "확인"을 클릭하면 하위 집합 스크립트가 클립보드에 복사되었다는 메시지가 다시 표시됩니다. |
| |
그래서 우리는 그것을 아래쪽에 붙여 넣습니다. |
| |
바로 여기 있습니다. |
| |
이제 JMP 15에서 사용할 완전한 데이터 큐레이션 스크립트가 완성되었습니다. 실제로 어떻게 사용하는지 살펴보겠습니다. 작업 중이던 데이터 테이블을 닫고 큐레이션 작업을 수정하겠습니다. 테이블을 닫고 원래 상태로 돌아가겠습니다. |
| |
지저분한 상태. |
| |
제가 올바른 버전의 JMP를 사용하고 있는지 확인하세요. |
| |
좋습니다. 네, 여기 있습니다. 지저분한 데이터입니다. 그리고 프로덕션 환경이고 새로운 데이터가 계속 유입되기 때문에 새로운 행이 몇 개 추가되었다고 가정해 보겠습니다. 데이터 큐레이션 워크플로를 다시 실행해야 합니다. |
| |
스크립트를 실행합니다. |
| |
모든 작업을 수행했습니다. 값 레이블을 확인하세요. 습도는 연속형입니다. 진공 기능이 꺼진 행만 하위 집합으로 지정했습니다. 전체 워크플로 |
| |
이제 JSL 스크립트로 재현할 수 있습니다. JMP 15에서는 이 점을 염두에 두셔야 합니다. 어떤 도구에서는 JSL 스크립트를 직접 추출할 수 있고, 어떤 도구에서는 제가 추가한 데이터 정리 스크립트 도우미를 사용할 수 있습니다. |
| |
이제 JMP 16에서 이것이 얼마나 재미있고 쉬운지 보여드리겠습니다. 전체 워크플로를 살펴보지는 않겠습니다. |
| |
좀 중복될 것 같아서 다시 한번 말씀드리겠습니다. 하지만 지금까지 살펴본 내용 중 일부를 간략하게 살펴보겠습니다. 지금은 JMP 16입니다. 로그를 열어 보겠습니다. |
| |
JMP 16에서는 로그가 다르게 보이는데, 곧 그 차이점을 확인하실 수 있을 겁니다. 복잡한 구성 요소 데이터를 열어 보겠습니다. |
| |
여기 있습니다. 로그에 보면 지저분한 데이터 테이블을 열었다는 섹션이 있습니다. 그리고 여기 아래에는 JSL 스크립트가 있는데, |
| |
방금 한 작업입니다. 이건 필요한 모든 스크립트를 자동으로 캡처하는 실행 로그와 같습니다. 아직 완성된 건 아닙니다. |
| |
아직 새로운 기능이 추가되고 있습니다. 그리고 저는 앞으로도 계속 추가될 거라고 생각합니다. |
| |
하지만 이 향상된 로그 기능은 매우 유용하며 대부분의 데이터 큐레이션 활동을 포괄합니다. |
| |
지금 보여드리는 것은 JMP 얼리 어답터 버전입니다. 얼리 어답터 버전 5입니다. 정식 출시되면 |
| |
내년 초에 출시될 JMP 16의 실제 버전은 지금 보시는 것과는 조금 다를 가능성이 높습니다. |
| |
좋습니다. 계속해서 데이터 큐레이션 단계 중 일부를 다시 살펴보겠습니다. 전체 워크플로를 자세히 설명하면 중복될 수 있으므로 생략하겠습니다. 몇 가지 단계만 살펴보겠습니다. |
| |
Victor가 필요했던 몇 가지 작업을 살펴보겠습니다. JMP 16에서는 데이터 정리 스크립트 도우미가 필요하지 않습니다. 평소처럼 가리키고 클릭하기만 하면 됩니다. |
| |
습도를 문자에서 숫자로, 명목에서 연속으로 변경하고 확인을 클릭합니다. 구조화된 로그에서 다음과 같이 표시됩니다. |
| |
JSL을 캡처했습니다. 좋습니다. 데이터 테이블로 돌아가겠습니다. 배치 번호, 부품 번호 및 프로세스의 모델링 유형을 연속에서 명목으로 변경하겠습니다. |
| |
완료되었습니다. 로그에도 기록되었습니다. 값이 하나뿐인 facility 열을 삭제하겠습니다. 마우스 오른쪽 버튼을 클릭하고 "열 삭제"를 클릭하세요. 삭제되었습니다. |
| |
프사이. |
| |
네, 그게 도구의 전부였습니다... JMP 15의 Victor에서 했던 모든 작업이죠. JMP 16에서는 이 모든 것들이 JMP 스크립트로 남아서 여기 복사해서 재사용할 수 있습니다. 정말 멋지네요. |
| |
좋습니다. 한 단계만 더 보여드리겠습니다. 진공의 부분 집합이 꺼져 있는 것을 보여드리겠습니다. JMP 16에서는 훨씬 더 간단합니다. 우리가 해야 할 일은 다음과 같습니다. |
| |
모든 꺼진 진공을 선택합니다. 행 메뉴를 사용할 필요도 없이, 꺼진 셀 중 하나를 마우스 오른쪽 버튼으로 클릭하고 일치하는 셀을 선택하면 진공이 꺼진 313개 행이 선택됩니다. 그런 다음 평소처럼 하위 집합을 실행하려면, 선택된 행만 선택하여 하위 집합을 만들고, 표 하위 집합을 만듭니다. |
| |
그리고 vacuum off라는 새 테이블을 만들어서 선택한 행만 포함하고 모든 열은 그대로 유지하도록 하겠습니다. 시작해 볼까요? |
| |
이제 모든 데이터 큐레이션 단계를 완료했습니다. 구조화된 로그에서 다음과 같이 표시됩니다. |
| |
이제 재사용 가능하고 재현 가능한 데이터 큐레이션 스크립트를 만들려면 빨간색 삼각형으로 이동하여 스크립트를 스크립트 창에 저장하기만 하면 됩니다. 이 스크립트를 제 데이터, 즉 데스크톱에 v16 큐레이션 스크립트로 저장하겠습니다. |
| |
자, 여기 있습니다. 전체 스크립트입니다. JMP 16의 모든 데이터를 닫고 스크립트를 다시 실행하는 방법을 보여드리겠습니다. |
| |
JMP 16 홈 창으로 돌아왔습니다. 여기 제 큐레이션 스크립트가 있습니다. 첫 번째 줄이 바로 "열기" 명령이라는 것을 알 수 있을 텐데, 데이터 테이블을 열 필요도 없습니다. 바로 여기 줄에서 실행됩니다. |
| |
새로운 데이터가 들어오고 이 파일이 업데이트되면 스크립트를 실행하여 데이터 큐레이션 단계를 수행하기만 하면 됩니다. |
| |
자, 이제 모든 큐레이션 단계와 313개 행에 대한 하위 집합이 있습니다. JMP 16의 향상된 로그 기능을 사용하여 모든 데이터 큐레이션 작업을 캡처하고 재현 가능한 스크립트로 변환하는 것입니다. |
| |
좋습니다. JMP 15 치트시트를 통해 JMP 15를 사용하는 동안 재사용 가능한 코드를 추출하기 위해 알아야 할 사항을 다시 한번 알려드리겠습니다. JMP 16이 출시되면 이에 대해 그렇게 걱정할 필요가 없을 것입니다. |
| |
2021년 초. |
| |
결론적으로, 미아는 JMP에서 데이터 큐레이션을 구현하는 방법을 보여주었습니다. 이는 문제를 파악하고 포인트 앤 클릭 방식으로 해결하는 탐색적이고 반복적인 프로세스입니다. |
| |
데이터가 새로운 데이터로 정기적으로 업데이트되는 경우 시간을 절약하기 위해 해당 워크플로를 자동화해야 합니다. |
| |
또한 작업 과정을 문서화하여 나중에 돌아와서 작업 내용을 검토할 때 참고할 수 있는 흔적을 남겨 두십시오. |
| |
자동화 프로세스는 포인트 앤 클릭 활동을 재사용 가능한 JSL 스크립트로 변환하는 것입니다. |
| |
JMP 15에서는 내장 도구와 데이터 정리 스크립트 어시스턴트의 도구를 함께 사용하여 이러한 목적을 달성하는 방법에 대해 설명했습니다. |
| |
또한 JMP 16에 대한 간략한 미리보기와 향상된 로그를 사용하여 포인트 앤 클릭 데이터 큐레이션 활동을 자동으로 수동적으로 캡처하고 재사용 가능한 멋진 로그를 남기는 방법을 제공했습니다. |
| |
재현 가능한 데이터 큐레이션 스크립트. |
| |
좋습니다. 여기까지가 저희 프레젠테이션입니다. 시간 내주셔서 정말 감사합니다. |