요약: 데이터베이스 선택, 조인 및 필터링과 같은 데이터베이스 내 작업, "Table>Concatenate" 및 "Rows> Select Where..."와 같은 메모리 내 작업, 추가와 같은 일부 JSL 작업을 허용하는 시각적 테이블 빌더 인터페이스를 제안합니다. 시각적 흐름에서 연결될 속성입니다. 나는 이 접근법이 제공할 것이라고 믿는다 매우 직관적인 방법 데이터 과학 교육을 거의 받지 않은 사람들이 데이터 준비 및 정리를 자동화하여 통찰력 생성 및 분석을 위해 실시간 데이터 소스를 JMP로 쉽게 캡처할 수 있습니다.
세부: 내부 Postgres 데이터베이스에서 데이터 쿼리를 생성하기 위해 JMP 쿼리 빌더를 많이 사용하고 있으며 기본 데이터베이스 쿼리 도구로도 잘 작동합니다. 즉, 기본 테이블에 대한 조인 및 변환의 결과인 두 개의 하위 쿼리를 조인하여 테이블을 생성하는 것과 같은 보다 복잡한 워크플로우를 처리하기 위해 여전히 Python, KNIME 또는 원시 SQL로 돌아가고 있습니다. 하지만 궁극적으로 데이터베이스에서 JMP의 데이터를 가져오려면 여전히 간단한 JMP 쿼리를 만들어야 합니다. 또한 현재 쿼리 빌더는 다소 느리고 데이터베이스 작업에 대한 강력한 기반이 없는 사람들에게는 그다지 직관적이지 않습니다.
여기에서 KNIME과 Alteryx가 취한 접근 방식은 저에게 정말 좋게 느껴집니다. 데이터베이스 작업의 강력한 정신 모델에 적합한 시각적 흐름입니다. 각 단계는 더 큰 쿼리로 결합할 수 있는 새로운 가상 테이블(실제로는 추상화된 SQL 작업)을 생성합니다.
KNIME에서 개별 단계를 구성하는 것도 Query Builder에서보다 훨씬 빠릅니다. 조건자 단계가 메모리에 남아 있고 수정된 작업만 이전 단계의 메모리 내 표현에서 실행해야 하기 때문이라고 가정합니다. 대신 QB는 많은 SQL 쿼리를 실행합니다(자동 미리 보기를 끄면 큰 도움이 되지만 미리 보기 기능이 손실됨). 기본적으로 열을 선택하거나 자동 미리보기를 사용하여 열 이름을 바꿀 때마다 데이터베이스 쿼리가 발생하고 흐름이 중단됩니다.
Query Builder를 개선하면 과학자와 엔지니어에게 데이터 작업과 데이터베이스 사용을 민주화하는 데 큰 도움이 될 것입니다. 제가 제안하는 내용은 다음과 같습니다.
- 조인 작업 및 필터링/순서에서 별도의 테이블 선택
- 단일 테이블이 선택된 것처럼 기존 쿼리 빌더를 활용할 수 있습니다. 열을 선택하고 이름을 바꾸는 JMP QB 방식은 꽤 좋습니다!
- IO는 대부분의 작업에서 가장 느린 부분이기 때문에 가능한 한 자주 SQL 쿼리를 피하기 위해 미리 보기 작업에 테이블 샘플(모든 열 및 ~100-500개 행 포함)의 메모리 내 표현을 사용합니다.
- 여기에는 열 선택, 이름 바꾸기, 그룹화, 집계 함수 등이 포함됩니다.
- 가능한 우려 사항은 터무니없이 넓은 테이블(생물 정보학이 떠오름)이므로 메모리 내 모드에도 열 제한이 필요할 수 있지만 대부분의 용도를 다룰 것이라고 확신합니다.
- 조인, 필터링, 정렬/순서 작업을 위한 시각적 흐름 표현을 구축합니다.
- 각 작업은 가능한 경우 출력 미리보기를 위해 메모리 내 표현을 사용합니다.
- 소스 테이블 샘플의 인메모리 표현은 조인 작업을 위해 열 이름을 쿼리할 필요도 없애줍니다. 이 단계는 JMP에서 놀라울 정도로 느립니다.
- 이상적으로는 JMP 테이블 작업(분할, 스택, 연결, 공식이 있는 열 추가, 행 선택, 행 숨기기 및 제외 등)이 데이터베이스에서 쿼리한 후 시각적 단계로 흐름에 연결되도록 허용합니다.
- 많은 동료들이 다양한 데이터 정리 및 준비 단계를 메뉴 작업으로 연결한 다음 쿼리 후 스크립트로 변환하는 데 도움이 필요합니다.
- 최종 데이터 테이블에 스크립트를 첨부하는 것도 시각적인 단계일 수 있으며, N개의 첨부된 스크립트에 대해 일련의 N단계를 갖는 편리한 흐름을 만들 수 있습니다.
적어도 UI 관점에서 이러한 부분의 대부분 또는 전부는 JMP의 기존 UI를 활용할 수 있습니다. JMP 테이블 연결 단계의 구성 패널은 문자 그대로 JMP의 테이블>연결 옵션과 동일한 형식을 사용할 수 있습니다.
내 이상적인 상태는 상당한 SQL 또는 데이터베이스 교육을 받지 않은 동료가 테이블 선택, 조인, 필터링 및 데이터 준비를 쉽게 실험하여 시각화 및 분석을 수행하는 데 필요한 테이블을 정확하게 생성하는 완전히 자동화된 워크플로우로 끝날 수 있다는 것입니다. . 시각적 흐름 접근 방식이 이를 용이하게 하는 훌륭한 방법이라고 생각합니다! 이는 데이터베이스 쿼리, 데이터베이스 내 작업, 메모리 내 테이블, 행, 열 및 스크립트 작업의 기능을 결합하여 완전 자동 데이터 준비 워크플로를 구축하는 진정한 테이블 작성기입니다.
궁극적인 출력은 일종의 쿼리 빌더와 같을 것입니다. 즉, 테이블 빌더 흐름에 대해 열리는 .jmpflow 파일(또는 무엇이든) 또는 추가 기능 또는 스크립트 창에서 실행할 수 있는 저장된 스크립트입니다.
내가 생각하는 것을 잘못 그린 그림을 첨부했습니다. 이것이 개발자의 관심을 불러일으키는 경우, 이에 대해 이야기하기 위해 연결하고 싶다면 개인 메시지를 통해 언제든지 저에게 연락하십시오!
참고: 포맷을 위해 편집됨
이에 대해 +1합니다. 17의 JMP Workflows를 사용하면 이러한 관점도 가질 수 있다고 생각합니다.
@Ryan_Gilmore 님 , 안녕하세요. 좋습니다. 이 소원을 다시 열어주실 수 있나요?
기록상으로, 저는 여전히 이것이 관련성 있는 제안이라고 생각합니다. 시각적 흐름 접근 방식은 ETL 프로세스를 처리하는 유연한 방법이며, 실질적으로 각 단계를 순서대로 호출하는 함수로 간주하는 Workflows로 대체되지 않습니다.
@Sarah-Sylvestre 이 요청을 다시 열 가능성이 있나요?
이 소원의 목표는 시각적으로 작업 흐름을 만드는 것입니다.
@jthi 의 관련 소원
JMP에서 다양한 보고서와 데이터 테이블 간의 참조 시각화
기존의 관계를 시각화하려는 아이디어로
