많은 행이 있는 표의 경우 선호하는 데이터 형식은 무엇입니까?죄송합니다. (다시 한번 말하지만) 초보자 질문인 듯합니다.
저희는 마침내 제조 공장에서 수년간 수집해 온 온라인 센서("태그") 데이터에 대한 분석을 진행하기 시작했습니다. 이 태그의 표준 시간 분해능은 1인치이며, 약 1,400개의 태그를 분석하여 흥미로운 정보를 얻어야 합니다. 하지만 이 단계에 이르려면 디지털화 팀에 몇 가지 데이터 형식을 제안해야 할 것 같습니다. 디지털화 팀은 (저는 아니지만) 팀원 외의 모든 사람이 CSV 파일을 사용하기를 기대하는 것 같습니다. 하지만 이 형식으로는 약 3천만 개의 행을 처리할 수 없다는 것을 알고 있습니다. 이는 1년의 초 수와 거의 일치합니다. 이러한 시간 분해능이 반드시 필요하지는 않더라도, 마치 필요한 것처럼 접근하는 것이 여전히 가치 있다고 생각합니다. 또한, 1분 단위의 데이터만 사용한다면 매년 약 50만 개의 행이 필요하게 되는데, CSV를 사용하여 처리하는 것은 여전히 불편해 보입니다.
대용량 테이블 처리, 즉 JMP로 가져올 때 JSON 방식이 더 선호되나요? 아니면 데이터베이스에 연결하여 JMP로 직접 데이터를 로드하는 것이 더 나을까요? 이 문제와 관련하여 디지털화 팀에 피드백을 주시면 정말 감사하겠습니다. JMP 사용자 여러분, 미리 감사드립니다!
데이터 액세스Re: 행이 많은 테이블에 선호하는 데이터 형식은 무엇입니까?가능하면 데이터를 적절한 데이터베이스에 저장하십시오. 데이터베이스에서 JMP로 가져오는 것이 가장 쉽습니다.
Re: 여러 행이 있는 표에 적합한 데이터 형식은 무엇인가요?저는 종종 CSV 파일에서 수많은 행이 있는 데이터를 가져옵니다. 소스 애플리케이션에서 내보낼 수 있는 데이터 용량이 2GB로 제한되어 있습니다.
더 큰 데이터를 처리해야 하는 경우, 데이터를 여러 조각으로 나누어 여러 개의 csv 파일을 로드합니다.
따라서 0.5mio 행(1분 단위라고 언급하신 것)은 CSV를 통해 전혀 문제가 되지 않습니다.
3,000만 달러를 Jmp에 투자할 수 있을지 궁금합니다.
단일 조각이 아니라면 500만 조각으로 나누어 보는 건 어떨까요?
Re: 행이 많은 표에 적합한 데이터 형식은 무엇인가요?@hogi 님 , 죄송합니다. 제 잘못입니다. CSV 파일도 Excel과 같은 제한 사항이 있다고 생각했는데, 사실이 아닙니다. 지적해 주셔서 감사합니다. 하지만 3천만 행 데이터 세트에 0.5백만 행 제한이 있다는 점은 여전히 불편할 수 있다고 생각합니다. 하지만 이 문제도 해결될 가능성이 높다고 생각합니다.
