795615_ko-KR

liliconcom

대량의 데이터의 경우 JSON을 비동기적으로 처리하여 구조화된 데이터로 만드는 데 Python을 사용하는 것이 더 빠를까요?

다음 구조의 JSON은 JMP 소프트웨어의 JSL로 처리하기 편리합니다. JSON 형식은 고정되어 있으며 [] 안의 13개 열만 추출됩니다.(여기에는 두 개의 파일만 나열되어 있습니다.)

JSON1

{"ZJB":4271175,"ZJS":-3443749,"trend":[["09:30",0,-444931,0,-444931,0,1,0,21100,0,0,0,444931],["09:33",2,1433022,1433022,0,2,0,67100,0,0,1433022,0,0],["09:34",3,-316128,0,-316128,0,1,0,14800,0,0,0,316128],["09:45",4,318570,318570,0,1,0,15000,0,0,318570,0,0],["09:52",5,403965,403965,0,1,0,19100,0,0,403965,0,0],["10:03",7,-345725,328755,-674480,1,1,15500,31800,328755,0,0,674480],["10:25",8,419440,419440,0,1,0,19600,0,419440,0,0,0],["10:32",9,-623500,0,-623500,0,1,0,29000,0,0,0,623500],["10:40",10,353925,353925,0,1,0,16500,0,0,353925,0,0],["13:52",11,-1065500,0,-1065500,0,1,0,50000,0,0,0,1065500],["14:17",12,332436,332436,0,1,0,15600,0,332436,0,0,0],["14:25",13,-319214,0,-319214,0,1,0,15000,0,0,319214,0],["14:54",14,681065,681065,0,1,0,31900,0,0,681065,0,0]],"active":1080631,"passive":3190547,"Active":-319214,"Passive":-3124539,"AvgPrice":21.32,"AvgPrice":21.3,"time2":1725535598,"ttag":0.004174999999999929,"errcode":"0"}

JSON2

{"ZJB":1913404,"ZJS":-4366449,"trend":[["09:30",0,-730500,0,-730500,0,1,0,50000,0,0,0,730500],["09:34",1,402408,402408,0,1,0,27600,0,0,402408,0,0],["09:52",2,-442380,0,-442380,0,1,0,30300,0,0,0,442380],["10:51",3,-314545,0,-314545,0,1,0,21500,0,0,0,314545],["11:17",4,-339184,0,-339184,0,1,0,23200,0,0,0,339184],["13:06",5,-438600,0,-438600,0,1,0,30000,0,0,0,438600],["13:27",6,-337491,0,-337491,0,1,0,23100,0,0,337491,0],["13:47",7,-323676,0,-323676,0,1,0,22200,0,0,0,323676],["13:49",8,-447299,0,-447299,0,1,0,30700,0,0,0,447299],["14:00",9,-630448,0,-630448,0,1,0,43300,0,0,630448,0],["14:27",11,344796,707124,-362328,1,1,48400,24800,707124,0,0,362328],["14:31",12,320426,320426,0,1,0,21902,0,320426,0,0,0],["14:32",13,483449,483449,0,1,0,33000,0,0,483449,0,0]],"active":1027550,"passive":885857,"Active":-967939,"Passive":-3398512,"AvgPrice":14.62,"AvgPrice":14.6,"time2":1725535597,"ttag":0.0024069999999999925,"errcode":"0"}

하지만 이런 파일이 클 경우 파이썬의 비동기 처리가 더 빠를까요?
하지만 파이썬이 이 JSON을 어떻게 처리하는지 모르겠어서 ChatGPT에 답변을 요청했습니다.
그러니 지역 사회 전문가에게 물어보세요.대단히 감사합니다!

이 파일을 C:\8 디렉토리에 만들고 JSL로 인코딩하여 Python을 호출하고 싶습니다. 모든 파일을 JMP 테이블로 연결합니다.

이렇게 하려면 각 파일에 추가 파일 이름이 하나씩 있어야 합니다.

자동화 및 스크립팅윈도우Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

채팅GPT

JSL

# Define the Python code block
pythonCode = """
import os
import json
import asyncio
import aiofiles

# Define the directory to process
directory = 'C:/8/'

# Read and parse JSON files
async def process_file(file_path, encoding):
    async with aiofiles.open(file_path, mode='r', encoding='utf-8') as file:
        content = await file.read()
        data = json.loads(content)
        trend_data = data.get('trend', [])
        
        # Extract data and add encoding column
        rows = []
        for entry in trend_data:
            entry.append(encoding)  # Add filename as encoding column
            rows.append(entry)
        return rows

# Asynchronously process all files
async def process_all_files():
    all_data = []
    for filename in os.listdir(directory):
        if filename.endswith('.json'):
            file_path = os.path.join(directory, filename)
            encoding = os.path.splitext(filename)[0]  # Extract filename (without extension)
            rows = await process_file(file_path, encoding)
            all_data.extend(rows)
    return all_data

# Run asynchronous tasks
def run_asyncio_fetch():
    return asyncio.run(process_all_files())

# Get data
data = run_asyncio_fetch()
"""

# Submit the Python code to JMP's Python environment
Python Submit(pythonCode)

# Retrieve the processed data from Python
results = Python Get("data")

Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

JMP의 누군가가 더 기술적인 답변을 알고 있을 수도 있지만, 저는 당신에게 질문이 있습니다.

• 무엇을 대용량 파일이라고 생각하시나요?
• 파일이 몇 개나 있나요?
• 다양한 파일 크기로 시도해 보셨나요?
• 다양한 방법을 사용하여 JMP를 시도해 보셨나요?
  
  • 일렬로 열다
  • 텍스트로 로드
  • 여러 파일 가져오기
  • 파이썬 통합
• JMP 통합을 사용하지 않고 Python을 시도해 보셨나요?

Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

jthi에게 감사드려요!

현재 5,000개가 넘는 JSON 파일을 다루고 있으며, 중요한 것은 짧은 시간 내에 처리하는 것입니다.
저는 최근에 ChatGPT를 통해 파이썬의 asyncio 동시 다운로드를 사용했고, 이것이 JMP 동시 다운로드보다 빠르다는 것을 알았습니다. JSON 파일은 이런 방식으로 다운로드됩니다.

저는 이제 원본 JSON 파일을 동시에 빠르게 다운로드하여 컴퓨터에 저장하기 위해 먼저 python asyncio를 사용하고 있습니다.
그래서 저는 JSON에 대한 파이썬의 비동기적 처리를 시도하고 싶었고, JMP 테이블을 직접 저장하고 싶었습니다.

저는 그저 먼저 시도해 보고 싶었고 다른 것은 별로 생각하지 않았습니다.
경험이 풍부한 전문가께서 지침과 도움을 주셨으면 좋겠습니다. 감사합니다!

Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

저는 JSL에 대해서 별로 알지 못합니다.그래서 저는 JSL과 Python이 메모리에서 데이터를 더 좋고 빠르게 처리하는 방법에 대해 잘 모릅니다.

감사해요!

Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

어쩌면 이때가 이에 대해 조금 더 생각해보기에 좋은 시기일 수도 있을까요?

추가 질문 (그리고 제가 앞서 물었던 몇 가지 질문):

• 대용량 파일이란?
• 처리에 있어서 "단시간"이란 무엇입니까?
• 문제는 JSON에서 JMP로 데이터를 가져오는 데 있습니까, 아니면 데이터를 다운로드하는 데 있습니까?
• JMP를 사용해서 JSON을 로드해 보셨나요? 예를 들어 여러 파일 가져오기 기능을 사용해 보셨나요?
• 항상 5,000개 이상의 파일을 보관하시나요?

그리고 조금 더 나아가서

• 어쩌면 그 데이터는 예약된 방식으로 데이터베이스에 저장되어야 할까요?(그리고 이 시점에서 이것은 오랫동안 JMP와 관련된 문제가 아닙니다. JMP는 필요하면 데이터베이스에서 데이터를 로드할 수 있습니다.)

Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

더 높은 관점에서 생각해 주신 전문가들에게 감사드립니다.
더 자세히 설명하자면, 이러한 데이터는 1분마다 제공되며, 중요한 것은 다운로드 후 계산하는 것입니다.

그래서 저는 아직도 한 번에 한 가지 작품만 다루고 있습니다.

JSON에서 테이블로 처리하는 데 시간이 오래 걸린다는 것을 발견했습니다. 파이썬에서 비동기 처리를 시도하고 싶습니다.
전문가분들이 구체적인 지침을 제공해 주셨으면 좋겠습니다. 감사합니다!

Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

매분 더 많은 데이터를 수집하고 있나요?

현재 5000개의 JSON 파일을 다운로드했다고 가정해 보겠습니다. JMP 테이블/데이터베이스/다른 곳에 한 번만 처리해야 합니다. 그 후에는 새 파일을 계속 파싱하고 새 데이터를 저장하는 곳에 추가하면 됩니다.

Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

환자 후속 조치를 취한 전문가들에게 감사를 표하세요.

나는 이렇게 보인다:

분당 5000개의 JSON 파일을 처리합니다.JMP 테이블에서 계산을 중앙 집중화하고, 몇 가지 요약된 결과만 저장하고, 다른 JMP 파일(JSL에서 쉽게 처리할 수 있는)을 사용합니다.

원시 JSON은 저장되지 않으며 병합된 JMP 데이터 테이블도 저장되지 않습니다.

그래서 메모리에서 데이터를 처리하여 작업 속도를 높이고 싶었습니다.

감사해요!

Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

그러니까 분당 5000개의 http 요청(하루 720만 개)을 실행하고, 이 모든 요청이 JSON(한 IP에서 단일 엔드포인트로 많은 요청이 들어오는 것처럼 느껴집니다)으로 반환되나요? 아니면 다른 방법으로 분당 5000개의 개별 파일을 받는 건가요?

Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

• 지금 실시간으로 처리할 수 있는 건 1분에 200달러 정도야

  그것의 많은 부분은 사후에 발생합니다

감사해요!

Re: 대량의 데이터의 경우 JSON을 비동기적으로 구조화된 데이터로 처리하기 위해 Python을 사용하는 것이 더 빠를까요?

각 단계의 소비량을 비교하면, 매번 데이터를 다운로드하는 데 걸리는 시간이 줄어드는 거죠.

하지만 매번 많은 데이터를 수집하고 정렬하는 데는 더 많은 시간이 걸립니다.

전문가에게 물어보세요: 어떤 데이터베이스가 이와 관련하여 속도 면에서 유리한가요? 스플라이싱과 정렬.중요한 점은 이것이 저장된 데이터가 아니라 중간 데이터라는 것입니다.

JMP18의 스플라이싱 속도가 JMP14보다 훨씬 빠르지 않다는 것을 발견했습니다.

전문가 여러분 감사합니다!