795615_de-DE

liliconcom

Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

Das JSON der folgenden Strukturen lässt sich bequem mit JSL der JMP-Software verarbeiten. Das JSON-Format ist festgelegt und es werden nur 13 Spalten in [] extrahiert. (Hier sind nur zwei Dateien aufgelistet.)

JSON1

{"ZJB":4271175,"ZJS":-3443749,"trend":[["09:30",0,-444931,0,-444931,0,1,0,21100,0,0,0,444931],["09:33",2,1433022,1433022,0,2,0,67100,0,0,1433022,0,0],["09:34",3,-316128,0,-316128,0,1,0,14800,0,0,0,316128],["09:45",4,318570,318570,0,1,0,15000,0,0,318570,0,0],["09:52",5,403965,403965,0,1,0,19100,0,0,403965,0,0],["10:03",7,-345725,328755,-674480,1,1,15500,31800,328755,0,0,674480],["10:25",8,419440,419440,0,1,0,19600,0,419440,0,0,0],["10:32",9,-623500,0,-623500,0,1,0,29000,0,0,0,623500],["10:40",10,353925,353925,0,1,0,16500,0,0,353925,0,0],["13:52",11,-1065500,0,-1065500,0,1,0,50000,0,0,0,1065500],["14:17",12,332436,332436,0,1,0,15600,0,332436,0,0,0],["14:25",13,-319214,0,-319214,0,1,0,15000,0,0,319214,0],["14:54",14,681065,681065,0,1,0,31900,0,0,681065,0,0]],"active":1080631,"passive":3190547,"Active":-319214,"Passive":-3124539,"AvgPrice":21.32,"AvgPrice":21.3,"time2":1725535598,"ttag":0.004174999999999929,"errcode":"0"}

JSON2

{"ZJB":1913404,"ZJS":-4366449,"trend":[["09:30",0,-730500,0,-730500,0,1,0,50000,0,0,0,730500],["09:34",1,402408,402408,0,1,0,27600,0,0,402408,0,0],["09:52",2,-442380,0,-442380,0,1,0,30300,0,0,0,442380],["10:51",3,-314545,0,-314545,0,1,0,21500,0,0,0,314545],["11:17",4,-339184,0,-339184,0,1,0,23200,0,0,0,339184],["13:06",5,-438600,0,-438600,0,1,0,30000,0,0,0,438600],["13:27",6,-337491,0,-337491,0,1,0,23100,0,0,337491,0],["13:47",7,-323676,0,-323676,0,1,0,22200,0,0,0,323676],["13:49",8,-447299,0,-447299,0,1,0,30700,0,0,0,447299],["14:00",9,-630448,0,-630448,0,1,0,43300,0,0,630448,0],["14:27",11,344796,707124,-362328,1,1,48400,24800,707124,0,0,362328],["14:31",12,320426,320426,0,1,0,21902,0,320426,0,0,0],["14:32",13,483449,483449,0,1,0,33000,0,0,483449,0,0]],"active":1027550,"passive":885857,"Active":-967939,"Passive":-3398512,"AvgPrice":14.62,"AvgPrice":14.6,"time2":1725535597,"ttag":0.0024069999999999925,"errcode":"0"}

Aber ist die asynchrone Verarbeitung von Python schneller, wenn diese Dateien groß sind?
Aber ich weiß nicht, wie Python mit diesem JSON umgeht, und habe ChatGPT um eine Antwort gebeten.
Fragen Sie also die Experten der Community. Vielen Dank!

Bitte erstellen Sie diese Datei im Verzeichnis C:\8 und rufen Sie Python auf, indem Sie sie in JSL kodieren. Verketten Sie alle Dateien zu einer JMP-Tabelle.

Dies erfordert, dass jede Datei auch einen zusätzlichen Dateinamen hat.

Automatisierung und SkriptingWindowsBetreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

ChatGPT

JSL

# Define the Python code block
pythonCode = """
import os
import json
import asyncio
import aiofiles

# Define the directory to process
directory = 'C:/8/'

# Read and parse JSON files
async def process_file(file_path, encoding):
    async with aiofiles.open(file_path, mode='r', encoding='utf-8') as file:
        content = await file.read()
        data = json.loads(content)
        trend_data = data.get('trend', [])
        
        # Extract data and add encoding column
        rows = []
        for entry in trend_data:
            entry.append(encoding)  # Add filename as encoding column
            rows.append(entry)
        return rows

# Asynchronously process all files
async def process_all_files():
    all_data = []
    for filename in os.listdir(directory):
        if filename.endswith('.json'):
            file_path = os.path.join(directory, filename)
            encoding = os.path.splitext(filename)[0]  # Extract filename (without extension)
            rows = await process_file(file_path, encoding)
            all_data.extend(rows)
    return all_data

# Run asynchronous tasks
def run_asyncio_fetch():
    return asyncio.run(process_all_files())

# Get data
data = run_asyncio_fetch()
"""

# Submit the Python code to JMP's Python environment
Python Submit(pythonCode)

# Retrieve the processed data from Python
results = Python Get("data")

Betreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

Jemand von JMP kennt vielleicht eine technischere Antwort, ich habe lediglich Fragen an Sie:

• Was betrachten Sie als große Datei?
• Wie viele Dateien haben Sie?
• Haben Sie es mit unterschiedlichen Dateigrößen versucht?
• Haben Sie es mit JMP mit verschiedenen Methoden versucht
  
  • Einzelne Datei öffnen
  • Als Text laden
  • Importieren mehrerer Dateien
  • Python-Integration
• Haben Sie es mit Python versucht, ohne die JMP-Integration zu verwenden?

Betreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

Danke, jthi!

Aktuell beschäftige ich mich mit über 5000 solcher JSON-Dateien und der Schlüssel soll in kurzer Zeit verarbeitet werden.
Ich habe erst kürzlich den gleichzeitigen asyncio-Download von Python über ChatGPT verwendet und fand ihn schneller als den gleichzeitigen JMP-Download. Diese JSON-Dateien werden auf diese Weise heruntergeladen.

Ich verwende jetzt zuerst Python Asyncio, um die ursprüngliche JSON-Datei schnell und gleichzeitig herunterzuladen und auf dem Computer zu speichern.
Daher wollte ich auch die asynchrone Verarbeitung von JSON durch Python ausprobieren, aber JMP-Tabellen direkt speichern.

Ich wollte es einfach erstmal ausprobieren und habe mir über alles andere keine großen Gedanken gemacht.
Ich hoffe, dass erfahrene Experten Anleitung und Hilfe geben können. Vielen Dank!

Betreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

Ich weiß nur wenig über JSL.Daher weiß ich nicht, wie JSL und Python Daten im Speicher besser und schneller verarbeiten können.

Danke!

Betreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

Vielleicht ist dies ein guter Zeitpunkt, um etwas mehr darüber nachzudenken?

Weitere Fragen (und einige davon habe ich bereits früher gestellt):

• Was ist eine große Datei?
• Was bedeutet „kurze Bearbeitungszeit“?
• Liegt das Problem darin, die Daten von JSON nach JMP zu konvertieren oder die Daten herunterzuladen?
• Haben Sie versucht, das JSON mit JMP zu laden, beispielsweise mit Multiple File Import?
• Haben Sie immer Stapel mit mehr als 5.000 Dateien?

Und noch einen Schritt weiter

• Vielleicht sollten diese Daten planmäßig in der Datenbank gespeichert werden (und an diesem Punkt ist dies noch lange keine JMP-Frage. JMP kann die Daten bei Bedarf aus der Datenbank laden)?

Betreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

Danken Sie den Experten dafür, dass sie aus einer höheren Perspektive denken.
Ich erkläre es weiter: Diese Daten sind jede Minute verfügbar und der Schlüssel liegt in der Berechnung nach dem Herunterladen.

Ich beschäftige mich also immer noch mit einem Stück nach dem anderen.

Ich habe festgestellt, dass die Verarbeitung von JSON in Tabellen lange dauerte. Möchte die asynchrone Verarbeitung in Python ausprobieren.
Ich hoffe, dass Experten konkrete Hinweise geben können. Danke!

Betreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

Erfassen Sie jede Minute mehr Daten?

Angenommen, Sie haben derzeit 5000 JSON-Dateien heruntergeladen. Sie sollten diese nur einmal in einer JMP-Tabelle/Datenbank/an einem anderen Ort verarbeiten. Danach analysieren Sie einfach die neuen Dateien und fügen die neuen Daten dort hinzu, wo Sie sie speichern.

Betreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

Bedanken Sie sich bei den Experten für die geduldige Nachbetreuung.

Ich sehe so aus:

Verarbeitet 5000 JSON-Dateien pro Minute.Zentralisieren Sie die Berechnungen in JMP-Tabellen, speichern Sie nur wenige zusammengefasste Ergebnisse und verwenden Sie eine weitere JMP-Datei (die problemlos in JSL gehandhabt werden kann).

Das Roh-JSON wird nicht gespeichert und auch die zusammengeführte JMP-Datentabelle nicht.

Deshalb wollte ich die Dinge beschleunigen, indem ich die Daten im Speicher verarbeite.

Danke!

Betreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

Sie führen also 5.000 HTTP-Anfragen pro Minute aus (7,2 Millionen pro Tag), die alle ein JSON zurückgeben (das sind ziemlich viele Anfragen an einen einzelnen Endpunkt von einer IP aus), oder erhalten Sie diese 5.000 einzelnen Dateien pro Minute auf andere Weise?

Betreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

• 200 pro Minute ist alles, was ich im Moment in Echtzeit bewältigen kann

  Vieles davon geschieht im Nachhinein

Danke!

Betreff: Ist es bei großen Datenmengen schneller, JSON mit Python asynchron in strukturierte Daten zu verarbeiten?

Durch den Vergleich des Verbrauchs jedes Schritts wird jedes Mal weniger Zeit zum Herunterladen der Daten benötigt.

Das Zusammenstellen und Sortieren vieler Daten nimmt jedoch jedes Mal mehr Zeit in Anspruch.

Fragen Sie Experten: Welche Datenbank hat in dieser Hinsicht einen Geschwindigkeitsvorteil: Spleißen, Sortieren.Entscheidend ist, dass es sich hierbei lediglich um Zwischendaten handelt und nicht um gespeicherte Daten.

Ich habe festgestellt, dass die Spleißgeschwindigkeit von JMP18 deutlich langsamer ist als die von JMP14.

Danke, Experten!