Gentile Comunità,
stiamo elaborando tabelle di grandi dimensioni e vogliamo escludere i valori anomali.
Abbiamo scoperto che l'outlier robusto della piattaforma secondo huber esclude tutte le righe, a meno che nel riepilogo non vengano trovati valori anomali, vedere l'immagine e lo script della tabella di esempio da riprodurre (JMP15 o JMP16 su Windows).
Ha davvero senso o c'è un bug, mi aspetterei un comportamento diverso.
New Table( "Huber-outlier-0-sigma",
Add Rows( 100 ),
New Script(
"Explore Outliers of value",
Explore Outliers( Y( :value ), Robust Fit Outliers )
),
New Column( "value",
Numeric,
"Continuous",
Format( "Best", 12 ),
Set Values(
[0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4]
),
Set Display Width( 83 )
),
)
Si prega di contattare support@jmp.com per segnalare il problema.
Non posso valutare l'impatto di questa stranezza sull'ambiente di produzione dell'utente. E non posso parlare per la mente dello sviluppatore, se c'è una soluzione.
Ecco la mia visione da un punto di vista numerico. In questo caso, tutti i dati sono effettivamente outlier, in base a come sono definiti gli outlier e come calcola il nostro computer. La radice risiede nel aritmetica in virgola mobile . Ci sono due problemi con questo caso:
- Il primo 0.4 non può essere rappresentato esattamente nel computer. Immagina 0.4 nel computer è 0.4000000000000xx, con qualche piccola appendice alla fine.
- In secondo luogo, anche la stima del Centro Huber non è esattamente 0,4. Anche la media di un gruppo di 0,4 non è 0,4 nel computer, anche a causa dell'aritmetica in virgola mobile. Immagina qui che la stima del Centro Huber sia 0.4000000000000000yy, con qualche altra piccola appendice yy alla fine, ma diversa da xx.
Ecco lo screenshot dopo aver modificato il formato in Fixed con una lunghezza sufficiente per le cifre dopo la cifra decimale. Puoi vedere l'appendice nel Centro Huber.
Dato che la stima di Huber Spread è zero e tutte le osservazioni sono numericamente diverse dall'Huber Center, sono infatti distanti anni luce dall'Huber Center, quindi sono outlier secondo la definizione e come vengono calcolate nel nostro computer imperfetto.
caro @peng_liu ,
prima di tutto grazie per la risposta, vi aggiornerò support@jmp.com .
A mio parere questo comportamento non è corretto, per quanto ho capito, la finestra di dialogo riporta zero valori anomali (Huber N Outliers = 0), e in contrasto con questo il pulsante di esclusione esclude tutte le righe.
Inoltre, la mia soluzione alternativa è che test per l'intervallo della colonna e, se il limite superiore e inferiore è esattamente lo stesso, salto il test anomalo (per non escludere tutte le righe). Poiché ora funziona perfettamente, concludo che JMP pensa che i numeri siano tutti esattamente gli stessi.
Distinti saluti
