Noi di JMP siamo fan di Dennis Lendrem, dei suoi libri, dei suoi post su LinkedIn e della sua newsletter,Scimmie in camice da laboratorio, la sua passione per la promozione di una scienza migliore e il suo delizioso umorismo britannico. Avevamo più domande che tempo per rispondere in questa puntata di Statistically Speaking , quindi Lendrem ha gentilmente fornito le risposte per questo post del blog. Siamo lieti di sottolineare il suo messaggio sulla necessità di una scienza migliore e di una risoluzione più rapida dei problemi.
Nelle tue collaborazioni con gli scienziati, mostrando loro come il DOE può rendere i loro esperimenti più efficiente ed efficace, qualcuno di loro è rimasto così colpito dalla potenza del DOE da essere motivato a scoprirne di più e a utilizzarlo in proprio?
Alcuni. Ma non illudetevi. Per la maggior parte, è come mostrare il fuoco a un cavernicolo. Inizialmente c'è stupore, ma il giorno dopo sono di nuovo lì a strofinare i bastoncini. Perché? Perché non è un'abitudine. Non è un istinto. Non è il modo in cui sono stati addestrati. Quelli che si convertono tendono a essere quelli che già sospettavano che qualcosa non andasse. Avevano passato anni a cercare cibo senza ottenere nulla.
Assistiamo a una ricerca a bassa densità nell'ingegneria, nei test dei software e in altri campi: dovremmo iniziare a insegnare la sperimentazione intelligente fin dalle scuole superiori e sostituire finalmente l'approccio basato su un fattore alla volta?
Sì. Anzi, dovremmo scusarci per non averlo fatto 30 anni fa.
Un fattore alla volta è spazzatura scientifica. È semplice, appagante e totalmente fuorviante. Quando gli studenti arrivano all'università, è già radicato. Non lo mettono nemmeno in discussione. Dobbiamo riconoscere che il mondo è complesso e che il pensiero a variabile singola è una bugia che ci raccontiamo per sentirci a nostro agio. Non si tratta di statistiche: si tratta di curiosità, scoperta strutturata ed esplorazione strutturata. Questa è una mentalità che vale la pena instillare fin da piccoli. (Vedi anche la domanda supplementare correlata qui sotto.)
Tornando al tuo punto sugli spazi di apprendimento "gentili" e "sgradevoli", con la crescente complessità in così tanti ambiti, vedi maggiori opportunità per i test combinatori e per la progettazione di array? Ad esempio, il software sta diventando sempre più onnipresente: si pensi alle auto a guida autonoma..
Assolutamente. Lo spazio di apprendimento non è più gentile: è multidimensionale, sparso e pieno di trappole. Non ci si può affidare all'intuizione o alla manipolazione di variabili singole. È così che si perde l'interazione letale. I test combinatori e gli array di copertura non sono più opzionali, sono strumenti di sopravvivenza. Il test del software lo ha capito. L'ingegneria sta recuperando terreno. La scienza è ancora in fase di negazione. E sì, le auto a guida autonoma sono l'esempio lampante con milioni di possibili combinazioni di input. O si progettano i test o si lascia che sia il mondo reale a farlo per noi, con i pedoni.
L'interruzione/crollo da 5,4 miliardi di dollari del 2024 non è stato un bug; è stato un guasto. Un controllo di input mancante e BOOM, voli cancellati e ospedali offline. Ecco perché i test combinatori non sono un lusso, sono un rischio.‐mitigazione. Crowdstrike sta affrontando una causa da 500 milioni di dollari da parte di Delta Airlines, e altre ne seguiranno.
Una variabile alla volta? E che dire del blocco e dei robot, così come del DOE fattoriale frazionario e del confondimento?
Abbiamo bisogno di una legge che proibisca la sperimentazione su una variabile alla volta.
Il blocco è fondamentale, anche nella robotica, perché le apparecchiature possono guastarsi e le cose possono andare male. Vedi la legge di Murphy inGorilla in giacca e cravatta.
I fattoriali frazionari riducono significativamente le risorse, comportando al contempo un modesto sacrificio in termini di perdita di informazioni.
Sia il blocco che la selezione delle frazioni contribuiscono a proteggere dai fattori di confusione.
In tre diversi settori, ho sperimentato uno sviluppo di prodotti che allinea il team a una serie di limiti e tempistiche prefissate, e il pensiero collettivo alla fine ostacola l'utilizzo efficace degli esperimenti progettati. Il motivo è che la rapida raccolta di dati (senza progettazione, le condizioni erano determinate dallo scienziato) aveva quella profezia che si autoavverava ed è diventata l'approccio principale e unico. Ho ricevuto un ottimo supporto in ambito statistico, sia interno che esterno, ma sono interessato ad ascoltare altre idee su come avere maggiore influenza sul pensiero scientifico, soprattutto nell'ambito dello sviluppo di prodotti.
La ricerca e sviluppo è in crisi; la sperimentazione imperfetta è endemica. Sappi che non sei solo. Mantieni la fede. Unisciti alla New Wave. Cerca la compagnia di chi sa che esiste un modo migliore per superare eventi come questi. E vedi sotto.
Il tuo set di dati per la sperimentazione casuale rispetto alla ricerca scientifica è disponibile online (JMP Live)? Mi piacerebbe molto utilizzarlo come esempio all'interno del mio gruppo (ovviamente con pieno merito!).
Non ancora. Sarà pubblicato come appendice al terzo libro dellaScimmie in camice da laboratoriotrilogia,Scimmie e anorak, la cui data di lancio è il 1° novembre. Per una copia più completa e aggiornata del set di dati completo, contattare Harrold Fellerman, che possiede una grande quantità di nuovi dati presso l'Università di Newcastle.
Credo che uno dei luoghi comuni sull'approccio DOE sia che "costi" di più o che richieda più "condizioni" (cosa che ho sentito ripetere più e più volte). Ho scoperto l'esatto opposto! È il modo più efficiente per ottenere il risultato perché è possibile modellare e prevedere l'effetto dei fattori sulle risposte senza dover calcolare ogni possibile combinazione. È iterativo! Non si inizia con un fattoriale completo, ma si finisce con esso!
In primo luogo, se si vuole ridurre al minimo il numero di condizioni e risorse consumate, massimizzando al contempo la quantità di informazioni su ciò che accade in uno spazio multidimensionale, l'unico modo per farlo è utilizzare un approccio progettato. Questo è ciò che fanno i progetti. Punto. L'unico modo per farlo con meno risorse è sacrificare le informazioni. Fine della storia.
In secondo luogo, se si considera quante risorse vengono consumate sul campo utilizzando la ricerca scientifica tradizionale, si nota che ne vengono consumate di più per generare informazioni di qualità inferiore. Inoltre, le risorse che è necessario rendere disponibili sono più imprevedibili. A volte ci si imbatte in qualcosa che funziona e si riesce a buttarla fuori rapidamente. Altre volte, si finisce per arrancare finché non si esaurisce il tempo a disposizione prima di buttarla fuori. In entrambi i casi, è probabile che le informazioni siano incomplete e che la soluzione fallisca in un batter d'occhio, il che rappresenta uno scenario da incubo per la gestione della Ricerca e Sviluppo. VediGorilla in giacca e cravatta.
Trovi che sia difficile trasmettere questo messaggio di persona a uno scienziato che vuole fidarsi del proprio intuito? Parlarne in astratto sembra più facile che dire che lo scienziato deve cambiare approccio.
Sì. Non tutti lo capiscono. Collaboriamo con gli scienziati che lo capiscono. Si autoselezionano come utenti principali. Chiediamo loro di sospendere la loro incredulità mentre li accompagniamo in quel primo studio. E lavoriamo con loro per generare i casi di studio di successo che convinceranno l'organizzazione del progetto. Niente vende meglio del successo. E il DOE ha un successo straordinario.
Sono in corso lavori per sviluppare una misura oggettiva dell'applicazione del DOE multidimensionale e delle migliori pratiche statistiche in uno studio? In altre parole, un sistema di valutazione che non cerchi di valutare i risultati o le conclusioni dello studio, ma una valutazione dell'oggettività dello studio nell'utilizzo del DOE multidimensionale e delle migliori pratiche statistiche.
Questa è davvero una buona idea. Al momento, è frammentaria.EQUATORELe reti (ad esempio STROBE, STARD, CONSORT) sono state proattive, sebbene tendano a essere orientate alla clinica. In passato, inoltre, ci sono stati sforzi che non sono di pubblico dominio: ad esempio, GSK ha prodotto una serie di DOE Cheat Sheets di una sola pagina per uso interno dei suoi ricercatori.
È evidente la necessità di una maggiore collaborazione con scienziati e persone esperte del Dipartimento dell'Energia. Come possiamo incoraggiarla maggiormente?
Creare un ambiente di apprendimento accogliente, in cui le persone abbiano l'opportunità di apprendere in sicurezza, è fondamentale. Eventi come webinar, workshop e conferenze riuniscono persone con idee simili per aiutarle a sviluppare una comprensione condivisa delle applicazioni del mondo reale. Altri modi includono strumenti software collaborativi condivisi; una facile visualizzazione dei risultati e la mappatura degli spazi multidimensionali di interesse; aiutare gli utenti a guidare il cambiamento di mentalità nella loro organizzazione.
Sono convinto che dovrei usare il DOE. Ma non so da dove iniziare! Qualche consiglio?
Mantieni la semplicità. Trova qualcuno che l'ha già fatto. Chiedigli di tenere il chiodo quando maneggi il martello per la prima volta. Sii prudente. Attieniti a un design relativamente sicuro. E ricorda l'osservazione di Moore: quasi qualsiasi design è meglio di nessun design.
Ci sono così tanti fondatori nel settore biotecnologico e ricercatori principali nel mondo accademico che hanno costruito la loro intera carriera e reputazione sulla ricerca scientifica. Sono ancora al potere. Come possiamo sfondare? Sembra impossibile dal "basso". Cosa ne pensi?
Ogni cambiamento inizia da una persona. E ogni cambiamento avviene dal basso verso l'alto finché quella persona non sale in cima per guidare il cambiamento dall'alto verso il basso. Ricordate la storia di Imo, il giovane macaco giapponese che introdusse il branco a lavare la sabbia dalle patate dolci prima di mangiarle. La nuova tendenza si diffuse tra i ranghi, ma furono i maschi dominanti gli ultimi ad adottare questo comportamento.
Sono curioso di sapere cosa ne pensi su come porre rimedio al problema della carenza di insegnamento scientifico al Dipartimento dell'Istruzione: come inserirlo nei programmi delle scuole superiori? Come prendere di mira i corsi di dottorato? O come prendere di mira i presidi? O come dimenticarsene e lasciare che l'industria colmi il vuoto?
Ora dobbiamo fare tutto questo. Abbiamo bisogno della prossima generazione ORA . Fino ad allora: Scuole superiori? Sì. Componente didattica dei corsi di dottorato? Sì. Presidi? Troppo tardi per la maggior parte, ma uno o due presidi per la ricerca e l'innovazione potrebbero fare al caso nostro. Industria? Sì.
Dobbiamo introdurre il DOE nelle fasi iniziali del ciclo di vita dello sviluppo, fin dai bambini a scuola. I bambini lo capiscono. Nessuno ha ancora detto loro che dovrebbero concentrarsi su una variabile alla volta. Apprezzano gli strumenti didattici del DOE, come elicotteri e catapulte. Mostrate loro argomenti come il Paradosso della Profezia che si Autoavvera e rideranno quando direte loro che la maggior parte degli scienziati usa approcci basati su una variabile alla volta. Dobbiamo insegnare ai bambini che il mondo è complesso e che il pensiero basato su una sola variabile è una bugia che gli adulti si raccontano per sentirsi a proprio agio ed evitare di sentirsi sopraffatti. Si tratta di costruire una mentalità scientifica: sfruttare la curiosità naturale, offrire opportunità di esplorazione strutturata e incoraggiare le scoperte scientifiche.
Sono pienamente d'accordo sul fatto che il Dipartimento dell'Energia stia iniziando a diffondersi nelle bioscienze industriali, ma sia molto più raro nel mondo accademico. Ciò potrebbe essere dovuto in parte all'elevato costo che permane per robot, automazione e materiali di consumo. Come possono accademici e studenti con budget limitati avvicinarsi al Dipartimento dell'Energia in modo più efficace?
Non hai bisogno di robot. Se hai accesso, ottimo, ma non hai bisogno di robot. Se vuoi ridurre al minimo i materiali di consumo, allora il DOE massimizza le informazioni minimizzando i costi. I raccoglitori scientifici sottovalutano i costi associati all'inciampare nell'oscurità multidimensionale.
Puoi spiegarci come la sperimentazione sequenziale possa essere utile, ma anche un po' pericolosa, basandoti sul tuo esempio di scienziati che vogliono trarre conclusioni affrettate?
La sperimentazione sequenziale può essere preziosa quando il costo di ogni esperimento è totalmente esorbitante. Ma la sperimentazione parallela è l'ideale, ed è per questo che i robot possono essere così utili. Ma in ambito scientifico, più lunga è la sequenza, più è vulnerabile a confondimenti dovuti a cambiamenti nel tempo, maggiori sono le opportunità di deriva analitica e altre tendenze, e maggiore è la probabilità che la Legge di Murphy si verifichi. (Vedi il capitolo sulla Legge di Murphy inGorilla in giacca e cravatta.) Mantenere le sequenze brevi, sfruttare i blocchi, controllare gli effetti di esecuzione.
Dennis ha fatto riferimento al libro di Ronald Fisher sul DOE?
Non più in stampa, ma di interesse storico:
- Fisher RA 1935 La progettazione degli esperimenti Editore: Oliver & Boyd, Edimburgo.
Ma per un trattamento più moderno e pertinente del DOE:
Ti aspetti che il risultato di JMP DOE sia diverso da quello di qualsiasi altra app? In tal caso, perché?
Invece di permettere al software di rappresentare un ostacolo, abbiamo utilizzato il software scelto dal cliente per la formazione DOE. Di conseguenza, abbiamo imparato a conoscere la maggior parte dei pacchetti DOE disponibili (Modde, DesignExpert, SPSS, BMDP e vari pacchetti DOE basati su R). Sebbene JMP DOE fornisca risultati computazionali simili ad altri pacchetti, eccelle in termini di esperienza utente: facilità d'uso, visualizzazione dei dati e interpretazione.
Ringraziamo Dennis non solo per aver risposto alle domande a cui non abbiamo avuto tempo di rispondere in diretta streaming, ma anche per aver approfondito quelle a cui ha risposto. Ci auguriamo che diate un'occhiata all'illuminante e divertente streaming on demand "Statistically Speaking" . Non vediamo l'ora di leggere il terzo libro della trilogia "Apes in Lab Coats", in uscita a novembre.
