Livelli di preparazione tecnologica per i sistemi di machine learning

Nature Communications volume 13, numero articolo: 6039 (2022) Citare questo articolo

23k accessi

5 citazioni

113 Altmetrico

Dettagli sulle metriche

Lo sviluppo e l'implementazione di sistemi di machine learning possono essere eseguiti facilmente con strumenti moderni, ma il processo è in genere affrettato e privo di obiettivi. La mancanza di diligenza può portare a debito tecnico, spostamento dell’ambito e obiettivi disallineati, uso improprio e fallimenti del modello e conseguenze costose. I sistemi di ingegneria, d'altro canto, seguono processi ben definiti e standard di test per semplificare lo sviluppo e ottenere risultati affidabili e di alta qualità. L’estremo sono i sistemi di veicoli spaziali, con misure mission critical e robustezza durante tutto il processo. Basandoci sull'esperienza sia nell'ingegneria dei veicoli spaziali che nell'apprendimento automatico (ricerca attraverso il prodotto in diverse aree di dominio), abbiamo sviluppato un approccio collaudato di ingegneria dei sistemi per l'apprendimento automatico e l'intelligenza artificiale: il quadro dei livelli di preparazione alla tecnologia di apprendimento automatico definisce un processo basato su principi per garantire robustezza, sistemi affidabili e responsabili pur essendo ottimizzati per i flussi di lavoro di machine learning, comprese le distinzioni chiave rispetto all’ingegneria del software tradizionale, e una lingua franca per le persone di team e organizzazioni per lavorare in modo collaborativo sulle tecnologie di machine learning e intelligenza artificiale. Qui descriviamo la struttura e spieghiamo con casi d'uso dalla ricerca fisica alle app di visione artificiale alla diagnostica medica.

L’uso sempre più rapido delle tecnologie di intelligenza artificiale (AI) e machine learning (ML) nei sistemi di software, hardware, dati e persone introduce vulnerabilità e rischi dovuti a comportamenti dinamici e inaffidabili; fondamentalmente, i sistemi ML apprendono dai dati, introducendo sfide note e sconosciute nel modo in cui questi sistemi si comportano e interagiscono con il loro ambiente. Attualmente, l’approccio alla creazione di tecnologie di intelligenza artificiale è isolato: modelli e algoritmi vengono sviluppati in banchi di prova isolati da ambienti del mondo reale e, senza il contesto di sistemi più grandi o prodotti più ampi, verranno integrati per la distribuzione. La preoccupazione principale è che i modelli vengono generalmente addestrati e testati solo su una manciata di set di dati selezionati, senza misure e garanzie per scenari futuri e ignari delle attività e degli utenti a valle. Ancor di più, modelli e algoritmi sono spesso integrati in uno stack software senza riguardo per la stocasticità intrinseca e le modalità di fallimento dei componenti ML nascosti. Consideriamo, ad esempio, l’enorme effetto che i semi casuali hanno sulle prestazioni del modello di apprendimento per rinforzo profondo1.

Altri settori dell'ingegneria, come quello civile e aerospaziale, seguono processi ben definiti e standard di test per semplificare lo sviluppo e ottenere risultati affidabili e di alta qualità. Technology Readiness Level (TRL) è un protocollo di ingegneria dei sistemi per attività scientifiche e deep tech2 su larga scala, ideale per integrare molti componenti interdipendenti e team di persone interfunzionali. Non sorprende che TRL sia un processo e un linguaggio standard in NASA3 e DARPA4.

Per un progetto di volo spaziale, ci sono diverse fasi definite, dal pre-concept alla prototipazione, alle operazioni dispiegate fino alla fine del ciclo di vita, ciascuna con una serie di cicli di sviluppo e revisioni rigorosi. Ciò è in netto contrasto con i comuni flussi di lavoro software e di machine learning, che promuovono iterazioni rapide, implementazione rapida e progressioni lineari semplici. Eppure il processo di preparazione tecnologica della NASA per i sistemi di veicoli spaziali è eccessivo; abbiamo bisogno di solide tecnologie ML integrate con sistemi più ampi di software, hardware, dati e esseri umani, ma non necessariamente per le missioni su Marte. Il nostro obiettivo è portare l'ingegneria dei sistemi all'intelligenza artificiale e al machine learning definendo e mettendo in atto un quadro snello di livelli di preparazione alla tecnologia di apprendimento automatico (MLTRL). Ci avvaliamo di decenni di sviluppo di IA e ML, dalla ricerca alla produzione, attraverso domini e scenari di dati diversi: ad esempio, visione artificiale nella diagnostica medica e nelle app di consumo, automazione nei veicoli a guida autonoma e robotica di fabbrica, strumenti per la scoperta scientifica e la ricerca causale inferenza, streaming di serie temporali nella manutenzione predittiva e nella finanza.