Tematiche di ricerca

Le mie attività di ricerca riguardano il trattamento dell'incertezza nei problemi di apprendimento automatico, approfondendo in particolare i legami tra gli aspetti informatici e statistici.

L'applicazione di metodi di appredimento supervisionato in bioinformatica richiede di selezionare tra i dati non etichettati positivamente quelli che rappresentano esempi negativi affidabili e non semplicemente entità su cui non sono stati fatti esperimenti. In [Frasca e Malchiodi, 2017; Frasca e Malchiodi, 2016] tale problema di selezione dei negativi è stato affrontato utilizzando un ranking basato su funzioni di appartenenza fuzzy, mentre in [Frasca et al., 2017] è stata proposta una codifica dei dati a disposizione che faciliti il processo di selezione dei negativi nel problema della predizione di funzionalità proteiche. Infine, in [Frasca et al., 2017] una procedura simile è stata applicata al problema della prioritizzazione dei geni.
I modelli di apprendimento automatico hanno come punto di partenza un campione etichettato i cui dati sono trattati in modo omogeneo (cioè hanno la medesima importanza). In [Malchiodi, 2008] è stato introdotto il modello più generale di apprendimento basato su rilevanza, in cui è possibile associare a ognuno dei dati disponibili una quantificazione numerica della sua importanza relativa rispetto ai dati rimanenti. Tale modello è stato applicato al problema della classificazione tramite Support Vector Machine, derivando gli algoritmi di classificazione sia nella versione lineare [Apolloni e Malchiodi, 2006] che in quella basata su kernel [Apolloni et al., 2007]. Una prima analisi teorica di queste applicazioni è stata proposta in [Apolloni et al., 2007], affiancata da un'analisi sperimentale in [Malchiodi, 2009], mentre la sua applicazione a problemi di natura bioinformatica è descritta in [Malchiodi et al., 2010]. Un approccio simile è stato inoltre applicato al problema della regressione in [Apolloni et al., 2010; Malchiodi et al., 2009; Apolloni et al., 2005] e all'apprendimento da esempi sbilanciati in [Malchiodi, 2013b].
Sono stati progettati, implementati e analizzati differenti tipi di algoritmi di apprendimento. In particolare, [Malchiodi e Legnani, 2014] propone un'estensione di algoritmi di classificazione basati su vettori di supporto che permette di lavorare sia con dati parzialmente etichettati, sia con etichette incerte, mentre [Malchiodi e Pedrycz, 2013] introduce un algoritmo di apprendimento per le funzioni di appartenenza di insiemi fuzzy.
In [Bellettini et al., 2014; Bellettini et al., 2014] viene proposto l'approccio algomotorio per un insegnamento dell'informatica incentrato sulla tematica di base dell'elaborazione automatica dell'informazione, al fine di contrastare un insegnamento legato quasi esclusivamente alla conoscenza del funzionamento di specifici strumenti tecnologici [Lonati et al., 2015]. Tale approccio è stato applicato all'introduzione di concetti di base quali la rappresentazione dell'informazione [Bellettini et al., 2012; Bellettini et al., 2013; Baraté et al., 2017], i rudimenti della programmazione [Bellettini et al., 2014; Baratè et al., 2017], le strategie ricorsive [Lonati et al., 2016; Lonati et al., 2017] e greedy [Lonati et al., 2017]. L'approccio proposto è anche stato valutato in un'ottica di formazione degli insegnanti [Bellettini et al., 2015; Paterson et al., 2015]. Particolare attenzione è stata rivolta anche ai concorsi non competitivi [Lissoni et al., 2012; Lissoni et al., 2013; Lissoni et al., 2014; Lissoni et al., 2015] e al loro uso come risorsa per l'apprendimento [Bellettini et al., 2015; Lonati et al., 2017].
Il modello di granular computing, che caratterizza l'informazione in senso granulare permettendo la sua analisi e la sua elaborazione a differenti livelli di astrazione, è descritto in [Apolloni et al., 2008] analizzandone i legami con il modello di apprendimento automatico. Sono stati analizzati alcuni possibili impatti della fusione di questi due modelli sul campo della regressione, proponendo algoritmi basati su Support Vector Machine [Apolloni et al., 2008; Apolloni et al., 2006] e su tecniche di ricerca locale [Apolloni et al., 2005].
Le tecniche bootstrap applicano modelli di ricampionamento dei dati al fine di derivare la distribuzione di una popolazione. Una variante di queste tecniche, proposta inizialmente in [Apolloni et al., 2006] e successivamente approfondita in [Apolloni et al., 2009; Apolloni et al., 2007], permette di ricavare regioni di confidenza per curve di regressione abbandonando le usuali assunzioni sulla distribuzione degli errori di misurazione. L'applicazione di tale tecnica a problemi di regressione lineare e non lineare è descritta in [Apolloni et al., 2008], mentre in [Apolloni et al., 2007] sono contenute applicazioni a problemi medici.
In [Apolloni et al., 2006; Apolloni et al., 2005; Apolloni et al., 2002; Apolloni et al., 2002; Apolloni e Malchiodi, 2001; Malchiodi, 2000] si è affrontato il problema di unificare sotto uno stesso modello teorico detto di Inferenza Algoritmica istanze inferenziali tipiche sia dell'ambito statistico (stima puntuale e per intervalli di parametri di distribuzioni) che di quello informatico (stima dell'errore di approssimazione in problemi di apprendimento computazionale), sviluppando dei precedenti risultati teorici riguardanti la complessità campionaria per problemi di apprendimento [Apolloni e Malchiodi, 2001]. Tale modello è stato utilizzato per stimare il rischio per problemi di classificazione risolti utilizzando delle Support Vector Machine [Apolloni et al., 2007; Apolloni et al., 2005; Apolloni e Malchiodi, 2002; Apolloni e Malchiodi, 2001], all'apprendimento di regioni di confidenza per rette di regressione in assenza delle usuali ipotesi di distribuzione Gaussiana dell'errore [Apolloni et al., 2005; Apolloni et al., 2002], e per apprendere regioni di confidenza per la funzione di rischio delle distribuzioni per il tempo di ri-occorrenza in particolari patologie tumorali [Apolloni et al., 2007; Apolloni et al., 2005; Apolloni et al., 2002].
I sistemi per il calcolo automatico permettono di effettuare simulazioni e di analizzare problemi matematici in modalità interattiva e incrementale, e in tal senso offrono interessanti spunti per la progettazione di attività didattiche [Bulgheroni e Malchiodi, 2009; Malchiodi, 2008a]. Una versione commerciale di questi sistemi è stata ampiamente descritta in [Malchiodi, 2007], e ampliata al fine di risolvere problemi di matrice prettamente informatica relativi alla codifica dell'informazione [Malchiodi, 2006c], all'invocazione remota di procedure [Malchiodi, 2006b; Malchiodi, 2006], alla produzione di documentazione scientifica [Malchiodi, 2011], alla risoluzione di problemi di ottimizzazione [Malchiodi, 2006a] e di apprendimento basato su vettori di supporto [Malchiodi et al., 2009; Malchiodi et al., 2009], nonché di effettuare validazione di software [Malchiodi, 2013a]. Tale codice è alla base delle simulazioni descritte in [Apolloni et al., 2007; Apolloni e Malchiodi, 2006]. Infine, in [Malchiodi, 2010a] viene descritta una libreria per la gestione di problemi di machine learning basata su un sistema open source di calcolo automatico.
I sistemi ibridi di apprendimento sono tipicamente realizzati accoppiando moduli subsimbolici (basati tipicamente su paradigmi derivati da quello delle reti neurali) con moduli simbolici (realizzati in termini di costrutti logici). In [Apolloni et al., 2005; Apolloni et al., 2004] viene descritto un siffatto sistema che, avendo in ingresso una serie di feature che descrivono i dati disponibili, estrae da esse un insieme di componenti Booleane indipendenti (bICA). Su tali componenti, interpretate come valori di verità, vengono costruite delle formule logiche che descrivono simbolicamente relazioni intercorrenti tra i dati forniti in input [Apolloni et al., 2006; Apolloni et al., 2003; Apolloni et al., 2002; Apolloni et al., 2000]. In [Apolloni et al., 2004] viene descritta l'applicazione di un siffatto sistema al problema del riconoscimento delle emozioni di un insieme di persone sulla base del segnale vocale, mentre in [Apolloni et al., 2004; Apolloni et al., 2004; Apolloni et al., 2003; Apolloni et al., 2003; Apolloni et al., 2003] viene affrontata l'applicazione di questo tipo di sistemi al controllo dello stato di attenzione durante l'utilizzo di un'autovettura in funzione di biosegnali, nell'ambito del programma di ricerca IST-2000-26091 ORESTEIA (mOdular hybRid artEfactS wiTh adaptivE functIonAlity, finanziato dalla UE nel quinto programma quadro all'interno delle tematiche IST-FET tra il 2001 e il 2003). Infine, in [Apolloni e Malchiodi, 2006; Apolloni et al., 2005] vengono descritti due sistemi ibridi ottenuti integrando un sistema fuzzy per la misurazione della rilevanza dei punti in un campione rispettivamente con un classificatore lineare basato su Support Vector Machine e con un modello di regressione lineare.
Nell'ambito della teoria dell'apprendimento computazionale, il principio di minimizzazione del rischio strutturale studia il problema di bilanciare la semplicità di un modello con la sua accuratezza nel predire i dati sperimentali. Questa parte dell'attività di ricerca è incentrata sull'applicazione del suddetto principio a classificatori basati sull'utilizzo di espressioni logiche costruite in termini di forme normali disgiuntive e congiuntive. In [Apolloni et al., 2006; Apolloni et al., 2005; Apolloni et al., 2003; Apolloni et al., 2002; Apolloni et al., 2002] si è sviluppato un algoritmo di semplificazione per tali forme, incentrandosi sull'ottimizzazione stocastica di parametri relativi a insiemi fuzzy che descrivono le suddette forme.
Relativamente a questa questa tematica, l'attività di ricerca è focalizzata sul problema di modellare matematicamente delle situazioni di conflitto utilizzando un approccio alternativo a quello della teoria dei giochi classica. In particolare, in [Apolloni et al., 2006; Apolloni et al., 2003; Apolloni et al., 2002; Apolloni et al., 2002] tali conflitti sono stati modellati in termini dell'approssimazione della soluzione di un problema NP-hard, applicando il modello di Inferenza Algoritmica per determinare come assegnare delle risorse computazionali limitate ai giocatori, prevedendo giochi tra due contendenti, mentre in [Apolloni et al., 2006] il modello è stato esteso ai giochi di squadra. In [Apolloni et al., 2007; Apolloni et al., 2005] questo modello trova applicazione in un campo biologico, mentre in [Apolloni et al., 2010] viene descritto il suo utilizzo al fine di dimensionare il tempo di esecuzione degli algoritmi di apprendimento basati sulla minimizzazione locale dell'errore.
Il progetto di ricerca ORESTEIA (mOdular hybRid artEfactS wiTh adaptivE functIonAlity, finanziato dalla UE nel quinto programma quadro all'interno delle tematiche IST-FET tra il 2001 e il 2003) è stato incentrato sulla progettazione, realizzazione e analisi di sistemi intelligenti nell'ambito del pervasive e dell'ubiquitous computing. Tali campi sono caratterizzati dalla specializzazione dei calcolatori a risolvere compiti specifici. In questo modo è possibile produrre questi calcolatori riducendone significativamente le dimensioni e il costo, potendoli così immergere all'interno di un ambiente. In particolare, focalizzandosi sul problema del rilevamento degli stati di attenzione [Kasderidis et al., 2003], è stato sviluppato un prototipo per il riconoscimento dello stato di attenzione di un guidatore di autovettura sulla base di segnali biologici [Apolloni et al., 2004; Apolloni et al., 2004; Apolloni et al., 2003; Apolloni et al., 2003; Apolloni et al., 2003].
Durante lo svolgimento del progetto di ricerca PHYSTA (Principled Hybrid Systems: Theory and Applications, finanziato dalle UE nel quarto programma quadro all'interno della tematica TMR tra il 1998 e il 2000), il modello di inferenza algoritmica descritto in [Apolloni et al., 2006; Malchiodi, 2000] è stato applicato al problema di classificazione automatica delle emozioni sulla base di segnali audio-visuali [Apolloni et al., 2004; Apolloni et al., 2002]. I risultati scientifici ottenuti sono stati presentati durante una scuola internazionale di apprendimento computazionale all'interno del medesimo progetto.
La disponibilità di circuiti hardware in grado di elaborare direttamente dei dati al fine di sintetizzarli tramite stimatori permette di ridurre notevolmente i tempi di calcolo. Il loro uso impone però una serie di vincoli legati essenzialmente all'architettura dei circuiti stessi. All'interno di questo ambito si è applicato il modello di inference among gossips, sviluppato in [Malchiodi, 1996], al fine di ottenere una famiglia di stimatori per popolazioni Bernoulliane implementabile direttamente su schede pRAM [Apolloni et al., 1997]. Lo stesso modello è stato applicato in [Apolloni et al., 2013] allo studio dello scambio di informazioni nelle reti sociali.