Tensorized Neural Networks: Quantum-Inspired Enhancements for Machine Learning

La meccanica quantistica, che studia il comportamento delle particelle subatomiche, offre un modo per migliorare l'uso del machine learning nella risoluzione di problemi complessi legati all'ottimizzazione, allo sviluppo di prodotti e alla decisione in tempo reale. Questa innovazione, chiamata rete neurale tensorizzata, sta aiutando le aziende a realizzare risparmi nel training per una vasta gamma di applicazioni, tra cui simulazioni di veicoli a guida autonoma, elaborazione del linguaggio naturale e persino intelligenza artificiale generativa come ChatGPT. Le reti neurali tensorizzate affrontano uno dei problemi che le aziende incontrano investendo nel machine learning: la scala delle risorse necessarie per modellare e addestrare sistemi che rappresentano entità complesse e multidimensionali come la dinamica dei fluidi o i sistemi finanziari. Maggiore è la complessità rappresentata nella modellazione, maggiore è la richiesta di risorse in termini di energia, dimensione della memoria e tempo di elaborazione per il training con le reti neurali tradizionali sui computer classici. Uno dei punti di forza di una rete neurale è la sua robustezza. Quando le reti neurali sono addestrate su dataset leggermente diversi, la robustezza significa che hanno prestazioni simili. Questa robustezza aumenta il numero di variabili da controllare, portando a un compromesso tra la affidabilità del modello e il costo aggiuntivo in termini di tempo e memoria computazionale richiesti per l'addestramento. Fortunatamente, le reti tensorizzate possono essere aggiunte all'architettura della rete neurale utilizzata nel deep learning sui computer classici. Le reti tensorizzate sono uno strumento matematico che può migliorare l'efficienza del deep learning, riducendo il tempo e la memoria necessari per l'addestramento, riducendo i costi computazionali ed energetici mantenendo allo stesso tempo l'accuratezza e la robustezza. Sono considerate di ispirazione quantistica perché il metodo utilizzato dalle reti tensorizzate deriva dalle compressioni utilizzate nella meccanica quantistica per simulare i sistemi fisici quantistici. Quando le reti tensorizzate vengono aggiunte all'architettura della rete neurale, lavorano compressando la rete neurale. Ciò consente agli utenti di identificare e scartare stati irrilevanti, limitando la simulazione a rappresentare solo ciò che conta per descrivere il sistema che si sta modellando. Questo significa utilizzare meno variabili per descrivere sistemi complessi. Inoltre, non solo scarta i nodi irrilevanti, ma fornisce un modo ottimale per ridurre la ridondanza senza eliminare la robustezza. L'applicazione delle reti neurali tensorizzate ha ancora più senso se si considera che superano la capacità di elaborazione dei supercomputer attuali. E quando sono incluse nelle reti dense comunemente utilizzate, le reti tensorizzate sono state in grado di risolvere i problemi con la stessa precisione, ma in un periodo di tempo di addestramento più breve.