Appunti della Lezione su Reinforcement Learning Profondo

Introduzione al Reinforcement Learning Profondo

• Reinforcement Learning Profondo (DRL): Combinazione di algoritmi di apprendimento per rinforzo con reti neurali profonde come approssimatori di funzione.
• Approssimazione di Funzione: Critica per scalare l'apprendimento per rinforzo a problemi grandi e complessi.
  • I metodi tabulari non si scalano bene a causa della memoria e dell'apprendimento lento.
  • L'approssimazione di funzione generalizza l'apprendimento tra stati simili.

Basi dell'Approssimazione di Funzione

• Generalizzazione: L'apprendimento da uno stato può informare le previsioni su stati vicini.
• Reti Neurali Profonde: Scelte per l'approssimazione di funzione a causa di:
  • Capacità di scoprire rappresentazioni efficaci delle caratteristiche.
  • L'addestramento end-to-end consente l'ottimizzazione dell'intero modello.

Differenziazione Automatica nel Deep Learning

• Differenziazione Automatica (AutoDiff): Fondamentale per l'addestramento di reti profonde.
• Grafici Computazionali: Utilizzati per rappresentare calcoli e facilitare il calcolo dei gradienti.
  • I gradienti vengono calcolati efficientemente usando i principi della regola della catena.
• JAX: Un framework popolare per implementare AutoDiff nella pratica.

Implementazione Pratica del DRL

• Perceptron Multistrato (MLP): Un modello che inserisce le caratteristiche dello stato, le elabora e produce stime di valore.
• Q-learning con Reti Neurali:
  • La rete neurale produce un vettore di valori Q per ogni azione.
  • L'implementazione prevede la costruzione di un obiettivo basato su ricompense immediate e valori futuri massimi stimati.

Sfide nel Deep Reinforcement Learning

• Dinamiche di Apprendimento: Problemi quando si combina RL con deep learning a causa delle correlazioni nei dati.
  • Discesa del Gradiente Stocastico (SGD): Assume campioni indipendenti, non vero nei contesti RL.
• Esperienza Replay: Aiuta a ridurre le correlazioni e supporta aggiornamenti in mini-lotti.
• Triade Mortale: La combinazione di bootstrapping, apprendimento off-policy e approssimazione di funzione può portare a divergenze nell'apprendimento.

Strategie per la Stabilità nel DRL

• Reti di Destinazione: Congela i parametri per gli obiettivi di bootstrapping per interrompere i cicli di retroazione.
• Double Q-Learning: Utilizza reti separate per selezione azioni e valutazione per ridurre il bias di sovrastima.
• Apprendimento Multi-step: Aggrega ricompense su più passaggi prima di fare bootstrapping per stabilizzare gli aggiornamenti.

Importanza dell'Architettura di Rete nel DRL

• Reti Dueling: Architettura che separa il valore di stato e il vantaggio di azione per migliorare l'apprendimento.
• Capacità e Prestazioni: Reti più grandi performano meglio in generale ma possono introdurre instabilità all'inizio.
• Propagazione delle Perdite: Problemi con l'approssimazione di discontinuità nette nelle previsioni di valore possono influire sulla stabilità dell'apprendimento.

Direzioni Future nel DRL

• Rappresentazioni Condivise: Esplorare rappresentazioni di apprendimento per più compiti per ridurre generalizzazioni inappropriate.
• Opportunità di Ricerca: Comprendere come le diverse scelte architettoniche e le metodologie di addestramento influenzano le prestazioni e la stabilità del DRL.

Conclusione

• Il Deep Reinforcement Learning intreccia concetti di approssimazione di funzione e deep learning.
• Comprendere le dinamiche tra questi componenti è la chiave per sviluppare sistemi di apprendimento robusti nell'IA.