Long-RL: Potenziare il Reinforcement Learning con PyTorch per Sequenze Lunghe

Long-RL è un framework full-stack progettato per scalare il Reinforcement Learning a sequenze lunghe, con un'attenzione particolare ai video. Il progetto affronta le sfide uniche del ragionamento su video di lunga durata integrando tre componenti principali:

1. Dataset LongVideo-Reason: Un dataset su larga scala contenente 52K coppie di domande e risposte su video lunghi, con annotazioni di ragionamento di alta qualità in diversi domini (sport, giochi, vlog).
2. Pipeline di Training a Due Stadi: Una pipeline che estende i modelli VLM (Vision-Language Models) con supervised fine-tuning chain-of-thought (CoT-SFT) e reinforcement learning (RL).
3. Infrastruttura di Training Multi-modale: MR-SP (Multi-modal Reinforcement Sequence Parallelism), che incorpora sequence parallelism e un motore basato su vLLM ottimizzato per video lunghi, utilizzando embedding video in cache per rollout e prefilling efficienti.

Ad esempio, Long-RL permette di identificare le azioni chiave in una partita di basket, come un passaggio decisivo o un tiro da tre punti, analizzando l'intera sequenza video e apprendendo quali azioni portano al successo. L'architettura MR-SP permette un aumento di velocità fino a 2.1x durante il training RL su video lunghi.

Come pensi che questo approccio possa essere applicato ad altri domini oltre ai video?

Per iniziare a utilizzare Long-RL, segui questi passaggi:

1. Requisiti di sistema:
   • Hardware: Almeno 8 GPU con una memoria di almeno 16GB ciascuna.
   • Software: Python 3.8+, PyTorch 1.10+, CUDA 11.3+.
2. Clona il repository:

   git clone https://github.com/NVlabs/Long-RL.gitCopia

3. Accedi alla directory:

   cd Long-RLCopia

4. Installa le dipendenze:

   pip install -e .Copia

5. (Opzionale) Per i modelli Qwen-Omni: Esegui lo script di sostituzione vLLM:

   bash vllm_replace.shCopia

Quali problemi potresti incontrare durante l'installazione e come li risolveresti?

Long-RL supporta il training sia su singolo nodo (con 8 GPU) che su multi-nodo.

Training su Singolo Nodo

Per il training su singolo nodo, puoi fare riferimento agli script nella directory examples. Ad esempio:

bash examples/new_supports/qwen2_5_vl_3b_video_grpo.sh $VIDEO_PATHCopia

Training su Multi-Nodo

Per lavori che richiedono più nodi, puoi seguire approcci simili a quelli descritti nel repository EasyR1 (link). Long-RL fornisce script aggiuntivi per sbatch, dove TRAIN_SCRIPT è lo script di training su singolo nodo e NNODES è il numero di nodi richiesti. sbatch è un comando utilizzato nei sistemi di gestione delle risorse di calcolo (come Slurm) per sottomettere un job allo scheduler. In questo caso, viene utilizzato per avviare il training su più nodi.

bash scripts/srun_multi_nodes.sh $TRAIN_SCRIPT $NNODESCopia

Esempio:

bash scripts/srun_multi_nodes.sh examples/new_supports/qwen2_5_vl_3b_video_grpo.sh 2Copia

Unione di Checkpoint in Formato Hugging Face

Per unire i checkpoint nel formato Hugging Face, segui la procedura descritta nel repository EasyR1:

Come influisce il numero di nodi sulle prestazioni del training e sulla convergenza del modello?

Le istruzioni per la valutazione dei modelli sul benchmark LongVideo-Reason sono disponibili nella directory eval del repository (link).

Benchmark

Il benchmark principale utilizzato per valutare Long-RL è LongVideo-Reason, che include 52K coppie di domande e risposte su video lunghi.

Metriche di Valutazione

Le metriche utilizzate per valutare le prestazioni del modello includono l'accuratezza della risposta e la coerenza del ragionamento.

Quali sono i limiti delle metriche di valutazione utilizzate e come potrebbero essere migliorate?

Long-RL include diversi esempi che dimostrano le sue capacità in diversi scenari:

• Football Video
• Texas Hold’em Video
• Starcraft II Video
• Moving Cup Video

In quali altri contesti potresti immaginare l'utilizzo di Long-RL?

NVlabs invita la community a contribuire a Long-RL. Ecco come puoi partecipare:

1. Assicurati di avere Git installato.
2. Crea un fork del progetto.
3. Clona il repository sul tuo computer locale usando

   git cloneCopia

   .
4. Leggi le sezioni 'Installazione' e 'Training'.
5. Effettua commit e push delle tue modifiche.
6. Invia una pull request quando hai finito di modificare il progetto.

Quali sono le aree del progetto che ti interessano maggiormente e a cui vorresti contribuire?

Long-RL rappresenta un passo avanti significativo nel campo del reinforcement learning, consentendo di affrontare problemi complessi con sequenze di azioni di lunga durata. Grazie all'architettura MR-SP e al dataset LongVideo-Reason, Long-RL offre gli strumenti necessari per sviluppare agenti intelligenti capaci di ragionare su video di lunga durata e di prendere decisioni efficaci in ambienti complessi. Scalare il reinforcement learning a sequenze lunghe apre nuove frontiere nell'IA, con applicazioni potenziali in svariati settori, dalla robotica all'analisi dei dati finanziari.