Da Testo a Voce con l'AI: Dia-1.6B

Dia 1.6B: Il modello Text-to-Speech open source che sfida i giganti a pagamento Può un modello creato da due studenti senza budget riuscire...

Dia 1.6B: Il modello Text-to-Speech open source che sfida i giganti a pagamento

Può un modello creato da due studenti senza budget riuscire a superare colossi come ElevenLabs e Sesame CSM? 

Sì, se il modello in questione è Dia 1.6B. Simone Rizzo ce lo racconta in un video che lascia a bocca aperta: un modello open source, leggero e gratuito che non solo compete con le soluzioni a pagamento, ma in alcuni casi le surclassa per espressività emotiva, flusso dialogico e realismo non verbale. 

Scopriamo come Dia 1.6B sta rivoluzionando il mondo del text-to-speech, dimostrando che l’innovazione può arrivare anche dai progetti più inaspettati.

Cosa possiamo imparare dal video?

Simone Rizzo presenta Dia 1.6B, un modello text-to-speech open source che sta facendo parlare di sé. Creato da due studenti senza grandi risorse economiche, questo modello ha suscitato sorpresa per le sue capacità espressive ed emotive, tanto da essere paragonato a soluzioni a pagamento come ElevenLabs e Sesame CSM. Ecco cosa emerge dal confronto.

Quali servizi sono stati messi a confronto?

Nel video, il confronto tra i modelli text-to-speech vede protagonisti Dia 1.6B, ElevenLabs e Sesame CSM. Dia, pur essendo open source, viene messo testa a testa con questi due giganti del settore che, a differenza di Dia, sono servizi a pagamento. Il confronto avviene su vari prompt per valutare non solo la qualità vocale, ma anche la capacità di esprimere emozioni e gestire dialoghi realistici.

Cosa emerge dai confronti?

Simone Rizzo analizza i risultati dei confronti e le sorprese non mancano. Nonostante il suo sviluppo senza budget significativo, Dia 1.6B riesce a superare ElevenLabs e Sesame CSM in diverse aree. La forza di Dia risiede nella gestione dei toni emotivi, nel realismo non verbale e nel flusso dialogico.

Durante un test emotivo su un prompt come "Oh my god, fire!", la voce generata da Dia risulta vivida e credibile, mentre le versioni di ElevenLabs e Sesame appaiono piatte e poco espressive. Anche una semplice risata generata da Dia sembra naturale, mentre i competitor producono suoni innaturali e robotici.

Nel caso dei dialoghi, Dia si distingue per un flusso più naturale e coeso. ElevenLabs, invece, presenta un distacco evidente tra le voci, che rende il dialogo poco fluido.

Infine, Dia eccelle nel gestire elementi non verbali come tosse, sniff e schiarimenti di gola. Questa componente aumenta il realismo, creando un effetto quasi cinematografico che manca ai concorrenti.

Cosa rende Dia 1.6B così speciale?

La vera domanda che emerge è: come hanno fatto due studenti a creare un modello così avanzato senza risorse significative? Simone Rizzo si pone questa domanda, evidenziando che i grandi competitor come ElevenLabs investono milioni per addestrare i loro modelli. Eppure, Dia 1.6B sembra essere stato addestrato con un dataset misterioso di cui nessuno conosce i dettagli.

Il modello, che ha guadagnato rapidamente popolarità su GitHub e Hugging Face, è accessibile gratuitamente e può essere eseguito anche localmente. Questo lo rende particolarmente interessante per chi vuole testare le sue capacità senza costi iniziali.

Come posso provare Dia 1.6B?

Per chi vuole mettere alla prova Dia 1.6B, ci sono due opzioni.

La prima è accedere a Hugging Face Spaces, dove è possibile utilizzare il modello gratuitamente tramite un’interfaccia semplice. È il modo più rapido per testare le capacità del modello senza installare nulla.

La seconda opzione è installare il modello localmente. Questo richiede una GPU compatibile con PyTorch 2.0+ e CUDA 12.6 e almeno 10 GB di VRAM. L’installazione avviene tramite GitHub, dove il progetto è disponibile sotto licenza Apache 2.0, quindi utilizzabile anche per scopi commerciali.

Cosa manca ancora a Dia 1.6B?

Sicuramente la lingua italiana, l'ho provato e genera un audio come se degli spagnoli provassero a parlare in italiano.

Detto ciò in sintesi, Dia 1.6B rappresenta un vero caso di studio nel mondo dei modelli open source, perché sembra dimostrare che anche senza budget elevati è possibile creare un modello text-to-speech che rivaleggia con soluzioni a pagamento. Resta solo da scoprire dove abbiano trovato i dati per addestrare un modello così potente. E questa è una domanda che potrebbe avere risvolti interessanti.

Dove provare Dia 1.6B?

Qui (gratuito):
 🔗 https://huggingface.co/spaces/nari-labs/Dia-1.6B

Codice open-source:

 🔗 https://github.com/nari-labs/dia/

Approfondimenti.

Articolo ufficiale citato da Simone Rizzo:
 🔗 https://yummy-fir-7a4.notion.site/dia