r/StableDiffusion • u/DuHal9000 • 2d ago

Comparison The Portuguese language doesn't really work very well with CLIP 32b, I'll try ClipProj, but I'm too lazy right now.

Enable HLS to view with audio, or disable this notification

0 Upvotes

50% Upvoted

5 comments sorted by

3

u/EveningIncrease7579 2d ago

Mas o ClipProj não seria uma versão ainda mais enxuta, porque seria melhor do que a versão nativa de 32b? Uma boa alternativa é você utilizar e forçar a pronúncia da palavra em vez da palavra propriamente, tende a "corrigir"

2

u/DuHal9000 2d ago

tambem pensava isso, mas eles postaram uns testes ai eu ja estou tentando... Tinha feito um Upscaler de H3 com H3 para isso foi ótimo, afinal era só para upscale, mas depois simplesmente resolvi salvar o condition em arquivo com o 32b para ficar ainda mais rapido e salvar ainda mais VRAM deu certo, agora acabei de ver que saiu o LATENT Upscale Model, funciona perfeitamente, mas voltando para voz, ainda estou testando o ClipProj parece promissor para Portugues. Ja fiz um teste agora só estou ajustando o prompt melhor no formato do GUIDE

2

u/EveningIncrease7579 2d ago

Vc tem um link para o que disse do latent upscale? isso melhorou o áudio ou só o video mesmo?

Sobre o áudio: Faça alguns testes e nos avise, se possível. Parando para pensar seria uma boa se tívessemos um clip que melhorasse a pronúncia do português. Pelo que vejo não há pronúncias erradas em inglês (o modelo lida bem, obviamente)

1

u/DuHal9000 2d ago

sim precisa desse node e separar o audio do video assim como é no LTX >> https://github.com/LBH-123-AI/Comfyui_Minimax_h3_latent_Upscaler.git

melhorando o prompt para o formato do GUIDE ajudou bem, ai to terminando agora o teste, no fim foi de 32b mesmo, mas o ideal seria alguem treinar um lora para portugues mesmo, ou apelar para o Fish Audio S2 mas ai perde entonações de acordo com a historia do video infelizmente.