[논문] Face-based Voice Conversion: Learning the Voice behind a Face
https://dl.acm.org/doi/10.1145/3474085.3475198해당 논문을 보고 작성했습니다. Abstract얼굴과 voice 사이에는 강한 relatioship이 존재하기 때문에, face representation으로 다양한 voice characteristic을 합성하는 것은 매우 유망한 접근 방법입니다. 그래서, 사람얼굴로 voice style을 생성할 수 있는 새로운 idea를 제안합니다. 하지만 audio-visual relationship이 암묵적입니다. 또한, 기존의 Voice Conversion model들은 speaker의 사진 없이 모아진 data를 사용하여 학습되었으며, 사진과 audio가 모두 포함된 dataset은 실생활에서 얻어지는 dataset입니다. ta..
연구실 공부
2024. 5. 16.