비디오 생성 인공지능 2

악뮤 작별인사 뮤직비디오

원래 악동뮤지션의 톡톡튀는 가사와 감성을 좋아했지만, 작별인사는 그중에서도 제일 좋아하는 노래중의 하나입니다. 그런데 아쉽게도 이 노래는 뮤직비디오가 없더군요. 그냥 파란 하늘같은 이미지에 노래가사만 나오던가, 두분이서 노래부르는 모습을 촬영한 영상만 있을 뿐이었습니다.그래서 한번 만들어 보기로 했습니다. 요즘 ChatGPT에서 이미지 생성기능이 엄청 좋아졌거든요. 예전에도 한번 시도해 본적이 있었는데, 그때는 DALL-E 3로 생성하는데다가 한번 생성한 후, 다음 그림과의 일관성이 유지가 안되어서 그림 스타일이 들쭉날쭉하는 바람에 실패했거든요.가사 정리하기이미지 생성 준비생성된 이미지비디오 생성짧은 생각가사 정리하기일단 가사는 아래와 같습니다. 전체 가사 없는 부분까지 포함해서 전체 14x4= 56 마..

비디오 렌더링: 제로샷 텍스트지원 Video-to-Video 변환

스테이블 디퓨전은 기본적으로 텍스트를 기반으로 이미지를 생성해주는 이미지 생성형 AI입니다. 앞서 몇번의 글에서 언급한 것처럼, 스테이블 디퓨전은 여러 이미지 간의 일관성을 유지하기 힘들었습니다. 지금까지는요. 하지만, 이제는 이미지간의 일관성을 넘어 비디오를 기반으로 새로운 비디오를 생성하는 게 가능해졌다는 내용입니다. 적용된 기술을 간단하게 말씀드리면, 기존 디퓨전 모델에 전체적인 스타일을 유지하는 제약조건, 색상을 유지하는 제약조건, 형태를 유지하는 제약조건, 텍스처를 유지하는 제약조건 등을 모두 통합해서, 비디오의 전체적인 일관성 뿐만 아니라, 국부적 시간적 일관성을 유지하는 데 성공했다는 내용입니다. 아직 소프트웨어는 공개되지 않았지만, 정식 논문 발표와 함께 공개될 예정이라고 하는데, 이 방법..