공간정보와 인터넷지도

이 글에서는 Video-to-video 기법, 즉 기존의 비디오를 소스로 해서 인물과 배경을 바꾼 새로운 비디오를 생성하는 기법을 설명합니다. 다만, 예전 글에서 설명한 것처럼, Video-to-video를 적용하면 화면이 번쩍거리던가 매 장면마다 사람 얼굴이 바뀌는 등의 문제가 발생하기 쉬운데, 여기서는 이런 문제를 해결한 비디오를 생성합니다. 여기서 다루는 사항은 아래와 같습니다. IP-adapter - 얼굴을 일관성있게 유지하는데 중요합니다. 다중 콘트롤넷 - 프레임간 움직임을 일정하게 유지하는데 중요합니다. AnimateDiff - 프레임간 일관성 유지에 필요합니다. 원래 짧은 비디오를 생성하는 img-to-video 모델입니다. LCM LoRA - 비디오 생성속도를 3배 이상 빠르게 합니다. D..

Deforum은 스테이블 디퓨전을 사용해서 애니메이션 비디오를 생성하는 도구입니다. 프롬프트를 제공하고 카메라 이동 설정을 제공해주면 됩니다(물론 간단하지는 않습니다). 아래는 예입니다. 스테이블 디퓨전이 원래 이미지를 생성하기 위한 모델이니만큼 어느 정도 번쩍거림(프레임간 불일치)가 있는 것은 사실이지만, 놀라울만한 품질을 보여주네요. Deforum 이란? Deforum은 애니메이션을 제작하기 위한 오픈소스 무료 소프트웨어 입니다. deforum은 스테이블 디퓨전의 image-to-image 기능을 이용하여 여러 이미지를 생성한 다음 모두 붙여 비디오를 제작하는 방식입니다. 이때 이미지 프레임간 약간씩 변형되며, img2img 기능을 이용해 다음 프레임을 생성합니다. 프레임간 변화는 많지 않기 때문에 ..

이 글은 기존에 존재하는 비디오를 사용해서, 그 자세만 복사해 새로운 비디오를 만드는 방법입니다. 스테이블 디퓨전(Stable Diffusion)은 이미지 생성형 AI 입니다. 따라서 일반적인 방법으로는 비디오를 만들기 어렵습니다. 비디오는 기본적으로 프레임으로 이루어지며, 프레임을 이미지로 보면 불가능하지는 않습니다. 그러나, 아래의 글을 읽어보시면 알겠지만, 프레임별로 동일성을 유지하기 힘들어 튀는 비디오가 만들어지기 쉽습니다. 이 글에는 아래와 같이 Video를 기반으로 새로운 비디오를 만드는 방법 5가지를 설명합니다. 그런데, 제 컴이 꼬져서 모든 걸 따라하다간 몇날 며칠이 걸릴지 몰라, 맨 처음과 맨 마지막 방법에 대해서만 직접 해보면서 설명합니다. 다른 방법은 원본 글을 읽어보세요. Contr..