공간정보와 인터넷지도

얼마전, Stable Diffusion을 오픈소스로 공개한 Stability.ai에서 텍스트 입력만으로 짧은 비디오(움짤)를 생성할 수 있는 Stable Video Diffusion을 공개했다는 소식을 알려드렸습니다(비디오 생성 스테이블 디퓨전 참조). 오늘은 이에 대한 좀 더 자세한 소식이 있어 소개합니다. 아래는 이 글에서 다루는 내용입니다. 비디오 스테이블 디퓨전(SVD) 이란? 비디오 스테이블 디퓨전(SVD) 모델 가중치 모델 파라미터 ComfyUI로 비디오 스테이블 디퓨전 사용하기(txt2vid) ComfyUI에서 이미지를 비디오로 변환하기(img2vid) ComfyUI에서 img2vid 사용하기 비디오 스테이블 디퓨전(SVD) 이란? Stable Video Diffusion(SVD, 비디오 생..

2023년 11월 21일, 스테이블 디퓨전 개발사인 Stability.AI에서 비디오를 생성할 수 있는 스테이블 디퓨전 모델인 Stable Video Diffusion을 공개했습니다. 현재는 IMG2VID, 즉 이미지를 입력하면 그 이미지를 14프레임 또는 25프레임의 짧은 비디오만 생성되는 수준으로서, 텍스트 입력이 불가능하니 움직임을 제어하는 것은 불가능한 상태입니다. 거의... AnimateDiff에서 지원하는 정도라고 보시면 될 것 같네요. 이마저도 연구용으로만 제공되며, Stability.ai에서 제공하는 공식 샘플 사이트라고 할 수 있는 ClipDrip에서도 지원을 하지 않기 때문에 일반 사용자들은 AUTOMATIC1111 이나 ComfyUI에서 지원될 때까지는 사용할 수 없을 것 같습니다. ..

이 글에서는 AnimateDiff Prompt Travel Video-to-video, 즉, AnimateDiff 와 프롬프트를 사용해서 기준 Video를 유사한 다른 비디오를 만드는 기법을 소개시켜드립니다. 이제까지 Stable Diffusion을 사용해서 비디오를 만드는 방법은 여러번 소개시켜드렸는데(다섯가지 방법, Deforum, AnimateDiff) 여러가지 한계가 있었습니다. 이 글에서 소개시켜 드리는 방법도 완벽하다고는 할 수 없지만, 상당히 부드럽고 일관성이 있는 비디오를 생성할 수 있는 기법입니다. 이 글의 목차는 아래와 같습니다. AnimateDiff Prompt Travel의 작동 원리 소프트웨어 설정 워크플로 불러오기 사용방법 생성된 영상 품질 검사 생성 설정 변경 좋은 영상을 만들..

Text-to-video는 말 그대로 입력한 텍스트 프롬프트만 사용해 비디오를 생성하는 기법입니다. 디퓨전 기반의 text-to-video 모델은 매우 빠른 속도로 발전하고 있습니다. 이 글에서는 자신의 PC에서 직접 사용할 수 있는 text-to-video 모델 중 가장 유명한 것중 하나인 AnimateDiff를 소개(논문: AnimateDiff:Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning, Yuwei Guo 등)하고 그 작업과정을 보여드립니다. 참고: 2023년 12월, Stable Video Diffusion이 공개되었습니다. txt2vid, img2vid는 SDV를 사용하는 것이 더 빠르고 품질이 ..

Deforum은 스테이블 디퓨전을 사용해서 애니메이션 비디오를 생성하는 도구입니다. 프롬프트를 제공하고 카메라 이동 설정을 제공해주면 됩니다(물론 간단하지는 않습니다). 아래는 예입니다. 스테이블 디퓨전이 원래 이미지를 생성하기 위한 모델이니만큼 어느 정도 번쩍거림(프레임간 불일치)가 있는 것은 사실이지만, 놀라울만한 품질을 보여주네요. Deforum 이란? Deforum은 애니메이션을 제작하기 위한 오픈소스 무료 소프트웨어 입니다. deforum은 스테이블 디퓨전의 image-to-image 기능을 이용하여 여러 이미지를 생성한 다음 모두 붙여 비디오를 제작하는 방식입니다. 이때 이미지 프레임간 약간씩 변형되며, img2img 기능을 이용해 다음 프레임을 생성합니다. 프레임간 변화는 많지 않기 때문에 ..

스테이블 디퓨전은 기본적으로 텍스트를 기반으로 이미지를 생성해주는 이미지 생성형 AI입니다. 앞서 몇번의 글에서 언급한 것처럼, 스테이블 디퓨전은 여러 이미지 간의 일관성을 유지하기 힘들었습니다. 지금까지는요. 하지만, 이제는 이미지간의 일관성을 넘어 비디오를 기반으로 새로운 비디오를 생성하는 게 가능해졌다는 내용입니다. 적용된 기술을 간단하게 말씀드리면, 기존 디퓨전 모델에 전체적인 스타일을 유지하는 제약조건, 색상을 유지하는 제약조건, 형태를 유지하는 제약조건, 텍스처를 유지하는 제약조건 등을 모두 통합해서, 비디오의 전체적인 일관성 뿐만 아니라, 국부적 시간적 일관성을 유지하는 데 성공했다는 내용입니다. 아직 소프트웨어는 공개되지 않았지만, 정식 논문 발표와 함께 공개될 예정이라고 하는데, 이 방법..

이 글은 기존에 존재하는 비디오를 사용해서, 그 자세만 복사해 새로운 비디오를 만드는 방법입니다. 스테이블 디퓨전(Stable Diffusion)은 이미지 생성형 AI 입니다. 따라서 일반적인 방법으로는 비디오를 만들기 어렵습니다. 비디오는 기본적으로 프레임으로 이루어지며, 프레임을 이미지로 보면 불가능하지는 않습니다. 그러나, 아래의 글을 읽어보시면 알겠지만, 프레임별로 동일성을 유지하기 힘들어 튀는 비디오가 만들어지기 쉽습니다. 이 글에는 아래와 같이 Video를 기반으로 새로운 비디오를 만드는 방법 5가지를 설명합니다. 그런데, 제 컴이 꼬져서 모든 걸 따라하다간 몇날 며칠이 걸릴지 몰라, 맨 처음과 맨 마지막 방법에 대해서만 직접 해보면서 설명합니다. 다른 방법은 원본 글을 읽어보세요. Contr..