공간정보와 인터넷지도

요즘 Stable Diffusion 커뮤니티의 핫한 주제는 Video-to-Video입니다. 그 가운데에는 AnimateDiff 가 있죠. 저도 몇번 생성해봤지만, 아직도 잘 모르는 게 많아, 천천히 알아보려는 중입니다. 이 글은 AnimateDiff for AUTOMATIC1111에 이어 네번째 글로, https://wikiwiki.jp/sd_toshiaki/AnimateDiff 를 번역한 글입니다. AnimateDiff 개요 모션 모듈이란? a1111 사용방법 매개변수 체크포인트 및 LoRA 특성 프롬프트 작성방법 콘트롤넷 AI 확대기(UpScaler) ComfyUI에서 사용방법 프롬프트 트래블 없는 워크플로 프롬프트 트래블을 사용하는 워크플로 AnimateDiff 개요 GIF 등의 짧은 동영상(표준..

요즘 Stable Diffusion 커뮤니티의 핫한 주제는 Video-to-Video입니다. 그 가운데에는 AnimateDiff 가 있죠. 저도 몇번 생성해봤지만, 아직도 잘 모르는 게 많아, 천천히 알아보려는 중입니다. 이 글은 그중에서 세번째 시도로, https://github.com/guoyww/AnimateDiff/ 을 번역한 글입니다. === 이 저장소는 Yuwei Guo 등의 논문, AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning 의 공식 구현입니다. AnimateDiff는 추가적인 학습이 없이도, 거의 모든 커뮤니티 모델을 애니메이션 생성기로 바꿔주는 plug&play 모듈..

얼마전, Stable Diffusion을 오픈소스로 공개한 Stability.ai에서 텍스트 입력만으로 짧은 비디오(움짤)를 생성할 수 있는 Stable Video Diffusion을 공개했다는 소식을 알려드렸습니다(비디오 생성 스테이블 디퓨전 참조). 오늘은 이에 대한 좀 더 자세한 소식이 있어 소개합니다. 아래는 이 글에서 다루는 내용입니다. 비디오 스테이블 디퓨전(SVD) 이란? 비디오 스테이블 디퓨전(SVD) 모델 가중치 모델 파라미터 ComfyUI로 비디오 스테이블 디퓨전 사용하기(txt2vid) ComfyUI에서 이미지를 비디오로 변환하기(img2vid) ComfyUI에서 img2vid 사용하기 비디오 스테이블 디퓨전(SVD) 이란? Stable Video Diffusion(SVD, 비디오 생..

LCM-LoRA를 사용하면 스테이블 디퓨전 모델을 사용한 이미지 생성 속도를 아주 빠르게 할 수 있습니다. 일반적인 경우 KSampler에서 20 단계 ~ 25 단계정도를 돌려야만 깔끔한 이미지를 생성할 수 있음에 비해, LCM-LoRA를 사용할 경우, 4-6 단계 정도면 비슷한 수준의 이미지를 생성할 수 있습니다. 즉 5배 정도 빨리 이미지를 생성할 수 있다는 것입니다. 또한 LCD-LoRA의 경우 SDXL에도 적용할 수 있어 유용할 것 같습니다. 특히 아래와 같은 AnimateDiff 비디오를 생성할 경우, 여러개의 프레임을 생성해야 하므로 속도가 매우 중요하다고 할 수 있습니다. 아래는 이 글의 목차입니다. LCM-LoRA란 무엇인가? LCM-LoRA의 작동 원리 LCM-LoRA 다운로드 AUTOM..