인공지능 비디오 21

Flux-LTX txt2vid 워크플로-ComfyUI

LTX 비디오는 고품질 비디오를 아주 빠르게 생성할 수 있는, 자신의 PC에서 돌릴 수 있는 비디오 모델입니다. LTX 는 img2vid 모드가 있어서, 이미지를 비디오로 바꿔줄 수 있습니다.Flux 모델은 현재 고품질의 이미지를 생성할 수 있는 가장 좋은 선택지중 하나입니다. 이 글에서는 Flux의 이미지 품질과 LTX의 빠른 비디오 생성을 통합한 워크플로를 선보입니다.소프트웨어Flux 모델과 Flux Fill 모델을 사용한 인페인트 비교따라하기워크플로 설명개인적인 느낌소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1 단계: 모델 다운로드여기에는 간단하..

Flux-CogVideo 워크플로(ComfyUI)

이 워크플로는 Flux AI 모델을 사용하여 고품질 이미지를 생성하고 이를 CogVideo를 사용해 비디오로 전환하는 워크플로입니다. 이렇게 하면 텍스트 프롬프트만으로도 비디오를 생성할 수 있을 뿐 아니라, 원래의 CogVideo txt2vid 모델보다 품질이 좋은 비디오를 생성할 수 있습니다.소프트웨어따라하기소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 요즘 가장 널리 사용되고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1 단계: Flux1 dev GGUF 모델 다운로드여기에는 간단하게만 정리했습니다. 더 자세한 내용은 이 글을 참고하세요.GGUF unet 모델아래 사이트에서 파일을 다운로드 받아, Comfy..

ComfyUI에서 CogvideoX GGUF 사용하기

CogVideo는 자신의 PC에서 돌릴 수 있는 최신 AI 비디오 생성기 입니다. 이 글에서는 ComfyUI에서 Cogvideo를 사용하는 방법을 설명합니다.소프트웨어CogvideoX 란?Txt2Vid따라하기Img2Vid따라하기참고 소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 요즘 가장 널리 사용되고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.CogvideoX 란?현재 여러가지 text-to-video / img-to-video모델 및 서비스가 나와 있습니다. 그중에서도 CogVideoX는 텍스트-비디오 생성 분야에서 상당한 발전을 이룬 모델입니다. Stable Diffusion과 같은 텍스트-이미지 모델의 성공을 ..

시베리안 냥이 애니메이션

이 글에 있는 ComfyUI 워크플로는 아래와 같은 시베리안 고양이 비디오를 생성합니다.소프트웨어따라하기비디오 변경 방법소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1 단계: 모델 다운로드체크포인트 모델: Delibrate v2 모델을 다운로드 받아 ComfyUI\models\checkpoints 폴더에 넣어줍니다. (A1111과 모델을 공유할 경우 여기를 보세요)AnimateDiff 모델: AnimateDiff v3 motion 모델을 다운로드 받아, ComfyUI\models\animatediff_models 폴더에 넣어줍니다.ControlNet 모..

추상 비디오 아트 (ComfyUI)

이 글에 있는 ComfyUI 워크플로는 아래와 같은 멎진 추상 비디오 아트를 생성합니다.소프트웨어따라하기비디오 변경 방법소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기이 워크플로는 AnimateDiff 노드에 Prompt Travel 을 적용합니다.1 단계: 모델 다운로드체크포인트 모델: Delibrate v2 모델을 다운로드 받아 ComfyUI\models\checkpoints 폴더에 넣어줍니다. (A1111과 모델을 공유할 경우 여기를 보세요)AnimateDiff 모델: AnimateDiff v3 motion 모델을 다운로드 받아, ComfyUI\mo..

Hunyuan video LoRA

LoRA(Low-Rank Adaptation)은 Flux나 Stable Diffusion과 같은 이미지 모델을 세부 조정(finetuning)하는 기술로서 탄생했습니다. 모델 매개변수 일부를 조정하는 것에 초점을 맞춤으로써, LoRA는 전체 모델을 다시 학습할 필요 없이 효과적으로 미세조정을 할 수 있습니다.그런데, 대형 비디오 모델로서는 처음으로, Hunyuan Video 에서 LoRA를 사용할 수 있게 되었습니다.이번 글에서는 Hunyuan Video에 LoRA를 사용하는 방법을 알려드립니다. 이 기법에는 여러개의 LoRA를 사용하여 아래와 같은 장면에서 일관성있는 캐릭터를 생성할 수 있습니다.소프트웨어Hunyuan LoRA의 작동 원리사용 사례하나의 LoRA를 사용하는 워크플로두 개의 LoRA를 사..

Hunyuan 비디오를 이미지와 함께 사용하기

Hunyuan video는 텍스트 설명을 비디오로 바꾸어주는 비디오 모델입니다. 하지만 이미지를 비디오로 바꾸려면 어떻게 해야 할까요? 해답은 Image-to-video 모델입니다만, 아쉽게도 Hunyuan은 아직 공개하지 않고 있습니다. 만약 나온다면 일약 게임 체인저가 될텐데요. 당분간은 Image Prompt를 사용해 비디오를 제작하는 IP2V 를 사용해 비슷한 효과를 얻어야 합니다.이 워크플로는 이미지와 프롬프트를 입력받아 비디오를 생성합니다. 예를 들어, 배경이미지를 제공하고 프롬프트로 사람을 추가하면 아래와 같은 이미지를 생성할 수 있습니다.소프트웨어작동 원리Img2Vid와 IP2V의 차이유즈케이스따라하기이미지 프롬프트 조정소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하..

LTX 비디오

LTX  비디오는 매우 빠르고 잠재력이 높은, 자신의 PC 에서 돌릴 수 있는 비디오 AI 모델입니다. 이 디퓨전 트랜스포머(DiT) 비디오 모델은 텍스트만 입력하면, 혹은 이미지와 함께 텍스트를 입력하면 비디오를 생성할 수 있습니다. 또한 모델의 크기가 20 억개로 작아서, 6 GB VRAM에서도 돌릴 수 있고, RTX4090의 경우엔 4초짜리 비디오를 20초만에 생성할 수 있습니다. 무엇보다 용량을 생각했을 때 생성되는 비디오의 품질이 놀라울 정도로 우수합니다.이 글에서는 ComfyUI에서 LXT 비디오를 설치하고 text-to-video, image-to-video 모드로 실행시키는 방법을 설명합니다.소프트웨어LTX Text-to-VideoLTX Image-to-VideoLTX Video 모델 사용..

춤추는 스파게티

어떤 물체를 춤추게 한다는 아이디어를 생각해 본 적이 있으신가요? 이 글에 있는 ComfyUI 워크플로를 사용하면 쉽게 생성할 수 있습니다 이 예제 워크플로는 댄싱 비디오를 춤추는 스파게티로 전환해 줍니다.소프트웨어이 워크플로의 원리따라하기비디오 변경소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.이 워크플로의 원리이와 비슷한 작업을 두개의 샘플링 패스로 구현한 사례가 있지만, 이는 불필요합니다. 여기서는 단일 샘플링 패스를 사용해 동일한 결과를 얻는 방법을 보여드리겠습니다 입력 비디오는 흰색 피사체와 검은색 배경으로 이루어집니다. 이러한 비디오는 Depth 전처..

페이스 아트 애니메이션

이 글에서는 아래와 같은 페이스 아트 애니메이션 비디오를 생성합니다.소프트웨어이 워크플로의 원리따라하기비디오 변경소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.이 워크플로의 원리참조 이미지 생성이 워크플로에서는 먼저 SDXL 모델과 loRA를 사용해서 비디오를 생성하기 위한 참조 이미지를 생성합니다.비디오 생성비디오는 SD 1.5 모델에 AnimateDiff 를 적용하여 생성합니다. 비디오 생성 도중에 IP adapter를 사용하여 참조 이미지를 주입합니다. 여기에서 프롬프트는 비워두어서 오직 이미지를 기준으로만 비디오를 생성하게 됩니다.후처리스테이블 디퓨전을 ..