이미지 생성 AI 20

춤추는 스파게티

어떤 물체를 춤추게 한다는 아이디어를 생각해 본 적이 있으신가요? 이 글에 있는 ComfyUI 워크플로를 사용하면 쉽게 생성할 수 있습니다 이 예제 워크플로는 댄싱 비디오를 춤추는 스파게티로 전환해 줍니다.소프트웨어이 워크플로의 원리따라하기비디오 변경소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.이 워크플로의 원리이와 비슷한 작업을 두개의 샘플링 패스로 구현한 사례가 있지만, 이는 불필요합니다. 여기서는 단일 샘플링 패스를 사용해 동일한 결과를 얻는 방법을 보여드리겠습니다 입력 비디오는 흰색 피사체와 검은색 배경으로 이루어집니다. 이러한 비디오는 Depth 전처..

페이스 아트 애니메이션

이 글에서는 아래와 같은 페이스 아트 애니메이션 비디오를 생성합니다.소프트웨어이 워크플로의 원리따라하기비디오 변경소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.이 워크플로의 원리참조 이미지 생성이 워크플로에서는 먼저 SDXL 모델과 loRA를 사용해서 비디오를 생성하기 위한 참조 이미지를 생성합니다.비디오 생성비디오는 SD 1.5 모델에 AnimateDiff 를 적용하여 생성합니다. 비디오 생성 도중에 IP adapter를 사용하여 참조 이미지를 주입합니다. 여기에서 프롬프트는 비워두어서 오직 이미지를 기준으로만 비디오를 생성하게 됩니다.후처리스테이블 디퓨전을 ..

Animate 스타일 모핑 비디오

이 워크플로는 4가지 스타일의 인물 이미지를 모핑하는 비디오를 생성합니다. 아래는 예시입니다. 스타일은 텍스트 프롬프트로 설정합니다. 따라서 원하는 프롬프트를 넣으면 스타일을 변경할 수 있습니다. 또한 변환 패턴도 조절할 수 있습니다.소프트웨어이 워크플로의 원리따라하기비디오 변경소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.이 워크플로의 원리개요모핑 비디오는 AnimateDiff 를 이용해서 프레임간의 일관성을 유지합니다. 이 워크플로에서는 아래와 같이 4개의 참조 이미지를 사용하는데, 각각 1/4 간격으로 비디오에 삽입합니다. 이 4장의 비디오는 SDXL 모델..

Flux AI 개요

2024년 8월 1일 Flux. 1 이 출시된 이래, 이와 관련된 여러가지 활동이 이루어지고 있습니다. 많은 사람들이 사용방법을 알아내고, 이를 돌리기 위한 도구를 만들기 위해 노력해 왔습니다. 이제 조금 정리되었으므로, Flux의 도구와 자원을 정리해볼 때입니다.Flux AI 모델이란?Flux AI 모델의 작동 원리Flux AI 모델을 상업적으로 사용할 수 있나?Flux AI 모델 사용 방법Flux AI 로 야한 이미지를 생성할 수 있나?Flux와 스테이블 디퓨전의 차이Flux AI 모델이란?Flux AI 모델은 Black Forest Labs에서 개발되었으며, 사실적인 이미지를 생성하는데 뛰어난 이미지 생성용 인공지능 모델입니다. Flux AI 모델은 아래와 같은 세가지 모델이 존재합니다.Flux.1..

AnimateDiff 모핑 비디오(ComfyUI)

이 워크플로는 아래와 같은 모핑(morphing) 비디오를 생성합니다. (모핑이란 하나의 형체가 전혀 다른 이미지로 변화하는 기법을 말합니다. 위키 참조) 프롬프트를 사용해 각각의 이미지를 미세하게 조정할 수도 있고, 변환 패턴도 조정할 수 있습니다. 소프트웨어이 워크플로의 원리따라하기비디오 변경소프트웨어이 글에서는 노드 기반의 스테이블 디퓨전 GUI인 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법과 초보가이드를 확인하시기 바랍니다. 이 워크플로의 원리개요모핑 비디오는 AnimateDiff 를 이용해서 프레임간의 일관성을 유지합니다. 이 워크플로에서는 아래와 같이 4개의 참조 이미지를 사용하는데, 각각 1/4 간격으로 비디오에 삽입합니다. 이 4장의 비디오는 SDXL ..

SDXL 모델과 Flux1.dev 모델 비교

SDXL 과 Flux1.dev는 인공지능 이미지 모델중 가장 유명한 두가지 모델입니다. 둘다 1024x1024 급의 고해상도 이미지 생성을 지원합니다. 현재 시점으로는 SDXL 쪽이 더 많은 자원(모델 학습용 도구, ControlNet이나 LoRA 등)이 존재하지만, 아마도 근시일 내로 Flux 모델도 보완될 것이라고 보입니다.그러면 SDXL 모델은 지워버리고 Flux로 갈아타야 할까요? 이 글에서는 SDXL과 Flux1.dev 모델의 장단점을 비교해 보겠습니다.소프트웨어생성 속도텍스트 생성프롬프트 이해도자세 제어물체의 배치손 렌더링얼굴스타일결론소프트웨어이 글에서는 SD Forge 웹UI를 사용하여 이미지를 비교해 보겠습니다. 아래는 사용할 체크포인트 모델이빈다.SDXL 1.0 모델Flux1 Dev NF..

SD-Forge에서 Flux Lora 사용법

LoRA 모델은 Flux AI 체크포인트 모델을 보완해주기 위한 중요한 도구입니다. LoRA 모델을 사용하면 Flux가 학습하지 않은 스타일이나 특정한 얼굴을 담은 이미지를 생성할 수 있습니다.이 글에서는 SD-Forge (Stable Diffusion Forge) 웹UI에서 Flux를 LoRA와 함께 사용하는 법을 설명합니다. 또한 이를 통해 여러  LoRA 모델을 사용해 여러 이미지간에 비슷한 얼굴을 생성하는 방법도 알아보겠습니다.소프트웨어Flux AI 용 LoRA 모델 사용법문제 해결유명인 얼굴을 융합해 얼굴을 일관성 있게 유지하기소프트웨어Flux AI와 LoRA를 사용하는 가장 쉬운 방법은 SD Forge 웹UI를 사용하는 것입니다. SD-Forge는 Flux-AI를 매우 잘 지원합니다.Forge..

Flux AI 모델을 사용한 img2img와 인페인트

Image-to-Image를 사용하면 기존의 이미지로부터 새로운 이미지를 생성할 수 있습니다. 인페인트를 사용하면 이미지중 일부를 새로 생성할 수 있습니다. Flux AI 모델은 img2img와 인페인트 모두 지원합니다. 이 글 Flux AI 모델을 사용하여 img2img 및 인페인트를 적용하는 방법에 대한 글입니다.소프트웨어Flux-AI 모델을 사용한 Image-to-ImageFlux-AI 모델을 사용한 인페인트소프트웨어이글에서는 AUTOMATIC1111로부터 파생된 SD-Forge를 사용합니다. SD-Forge의 설치방법은 이 글을 보세요. 또한 SD_Forge 사용법은 AUTOMATIC1111 사용법과 거의 비슷하니 이를 참고하시면 됩니다.Flux-AI 모델을 사용한 Image-to-Imageimg..

VRAM이 적은 PC에서 Flux AI 실행시키기

Fulx AI 는 2024년 8월 현재 가정용 PC에서 돌릴 수 있는 가장 좋은 오픈소스 AI 이미지 생성기 입니다. 하지만 파라미터가 120억개에 이르러 요구 VRAM 용량이 무지막지합니다. 이 글에 따르면 ComfyUI 에서도 최소 16GB가 필요하니까요. 하지만 고성능 GPU 카드가 없어도  6GB  VRAM으로도 Flux AI를 돌릴 수 있는 방법이 있습니다. SD Forge WebUI를 사용하는 방법입니다.Forge란?low VRAM NF4 Flux 모델이란?Forge에서 Flux AI NF4 모델을 사용하는 방법Forge란?SD Forge는 스테이블 디퓨전용 AUTOMATIC1111 의 포크중 하나입니다. 속도와 GPU VRAM 소모를 최적화할 수 있도록 백본을 새로 작성하였다고 합니다. A1..

스타일이 비슷한 이미지 만들기 - Style Aligned

스타일이 비슷한 이미지를 만드는 것은 로고나 서적 일러스트레이션과 같은 창조적인 작업에서 매우 유용한 기법입니다. 이 글은 스테이블 디퓨전에서 이러한 이미지를 생성하는 방법을 설명합니다.아래는 이 글에서 기술하는 기법을 사용하여 생성된 일관성있는 로고의 예입니다.또다른 예로서 아래와 같은 이미지를 생성할 수도 있습니다.이 글에서는 다음과 같은 내용을 다룹니다.Style Aligned 를 사용한 일관성있는 스타일(AUTOMATIC1111 및 ComfyUI)ControlNet Reference를 이용한 일관성있는 스타일(AUTOMATIC1111)AUTOMATIC1111과 ComfyUI의 구현상 차이점AUTOMATIC1111과 ComfyUI에서 사용하는 방법소프트웨어스타일 전송의 원리AUTOMATIC1111 ..