전체 글 1739

장동건과 김태희의 아들? 얼굴 생성 - ComfyUI

이 글에서는 엄마 아빠의 얼굴을 사용해서 자식의 얼굴을 생성하는 워크플로를 소개합니다. 아래는 그 예입니다. 이 글의 내용은 아래와 같습니다. 소프트웨어 따라 해보기 동양인 테스트 맞춤 변경 소프트웨어 이 글에서는 노드 기반의 스테이블 디퓨전 GUI인 ComfyUI를 사용합니다. ComfyUI가 처음이신 분은 설치 및 기초 사용법과 초보자 가이드를 참고하세요. 따라 해보기 이 워크플로에서는 IP-adapter를 사용합니다. IP-adapter는 이미지를 프롬프트로 사용하는, 특수한 형태의 콘트롤넷으로, 얼굴을 복사하도록 학습되어 있습니다. 즉, 넣어준 이미지와 비슷한 얼굴을 생성하는데 사용합니다. 여기에서는 엄마 아빠 얼굴에 대해 각각 IP-adapter를 적용합니다. 1단계 : ComfyUI 워크플로 ..

ComfyUI 기본 워크플로 (초보자용)

제가 요즘 가장 많이 사용하는 스테이블 디퓨전 구동용 웹 UI는 AUTOMATIC1111과 ComfyUI입니다. 그 중에서도 ComfyUI 를 더 좋아하는 편입니다. 가볍고, 쉽게 커스토마이징하기 쉽고, 속도도 빠르는 등 여러가지 장점이 있기 때문입니다. 그런데 ComfyUI는 노드(박스형태)와 링크(연결 줄)로 이루어져 있기 때문에 내용을 이해하기 쉽지 않다는 단점이 있습니다. 그런데, Openart.ai에서 쉽게 사용할 수 있는 14개의 ComfyUI 용 기본 워크플로 템플릿을 공개했습니다. 제일 간단한 워크플로부터, 새로운 기능을 추가한 새로운 워크플로를 만들고, 또 거기에 새로운 기능을 추가하는 식으로 구성되어 있기 때문에 이해하기도 쉽고(새로 배우기도 쉽고) 사용하기도 간단한 워크플로입니다. 다..

이미지 배경을 바꾸는 방법

스테이블 디퓨전을 사용해 이미지의 배경을 추가하거나 교체할 수 있습니다. 이 기법은 인공지능 이미지 뿐 만 아니라, 일반 사진에도 적용할 수 있습니다. 아래는 배경을 바꾼 예입니다. 이 글에서 다루는 내용은 다음과 같습니다. 소프트웨어 이미지 생성하기 배경 삭제하기 인페인트 마스크 생성하기 고급: Alpha matte(알파 채널) 조정 마스크를 사용한 인페인트 선택: 콘트롤넷을 사용한 인페인트 제품 이미지 사례 이 글에서는 Stable Diffsion을 위한 가장 널리 사용되고 있는 오픈 소스 웹 UI인 AUTOMATIC1111을 사용합니다. AUTOMATIC1111 설치 방법은 여기를 읽어보세요. 초보자 가이드도 참고하세요. 이미지 생성하기 이 글에서는 Rembg라는 AUTOMATIC1111 확장을 사..

내 이미지에 로고를 녹여넣는 방법

얼마전, 로고가 새겨진 이미지 만들기라는 글에서 이미지를 생성하면서 자연스런 로고가 들어가도록 하는 방법을 설명드렸습니다. 아래는 이 글에서 작성한 그림중 하나입니다. 이 글에서는 내가 가지고 있는 이미지에 원하는 로고를 심어넣는 방법입니다. 그냥 이미지를 중첩시키는 방법이야 일반 이미지 편집 프로그램을 사용하면 얼마든지 만들 수 있고, 위와 같은 이미지를 만드는 것도 Photoshop 등 고급 이미지 편집 기술만 있다면고 불가능한 것만은 아니지만, 이 글에서는 Stable Diffusion의 대표적인 UI인 AUTOMATIC1111 와 훨씬 유연하고 빠른 ComfyUI를 사용하여 이런 이미지를 만드는 방법을 알아보겠습니다. 이글에서 다루는 내용은 아래와 같습니다. 소프트웨어 AUTOMATIC1111 따..

스테이블 디퓨전 - 꿈과 나비와 소녀

이 글은 종이접기(origami)로 만들어진 드레스를 입은 꿈결같은 소녀를 생성합니다. 이 글에서 다루는 내용은 다음과 같습니다. 어두운 톤의 이미지 생성 예술적인 디테일 추가하기 자동 얼굴 수정 목차는 아래와 같습니다. 소프트웨어 따라하기 이미지 생성시 참고 사항 이미지 Upscale ComfyUI 워크플로 소프트웨어 Stable Diffusion GUI 이 글에서는 AUTOMATIC1111 이라는 Stable Diffusion을 사용하기 위한 대표적인 웹 UI를 사용합니다. 윈도에 설치하는 방법은 여기를 읽어보시면 됩니다. 이 글에서는 다음과 같은 확장(extension)을 사용합니다. 확장을 설치하는 방법은 이 글을 읽어보시기 바랍니다. Adetailer - 자동 얼굴 수정 Ultimate SD U..

스테이블 디퓨전 - 텍스트 애니메이션 비디오(AnimateDiff)

이글은 아래와 같은 텍스트 애니메이션이 포함된 비디오를 생성하는 방법을 설명합니다. 이글에서는 먼저 무료 소프트웨어를 사용해 텍스트 애니메이션을 만드는 방법을 알아보고, 이 비디오를 사용해 실제 파도가 치는 효과를 추가하는 ComfyUI 워크플로를 알아보겠습니다. 이 글의 내용은 아래와 같습니다. 소프트웨어 DaVinci Resolve 설치 Text 추가 Text 이동 추가 텍스트 애니메이션 내보내기 ComfyUI 워크플로에 불러오기 실습 소프트웨어 텍스트 애니메이션을 생성하기 위한 비디오 편집프로그램은 Da Vinci Resolve를 사용합니다. 아래로 내려가면 아래와 같은 화면을 볼 수 있는데, Free Download Now를 누르면 등록한 후 다운로드 받을 수 있습니다. 스테이블 디퓨전을 사용하기..

Stable Video Diffusion(SVD) Movie

이 글에서는 비디오 스테이블 디퓨전(SVD, Stable Video Diffusion)으로 생성한 3개의 비디오를 합쳐, 하나의 비디오로 만드는 워크플로를 소개합니다. 이 글의 내용은 아래와 같습니다. 소프트웨어 따라해 보기 설정 변경 실습 소프트웨어 이 글에 있는 내용을 따라 해보기 위해서는 ComfyUI 를 설치해야 합니다. ComfyUI 초보자 가이드도 도움이 되실 겁니다. 따라해 보기 1단계: 아래의 워크플로 이미지를 다운로드 받은 후, ComfyUI 캔버스에 Drag&Drop하면 워크플로를 불러들일 수 있습니다. 필요시에는 ComfyUI를 최신 버전으로 갱신하거나, 빠진 커스톰 노드를 설치하거나, 혹은 모든 커스톰 노드를 갱신해야 할 수 있습니다. 2단계: txt2img 모델 설정 먼저 SDXL..

FreeU: 더 멋진 이미지

FreeU는 잡음 제거기를 수정하여 이미지 품질을 향상시키는 스테이블 디퓨전용 애드온(Addon)입니다. 이글에서는 FreeU의 작동 원리과 AUTOMATIC1111 및 ComfyUI 에서 적용하는 방식을 알아보겠습니다. 이 글의 목차는 아래와 같습니다. FreeU 란? FreeU의 효과 AUTOMATIC1111에서 FreeU 사용하기 ComfyUI에서 FreeU 사용하기 FreeU v1과 FreeU v2 의 차이 제 비교 및 생각 FreeU 란? FreeU란 스테이블 디퓨전의 U-Net 잡음 제거기를 수정하여, 이미지 생성 프로세스를 향상시키는 기법으로, Chenyang Si 등이 저술한 FreeU: Free Lunchj in Diffusion U-Net에서 기술되어 있습니다. Chenyang 은 이 ..

이미지 프롬프트 사용법

이미지 프롬프트를 사용하면 이미지를 프롬프트의 일부로 사용하여 출력 이미지의 구도, 스타일 및 색상에 영향을 줄 수 있습니다. 이 글에서는 이미지 프롬프트가 무엇인지 알아보고, 이미지 프롬프트를 사용하는 방법을 알아봅니다. 이 글의 목차는 아래와 같습니다. 소프트웨어 설정 이미지 프롬프트란? 이미지 프롬프트 사용법 이미지 프롬프트 적용 효과 변경 IP-Adapter plus SDXL 모델에서 IP-Adapter 사용방법 소프트웨어 설정 이 글에 있는 내용은 스테이블 디퓨전의 대표적인 UI인 AUTOMATIC1111을 사용합니다. 원래 구글 Colab 및 Mac에서도 설치할 수 있지만, 이 블로그에서는 윈도11에 설치하는 방법만 다룹니다. AUTOMATIC1111을 처음 접하시는 분은 초보자 가이드를 읽어..

Stable Video Diffusion(SVD) - 공식 img2vid

얼마전, Stable Diffusion을 오픈소스로 공개한 Stability.ai에서 텍스트 입력만으로 짧은 비디오(움짤)를 생성할 수 있는 Stable Video Diffusion을 공개했다는 소식을 알려드렸습니다(비디오 생성 스테이블 디퓨전 참조). 오늘은 이에 대한 좀 더 자세한 소식이 있어 소개합니다. 아래는 이 글에서 다루는 내용입니다. 비디오 스테이블 디퓨전(SVD) 이란? 비디오 스테이블 디퓨전(SVD) 모델 가중치 모델 파라미터 ComfyUI로 비디오 스테이블 디퓨전 사용하기(txt2vid) ComfyUI에서 이미지를 비디오로 변환하기(img2vid) ComfyUI에서 img2vid 사용하기 비디오 스테이블 디퓨전(SVD) 이란? Stable Video Diffusion(SVD, 비디오 생..

SDXL 터보 - 실시간 이미지 생성

SDXL 터보 모델은 단 한번의 샘플링 단계만에 선명한 이미지를 생성하는 미세조정(fine-tuned) 모델입니다. 이 글에서 다루는 내용은 다음과 같습니다. SDXL 터보란 AUTOMATIC1111에서 SDXL 터보 사용하는 방법 ComfyUI에서 SDXL 터보 사용하는 방법 실시간 프롬프트 처리(Real-time Prompting) SDXL Turbo를 위한 최적 설정 성능 비교 SDXL Turbo와 LCM-LoRA 비교 SDXL 터보란? SDXL 터보(Turbo) 모델은 단 한번의 샘플링 단계만에 선명한 이미지를 생성하도록 미세조정(fine-tuned)한 SDXL(스테이블 디퓨전 XL) 모델입니다. 학습방법 SDXL 터보 모델의 학습 방법은 Axel Sauer 등이 저술한 논문 "적대적 확산 농축(..

LCM-LoRA - 초고속 스테이블 디퓨전

LCM-LoRA를 사용하면 스테이블 디퓨전 모델을 사용한 이미지 생성 속도를 아주 빠르게 할 수 있습니다. 일반적인 경우 KSampler에서 20 단계 ~ 25 단계정도를 돌려야만 깔끔한 이미지를 생성할 수 있음에 비해, LCM-LoRA를 사용할 경우, 4-6 단계 정도면 비슷한 수준의 이미지를 생성할 수 있습니다. 즉 5배 정도 빨리 이미지를 생성할 수 있다는 것입니다. 또한 LCD-LoRA의 경우 SDXL에도 적용할 수 있어 유용할 것 같습니다. 특히 아래와 같은 AnimateDiff 비디오를 생성할 경우, 여러개의 프레임을 생성해야 하므로 속도가 매우 중요하다고 할 수 있습니다. 아래는 이 글의 목차입니다. LCM-LoRA란 무엇인가? LCM-LoRA의 작동 원리 LCM-LoRA 다운로드 AUTOM..

비디오 생성 스테이블 디퓨전(SVD, Stable Video Diffusion)

2023년 11월 21일, 스테이블 디퓨전 개발사인 Stability.AI에서 비디오를 생성할 수 있는 스테이블 디퓨전 모델인 Stable Video Diffusion을 공개했습니다. 현재는 IMG2VID, 즉 이미지를 입력하면 그 이미지를 14프레임 또는 25프레임의 짧은 비디오만 생성되는 수준으로서, 텍스트 입력이 불가능하니 움직임을 제어하는 것은 불가능한 상태입니다. 거의... AnimateDiff에서 지원하는 정도라고 보시면 될 것 같네요. 이마저도 연구용으로만 제공되며, Stability.ai에서 제공하는 공식 샘플 사이트라고 할 수 있는 ClipDrip에서도 지원을 하지 않기 때문에 일반 사용자들은 AUTOMATIC1111 이나 ComfyUI에서 지원될 때까지는 사용할 수 없을 것 같습니다. ..

Stable Diffusion - 인페인트에 대한 모든 것

스테이블 디퓨전을 사용해 인공지능 이미지를 생성하다보면 마음에 안드는 이미지도 많이 생성되기 마련입니다. 전체적으로 구도가 마음에 안든다면 버려야겠지만, 얼굴이나 옷 색깔과 같이 일부분만 마음에 안들 경우에는 인페인트 기능을 사용해 그 부분만 새로 그릴 수 있습니다. 이 글의 목차는 아래와 같습니다. 소프트웨어 설정 인페인트 기본 예제 인페인트의 원리 인페인트 매개변수 설정 인페인트 전용 모델 콘트롤넷 인페인트 자동 인페인트 SDXL 모델의 인페인트 ComfyUI에서의 인페인트 소프트웨어 설정 이 글에서는 스테이블 디퓨전 용 AUTOMATIC1111 웹UI를 사용합니다. 원래 Mac에서도 사용할 수 있고, 구글 Colab에도 설치할 수 있지만, 저는 윈도에서 설치하는 방법만 정리했습니다. 스테이블 디퓨전..

ComfyUI - 구역 분할 프롬프트

예전에 Stable Diffusion - 구역 분할 프롬프트 사용법이라는 글에서, AUTOMATIC11111을 사용할 때 프롬프트를 구역별로 다르게 지정하는 방법을 설명했습니다. 이 글은 ComfyUI에서 비슷한 방법을 구현하는 방법을 설명합니다. 참고로 여기에 포함된 이미지(캡처 이미지 제외)는 대부분 ComfyUI의 워크플로가 포함되어 있으므로, 다운로드 받아 ComfyUI 캔버스에 Drag&Drop 또는 메인 메뉴에서 [Load] 버튼으로 읽어들여 사용할 수 있습니다. 이 글에서 다루는 내용은 아래와 같습니다. 소프트웨어 설치 간단 예제: 좌우 분할 4분할 봄 여름 가을 겨울 Visual Area Conditioning 노드 4분할 봄여름가을 - Visual Area Conditioning 노드 소..