이 글은 흑백사진 속에 중심이 되는 객체만 빨간색(또는 다른 색)으로 강조하는 아래와 같은 이미지를 생성하는, 매우 간단한 워크플로를 설명합니다.
 |
 |
 |
 |
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
따라하기
1단계: 모델 다운로드
이 글에서는 Juggernaut XL 모델을 사용합니다. 다운로드 받은 후, ComfyUI\models\checkpoints 폴더에 넣어줍니다. A1111과 모델을 공유하시는 분은 여기를 참고하세요.
2 단계: 워크플로 불러오기
아래의 JSON 파일을 ComfyUI에 불러옵니다. 좌측위의 Workflow->Open 메뉴를 사용하면 됩니다.
이 워크플로는 대부분 그냥 그대로 사용할 수 있지만, 때때로 오류가 발생할 수 있습니다. 그러한 경우, 다음과 같은 작업이 필요할 수 있습니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3 단계: 프롬프트 점검
현재의 프롬프트는 파리의 뒷골목을 흑백사진으로 배경을 만들고, 빨간 스포츠가 서있는 이미지를 생성합니다.
프롬프트: photo in black and white and red, sport car in red, paris street, quiet, messy
4 단계: 실행하기
[Queue] 버튼을 누르면 워크플로가 실행됩니다. 아래는 생성된 이미지의 예입니다.
아래는 다른 예입니다.
프롬프트: photo in black and white and red, bond girl in designer red dress, full body, looking at the viewer, very detailed face, detailed red lips, walking pose, sexy, black sleeved gloves, independent woman, long antique portico, detailed eyes
빨간 우산
프롬프트: photo in black and white and red, a woman holding a red umbrella on a narrow rainy messy street
빨간 꽃
프롬프트: photo in black and white and red, a chair, a red flower on a window and a door, Eric Deschamps, beautiful composition, a still life, art photography
워크플로 설명
이 워크플로는 SDXL 워크플로를 간단하게 적용할 수 있는 Efficiency Nodes를 사용하여 구성하였습니다.
제일 왼쪽은 ControlNet을 적용하는 부분입니다. 현재는 disable 시켜두었습니다.
두번째 열 위의 [LoRA Stacker]는 여러개의 LoRA를 적용하는 부분입니다. 현재는 생성되는 이미지 품질을 올려주는 세가지 LoRA 를 적용해 두었습니다. 사용하고 싶지 않으시다면 위에서 두번째의 lora_count를 0으로 바꿔주시면 됩니다.
두번째 열 아래는 [SDXL Prompt Styler] 노드입니다. 긍정적 프롬프트와 부정적 프롬프트 아래에 스타일을 바꿔주면 되는데, 현재는 misc-monochrome 즉 흑백사진을 지정했습니다. 이 스타일을 지정하면 정해진 객체 외에는 거의 빨간색이 나타나지 않습니다.
세번쨰 줄 아래는 [🔳 CR SDXL Aspect Ratio] 노드입니다. SDXL의 기본 이미지 크기를 지정할 수 있는데, 현재는 3:2 landscape로 지정해 두었습니다.
인페인트 추가한 워크플로
이미지를 생성하다보면, 원하지 않은 곳에 빨간색이 나타나는 등 일부만 수정하고 싶을 때가 있습니다. 이렇게 일부만 수정해서 새로 생성하는 기능을 인페인트(inpaint)라고 합니다. 아래는 인페인트 기능을 추가한 워크플로입니다.
워크플로 맨 좌측을 보시면 [Fast Groups Muter] 노드가 있습니다. 아래처럼 "Generate" 를 활성화시키고 돌리면, 위의 워크플로와 똑같이 작동합니다.
전반적으로 마음에 들어서 인페인트로 수정하고 싶다면, 아래와 같이 [Fast Muter Groups] 노드를 수정해준 뒤,
아래와 같이 마스크를 생성하고 다시 [Generate] 버튼을 눌러주면 Mask 부분만 수정된 새로운 이미지가 생성됩니다. 마스크를 생성할 때에는 [Image Receiver] 노드의 이미지를 우클릭한 후, "Open in MaskEditor"를 클릭해주면 됩니다.
 |
 |
아래는 이렇게 인페인팅한 결과입니다. 뒷부분에 보이던 빨간색이 사라졌음을 볼 수 있습니다.
 |
 |
이상입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기