기존의 이미지에서 배경만 새로운 인공지능 배경으로 생성할 수 있습니다. 이 워크플로는 이미지의 전경(또는 주체)는 변경하지 않고, 원 이미지의 배경과 일관성이 있는 새로운 배경을 생성합니다. 원하는 배경을 지정할 수도 있고요.
아래는 원 이미지 입니다(인터넷에서 향수로 검색해서 찾은 이미지중 하나입니다).
아래는 새로운 인공지능 배경으로 교체한 이미지입니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력한 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
워크플로 개요
이 워크플로는 이미지 배경 삭제하기에서 사용했던 BRIA 모델을 사용해서 배경을 삭제하고 마스크를 만든 후, SDXL 모델을 사용해 배경을 인페인팅하는 방법을 사용합니다. 생성되는 배경은 depth 콘트롤넷을 사용해 제어합니다.
따라하기
1 단계: 모델 다운로드
체크포인트 모델
Juggernaut xl 모델을 다운로드 받아 ComfyUI\models\checkpoints 에 넣어줍니다. A1111과 모델을 공유할 경우, 여기를 읽어보세요.
Depth 콘트롤넷 모델
SDXL Depth ControlNet LoRA를 다운로드 받아 ComfyUI\models\controlnet에 넣어줍니다.
BRIA 모델
BRIA 배경 제거 모델을 다운로드 받아, ComfyUI\custom_nodes\ComfyUI_BRIA_AI-RMBG\RMBG-1.4 폴더에 넣어줍니다.
2 단계: 워크플로 다운로드
아래의 워크플로를 다운로드 받아, ComfyUI 화면에 Drag&Drop 합니다.
이 워크플로를 불러오면 대부분 오류가 발생할 것입니다. 그러한 경우, 다음과 같은 작업이 필요합니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3 단계: 입력 이미지 불러오기
원하는 이미지를 [Load Image] 노드에 불러옵니다. 아래의 이미지를 사용하셔도 됩니다.
4 단계: 프롬프트 검토
아래는 현재의 프롬프트입니다. 원하시는 배경에 맞춰 편집해주시면 됩니다.
프롬프트: product photo of a perfume bottle on wooden expensive table, modern house background
5 단계: 이미지 생성
이제 [Queue] 버튼을 누르면 이미지가 생성됩니다.
아래는 프롬프트를 product photo of a perfume bottle on a beach 로 변경해 생성한 이미지입니다.
이 글은 stable-diffusion-art.com의 글을 번역하면서 제가 테스트하여 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기