이 글에서는 엄마 아빠의 얼굴을 사용해서 자식의 얼굴을 생성하는 워크플로를 소개합니다. 아래는 그 예입니다.
 |
 |
 |
이 글의 내용은 아래와 같습니다.
소프트웨어
이 글에서는 노드 기반의 스테이블 디퓨전 GUI인 ComfyUI를 사용합니다. ComfyUI가 처음이신 분은 설치 및 기초 사용법과 초보자 가이드를 참고하세요.
따라 해보기
이 워크플로에서는 IP-adapter를 사용합니다. IP-adapter는 이미지를 프롬프트로 사용하는, 특수한 형태의 콘트롤넷으로, 얼굴을 복사하도록 학습되어 있습니다. 즉, 넣어준 이미지와 비슷한 얼굴을 생성하는데 사용합니다. 여기에서는 엄마 아빠 얼굴에 대해 각각 IP-adapter를 적용합니다.
1단계 : ComfyUI 워크플로 다운로드
먼저 아래의 그림이나 json을 다운로드 받고 ComfyUI 캔버스에 Drag&Drop합니다. 그러면 워크플로를 사용할 수 있습니다.
필요시에는 ComfyUI를 최신 버전으로 갱신하거나, 빠진 커스톰 노드를 설치하거나, 혹은 ComfyUI 매니저를 설치하거나 모든 커스톰 노드를 갱신해야 할 수 있습니다.
2단계 : 모델 다운로드
체크포인트 모델은 Realistic Vision을 사용합니다. 다운로드 받은 모델은 ComfyUI\models\checkpoints 폴더에 넣어주시면 됩니다(AUTOMATIC1111과 공유할 경우, 여기를 읽어보세요) 다운로드가 끝난 후, Refresh(F5)를 누르면 선택할 수 있습니다.
IP-adapter는 모델은 ip-adapter-plus-face_sd15.bin을 다운로드 받습니다. 다운로드 받은 파일은 ComfyUI\custom_nodes\ComfyUI_IPAdapter_plus\models에 넣어줍니다. 모델을 다운로드 받은 후, 파일 확장자를 .bin에서 .pth로 변경해줍니다(즉, ip-adapter-plus-face_sd15.pth 로 바꿉니다). 다운로드가 끝난 후, Refresh(F5)를 누르면 선택할 수 있습니다.
다음으로 SD 1.5 CLIP vision 모델을 다운로드 받아 ComfyUI\models\clip_vision폴더에 넣어줍니다. 원 파일 이름은 model.safetensors 인데 적당히 clip_vision_sd15.safetensors 정도로 바꿔주시면 좋습니다.
3단계 : 엄마 아빠의 얼굴 사진 업로드
엄마 아빠의 얼굴을 각각 Father Image, Mother Image에 넣어줍니다.
4 단계 : 자식의 이미지 생성
아래는 이 워크플로에 포함된 대략적인 설정입니다.
모델: RealisticVisionV60B1_v51VAE
프롬프트: 2 year old boy, t-shirt, rim lighting, side lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores
부정적 프롬프트: disfigured, deformed, ugly, nude, nsfw, sexy
샘플링 방법: DPM++ 2M Karras
샘플링 단계: 25
CFG 척도: 8
메뉴바의 [Queue Prompt] 를 누르면 자식의 이미지가 생성됩니다. 아래는 그 결과입니다. 두 사람의 얼굴 특징이 잘 들어가 있네요.
 |
 |
동양인 테스트
Stable Diffusio 모델은 대부분 서양인을 기준으로 학습되었습니다. 동양인의 얼굴은 별로 잘 생성해 내지 못하죠. 그래서 테스트해보기로 했습니다. 여자는 김태희, 남자는 장동건입니다. 얼굴은 정면을 향한 사진으로 선택했습니다.
 |
 |
아래가 결과입니다. 김태희와 장동건 얼굴이 반영된 것 같기도 하고... 아닌것 같기도 하고... 하도 조각들이라서 잘 모르겠네요. ㅠㅠ
 |
 |
사실 우리 가족 사진으로도 테스트해봤지만.... 결과는 생략하겠습니다. ㅎ
맞춤 변경
프롬프트에서 아래와 같이 나이와 성별을 바꿔서 테스트해볼 수 있습니다.
- 10 year old girl
- 20 year old man
엄마 아빠 둘의 얼굴을 공평하게 닮지 않고, 한쪽을 더 많이 닮게 하려면, Father weight 와 Mother weight 를 바꿔주면 됩니다. 값을 높이면 영향이 강해집니다.
이상입니다.
민, 푸른하늘
====
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 초보자 가이드
- ComfyUI를 위한 유용한 정보
- ComfyUI 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기