이 워크플로는 Flux dev GGUF 모델을 사용하여 사이버펑크 스타일 이미지를 생성하는 워크플로입니다. 생성된 이미지는 AI 업스케일러를 사용해 4배 확대합니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
따라하기
1 단계: Flux1 dev GGUF 모델 다운로드
여기에는 간단하게만 정리했습니다. 더 자세한 내용은 이 글을 참고하세요.
GGUF unet 모델
아래 사이트에서 파일을 다운로드 받아, ComfyUI\models\unet 폴더에 넣어줍니다.
여기에는 아주 많은 파일이 들어있는데, 다 받을 필요는 없습니다. 저는 f16, Q8_0, Q3_K_S 등 세가지 종류만 받았습니다.
CLIP 모델
아래 사이트에서 파일을 다운로드 받아, ComfyUI\models\clip 폴더에 넣어줍니다. 마찬가지로 다 받을 필요가 없고, 다운로드 받은 unet과 동일한 버전만 받으시면 됩니다.
vae 모델
마지막으로 vae 모델이 필요합니다. 여기에 들어가서 다운로드 받은뒤, ComfyUI_windows_portable\ComfyUI\models\vae 폴더에 넣어주시면 됩니다. 원하시면 구분하기 쉽도록 파일명을 flux-dev-gguf.safetensors 로 변경해주시면 좋습니다.
2 단계: Flux용 LoRA 모델 다운로드
아래의 LoRA를 다운로드 받아, ComfyUI\models\lora 폴더에 넣어줍니다. A1111과 모델을 공유할 경우, 여기를 참고하세요)
- Luminous Shadowscape
- Cyberpunk Anime Style
- FLUX [pro] 1.1 Style Lora – Extreme Detailer for [FLUX.1-dev] – FLUX v0.1
3 단계: Upscaler 모델 다운로드
아래의 업스케일러 모델을 다운로드 받아, ComfyUI\models\upscale_models 폴더에 넣어줍니다.
4 단계: 워크플로 불러오기
아래의 JSON 파일을 다운로드 받아서, ComfyUI 화면에 Drag&Drop 합니다.
이 워크플로를 불러오면 대부분 오류가 발생할 것입니다. 그러한 경우, 다음과 같은 작업이 필요합니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
5 단계: 프롬프트 검토
아래는 프롬프트입니다. 보라색 머리를 하고 금색 꽃무니가 있는 옷을 입고 있는 여인이, 거대한 사이버펑크 메카닉 앞에 서있는 모습입니다. 이 워크플로에서 LoRA는 이 프롬프트를 구현할 수 있도록 설정한 것이므로, 수정하더라도 크게 벗어나지 않는 것이 좋습니다.
프롬프트: A low angle portrait of a young woman purple short hair in a dress with intricate floral pattern golden thread, ornate, intricate Exquisite details textures,anachronistic metallic accents, blend of futuristic and traditional aesthetics. The woman is posed against the backdrop of a colossal, meticulously detailed powerful steampunk mech, burnished metallic surfaces. A small gray bird standing on the shoulder of the steampunk mech mythp0rt cyberpunk anime
6 단계: 이미지 생성
이제 [Queue] 버튼을 누르면 이미지가 생성될 것입니다.
 |
 |
워크플로 설명
이 워크플로에서는 3개의 LoRA 를 사용하고 있습니다.
이 중에서 어떤 LoRA를 사용하지 않으려면, strenth_model과 strength_clip을 모두 0으로 설정하면 됩니다. 하지만, 그보다, [Load LoRA] 노드를 우클릭한 후, "Bypass"를 선택하면 됩니다. 또는 키보드로 Cntl+B를 누르면 bypass를 활성화/비활성화 시킬 수 있습니다.
아래는 모든 LoRA를 사용하지 않을때와 사용할 때를 비교해본 것입니다.
 |
 |
스타일 변경
Luminous Shadowscape LoRA는 바랜듯한 색을 연출합니다. strength를 조절하면 이 효과를 제어할 수 있습니다.
 |
 |
 |
| strength=0 | strength=0.5 | strength=1.0 |
Extreme Detailer LoRA는 디테일을 얼마나 추가할 것인지를 결정합니다.
 |
 |
 |
| strength=0 | strength=0.5 | strength=1.0 |
이상입니다.
민, 푸른하늘
이 글은 stable-diffusion-art.com의 글 을 GGUF 용으로 바꾸어 작성한 글입니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기