이미지 생성형 인공지능 모델 FLUX를 개발한 Black Forest Labs(이하 BFL)에서 Flux Pro 미세조정 API를 발표했습니다. Flux Pro는 Replicate나 fal.ai 와 같은 파트너사에서만 사용할 수 있어서, 그 동안에는 기본 base 모델로만 이미지를 생성할 수 있는데, 이번 미세조정 API를 사용하면 사용자가 원하는 인물, 물체, 브랜드, 스타일 등을 추가할 수 있다는 것입니다.
이 기능은 기본적으로 Flux Dev에서 LoRA를 학습하는 것과 비슷하다고 볼 수 있지만, Flux.1 pro 뿐만 아니라, Flux 1.1 pro Ulta 혹은 Raw 모델에도 사용할 수 있다는 점이 중요하다고 할 수 있습니다. 즉, FLUX Pro 미세조정 API를 사용하면 자신만의 이미지나 컨셉을 Flux.1 pro 또는 Flux1.1 pro와 결합하여 최고 4 메가 픽셀짜리 이미지를 생성할 수 있습니다.
현재 civitai.com에 가보시면 Flux.1 dev용 LoRA가 수없이 많이 올라와 있는데, 자체 조사에 따르면 이들 미세조정 도구보다, Flux Pro 미세조정을 좋아하는 비율이 68.9%라고 합니다.
FLUX pro 미세조정은, 사용자가 제공한 1~5개의 이미지만 있으면 생성할 수 있다고 합니다. 아래는 BFL 로고가 박힌 스티커 이미지를 사용하여 미세조정한 후 이를 이용해 이미지를 생성한 예입니다.
또 아래는 반려견 이미지로 미세조정한 후 생성한 이미지의 예입니다.
또한, Flux pro 미세조정의 경우, Flux.1 Fill [pro]에도 적용되기 때문에, 인페인트에서도 사용할 수 있다고 합니다. 아래는 차례대로 인물/옷/반려견/로고스티커를 인페인트로 채워넣는 예입니다.
응용 사례
BFL은 독일의 미디어/엔터테인먼트 그룹인 BurdaVerlag와 파트너십을 맺고, FLUX Pro 미세조정 API를 사용해 전문적인 컨텐츠 생성방법을 사용 사례로 제시하였습니다. 즉 BurdaVerlag 의 어린이용 브랜드 Lissy PONY를 맞춤화하여, 아래와 같이 다양한 미디어 포트폴리오를 생성하였습니다.
BurdaVerlag의 콘텐츠 생성 팀에서는 이러한 기능을 이용해 기존의 워크플로를 대폭 수정하여, 브랜드에 일관성있는 이미지를 훨씬 다양하게 빠르게 생성할 수 있게 되었습니다. 이를 통해 콘텐츠 생성 속도가 빨라졌을 뿐아니라, 디지털/인쇄 플랫폼에서 훨씬 풍부하고 다양한 콘텐츠를 생성할 수 있게 되었다고 합니다. 흠... 이게 콘텐츠 제작 부서에 근무하는 사람들에게도 좋은 소식일지는 모르겠네요.
관심있으신 분들은 미세조정 API 문서 및 미세조정 API 가이드를 참고하시기 바랍니다.
이상입니다.
이 글은 BFL 의 보도자료를 참고하여 작성하였습니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)