Replicate Flux LoRA 학습기
언제 어디서든 쉽게 사용할 수 있는 생성형 AI
Replicate는 누구든 쉽게 생성형 AI를 이용할 수 있는 플랫폼입니다. 이 플랫폼에서는 개발자 혹은 호기심 많은 사람들이 전문적인 경험이나 지식 없이도 여러가지 AI 기술을 실험해볼 수 있습니다.
이미지 생성의 경우, Replicate에서는 여러 커뮤니티에서 제공하는 모델 및 도구를 다양하게 호스팅하고 있습니다. 사용자는 이미 올려져있는 템플릿을 사용하거나, 자신이 만든 템플릿을 사용하여 쉽게 이미지를 생성할 수 있습니다.
 |
 |
| Replicate 사용 가격 Replicate 사용가격은 일부 무료서비스가 있기는 하지만 대부분 유료이며, LoRA를 학습시키는 데는 2 달러 정도 듭니다. |
따라하기
0 단계: Github 계정 생성 및 로그인
Replicate 플랫폼을 이용하려면 먼저 Github 계정이 필요합니다. 계정이 없다면 여기에서 쉽게 생성할 수 있습니다. 그 다음 이 링크를 누르면 Replicate 사이트에 접속하게 됩니다. 몇가지 간단한 질문에 답변을 하면 가입됩니다.
| 참고: 이 유튜브 링크를 누르고, 바로 아래에 있는 https://replicate.com/invites/....라고 써져있는 링크를 누르면 10달러 크레딧을 받을 수 있다고 합니다. 프로모션이 끝난건지... 아니면 제가 이미 가입한 상태이기 때문인지, 잘 작동하는지 모르겠네요. |
1 단계: 비용 설정
Replicate.com의 비용은 사용량에 따라 결정됩니다. 자세한 내용은 Pricing 페이지를 참조하면 되는데, 아주 많은 내용이 있어서 자세한 내용은 말씀드리기가 힘듧니다. 다만, 이 글에서 사용하는 방법은 Nvidia H100을 사용하므로, 아래의 비용으로 청구되는 것 같습니다. 이미지를 생성하는 비용은 별도입니다.
LoRA 학습기를 이용하려면, 이 비용을 지불하기 위해 미리 billing 페이지에 접속하여 카드 정보를 입력해야 합니다.
2 단계: LoRA 학습기 접속
FLUX.1 Dev LoRA 학습기 페이지로 접속합니다.
3 단계: 템플릿 생성
아래로 내려가면 Destination 이라고 쓰여진 부분이 있습니다. 여기에 생성하고자하는 모델의 이름을 입력하고 "+ Create new model"을 누르면 아래와 같이 표시됩니다. 이때 모델명은 대문자는 허용되지 않으니 참고하세요.
4 단계: 이미지 업로드
LoRA 학습용 이미지 데이터세트를 zip 파일로 압축한 뒤, 맨 오른쪽에 있는 구름모양 버튼을 눌러 업로드합니다.
5 단계: 트리거 단어 입력
트리거(trigger) 단어란, LoRA를 활성화시키는데 사용하는 키워드입니다. 이 단어는 학습시키고자하는 이미지에 연결됨으로써, 프롬프트에 이 단어를 입력하면 해당 LoRA가 활성화됩니다.
트리거 단어는 기존에 존재하지 않는 새로운 단어, 혹은 LoRA의 개념에 부합하는 단어를 선택합니다.
6 단계: 자동 캡션 확인
이미지 캡션(설명)은 4단계에서 업로드한 zip 파일 속에 .txt 파일 형태로 미리 넣어둘 수도 있습니다(여기 참조). 그렇지 않을 경우, 이 "autocaption" 을 켜두면 각각의 이미지에 자동으로 설명이 추가됩니다. 설명이 없이도 LoRA가 잘 학습된다고 주장하는 분도 있지만, 저는 설명을 넣는 것이 낫다고 생각하기 때문에 이 옵션을 켜두기를 추천합니다. autocaption_prefix 와 autocaption_suffix는 그대로 비워둡니다.
7. 학습 설정
다음은 학습 단계 수와 LoRA Rank 비율 등 실제 학습 옵션입니다.
LoRA 학습에 대해 잘 모르실 경우, 이 두개의 값을 기본값으로 두시는 게 좋습니다. 첫번째 항을 2000 이상으로 올리면 추론 단계가 늘어나면서 (훈련 시간이 늘어나고 비용도 추가됩니다.) 더 나은 결과를 얻을 수도 있지만, 반드시 그런 것은 아닙니다. 처음에는 그냥 기본 값으로 시험해보시는 것을 추천합니다.
8. 학습 시작
이제 나머지 항목은 무시하고 맨 아래에 있는 "Create Training" 버튼을 누릅니다.
그러면 아래와 같은 화면으로 넘어가면서 계산을 시작합니다. 물론 지켜보셔도 되지만, 그냥 윈도를 닫아버려도 무방합니다. 약 20분에서 한시간 정도 소요됩니다.
9 단계: LoRA 다운로드
다 끝나게 되면, Replicate 계정의 Training 섹션에 LoRA 파일이 나타나게 됩니다. 아래와 같이 Succeeded가 나타난 상태에서 ID를 클릭한 후....
Output 아래에 있는 "Download weights"(빨간색 버튼)를 누르면 trained_model.tar라는 파일로 받아집니다. 이 파일을 압축해제하면 lora.safetensors라는 파일이 LoRA 파일입니다.
저의 경우, 18장의 사진을 사용했는데, 총 학습시간이 11분 정도 소요되었습니다.
LoRA 파일 사용하기
생성된 LoRA 파일은 Replicate.com 사이트에서 바로 이미지를 생성하는데 사용할 수 있습니다. 위의 그림에서 "Run trained model" 버튼을 누르면 됩니다. 아래와 같은 화면이 나오면 프롬프트, 기타 필요한 사항을 입력한 뒤, 맨 아래에 있는 "Run"버튼을 누르면 됩니다. 단, 프롬프트를 입력할 때 트리거(Trigger) 단어는 꼭 넣어주셔야 합니다.
하지만, 무엇보다 LoRA 파일을 다운로드 받아서 ComfyUI나 Forge 등의 웹 인터페이스에서 직접 사용하는 것이 효과적일 것입니다. 참고로, 이 LoRA는 Flux.1 dev를 기반 모델로 생성된 것이기 때문에 Flux.1 schnell에서는 잘 동작하지 않을 수 있습니다.
또한 LoRA 파일의 성격상, 입력 이미지 세트의 선택이나 여러가지 매개변수의 미세한 차이 등에 의해 원하는 이미지가 만들어지지 않을 가능성이 높다는 점은 고려해야 합니다. 아래는 제가 만든 신세경 배우님 LoRA를 사용해 생성한 이미지입니다. 총 9장을 생성했는데, 아래의 2장만 신세경 배우님을 닮았네요.
 |
 |
LoRA 라이선스 및 상업적 사용
Replicate.com은 Flux를 개발한 Black Forest Labs와 파트너십을 맺어서, 이미지 생성, 교육, 미세 조정 등을 상업적으로 활용할 수 있습니다.
하지만, LoRA 학습 자체는 FLUX.1 dev를 기반으로 이루어지므로, 그 결과물은 비-상업적 라이선스를 따라야 합니다. 따라서 이렇게 생성한 LoRA는 상업적으로 이용할 수 없습니다.
개인적인 생각
제가 LoRA를 만들어본 건 이번이 두번째인데, 생각보다 LoRA가 잘 안만들어집니다. 사진을 10~20장 만 잘 고르면 된다고는 하지만, 그 이후 LoRA 학습과정에서 매개변수를 바꿔가면서 여러번 테스트보고 가장 잘나오는 것을 골라야 하는데, 이렇게 온라인으로 비용을 지불하는 모델을 사용하기엔 좀 부담스럽네요. PC 성능이 좋다면 FluxGym을 사용해서 생성하는 게 제일 나을 듯 한데... 그것도 마땅치 않고요.
무엇보다... 이렇게 인물용 LoRA라면 구지 만들 필요가 있을까 싶어요. 아직 Flux의 경우엔 적용할 수 없기는 하지만, IP Adapter를 사용하면 LoRA를 만들지 않고도 쉽게 인물을 복제할 수 있으니까요.
다음에는 아는 작가분의 작품 스타일을 LoRA로 만들어볼까... 싶네요. ㅎㅎ
이상입니다.
이 글은 stablediffuson.blog의 글을 번역하면서 필요한대로 수정하여 작성한 글입니다.