ComfyUI ACE-Step 네이티브 예제

ComfyUI의 ACE-Step 음악 생성: StepFun과 ACE Studio의 Apache-2.0 오픈소스 모델을 사용한 텍스트-음악 및 음악 편집 워크플로.

ACE-Step은 중국 팀 StepFun과 ACE Studio가 공동 개발한 오픈소스 기초 음악 생성 모델로, 음악 창작자들에게 효율적이고 유연하며 고품질의 음악 생성 및 편집 도구를 제공하는 것을 목표로 합니다.

이 모델은 Apache-2.0 라이선스로 배포되며 상업적 사용도 무료입니다.

강력한 음악 생성 기반인 ACE-Step은 풍부한 확장성을 제공합니다. LoRA와 ControlNet 같은 미세 조정 기법을 통해 개발자들은 실제 필요에 맞게 모델을 커스터마이징할 수 있습니다.

오디오 편집, 보컬 합성, 반주 제작, 음성 클론, 스타일 전송 등 다양한 애플리케이션에서 ACE-Step은 안정적이고 신뢰할 수 있는 기술 지원을 제공합니다.

이 유연한 아키텍처는 음악 AI 애플리케이션 개발 과정을 크게 간소화하여 더 많은 창작자가 AI 기술을 음악 제작에 빠르게 적용할 수 있도록 해줍니다.

현재 ACE-Step는 LoRA 모델 학습을 포함한 관련 학습 코드를 공개했으며, 향후 해당 ControlNet 학습 코드도 공개될 예정입니다. 자세한 내용은 그들의 Github를 방문해 확인하실 수 있습니다.

로컬 사용자

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

• ComfyUI 다운로드
• 업데이트 가이드

이 가이드의 워크플로는 워크플로 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다.

워크플로를 로드할 때 노드가 누락되는 경우, 가능한 원인:

1. 최신 ComfyUI 버전(최신 테스트 버전(nightly))을 사용하고 있지 않음
2. 일부 노드가 시작 시 가져오기에 실패함

클라우드 사용자

• 클라우드는 ComfyUI 안정판 출시 후 업데이트됩니다.

따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.

​

ACE-Step ComfyUI 텍스트 기반 오디오 생성 워크플로 예시

​

1. 워크플로 및 관련 모델 다운로드

아래 버튼을 클릭해 해당 워크플로 파일을 다운로드하세요. 이를 ComfyUI로 드래그해 워크플로 정보를 로드하세요. 워크플로에는 모델 다운로드 정보도 포함되어 있습니다.

Json 형식 워크플로 파일 다운로드

또는 ace_step_v1_3.5b.safetensors를 수동으로 다운로드해 ComfyUI/models/checkpoints 폴더에 저장할 수도 있습니다.

​

2. 워크플로 단계별 완료하기

1. Load Checkpoints 노드가 ace_step_v1_3.5b.safetensors 모델을 로드했는지 확인하세요.
2. (선택사항) EmptyAceStepLatentAudio 노드에서 생성할 음악의 길이를 설정할 수 있습니다.
3. (선택사항) LatentOperationTonemapReinhard 노드에서 multiplier를 조정해 보컬의 볼륨을 제어할 수 있습니다(숫자가 높을수록 보컬이 더 두드러집니다).
4. (선택사항) TextEncodeAceStepAudio의 tags 필드에 해당하는 음악 스타일 등을 입력하세요.
5. (선택사항) TextEncodeAceStepAudio의 lyrics 필드에 해당하는 가사를 입력하세요.
6. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 오디오 생성을 실행하세요.
7. 워크플로가 완료된 후, Save Audio 노드에서 생성된 오디오를 미리 들을 수 있습니다. 클릭해 재생하고 들어보세요. 또한 오디오는 ComfyUI/output/audio 폴더에 저장됩니다(저장 위치는 Save Audio 노드에 따라 결정됨).

​

ACE-Step ComfyUI 오디오 기반 오디오 생성 워크플로

이미지 기반 이미지 생성 워크플로와 유사하게, 한 곡의 음악을 입력해 아래 워크플로를 사용해 리샘플링하고 음악을 생성할 수 있습니다. 또한 Ksampler의 denoise 파라미터를 조정해 원본 오디오와의 차이를 조절할 수 있습니다.

​

1. 워크플로 파일 다운로드

아래 버튼을 클릭해 해당 워크플로 파일을 다운로드하세요. 이를 ComfyUI로 드래그해 워크플로 정보를 로드하세요.

Json 형식 워크플로 파일 다운로드

다음 오디오 파일을 입력 오디오로 다운로드하세요:

입력용 예시 오디오 파일 다운로드

​

2. 워크플로 단계별 완료하기

1. Load Checkpoints 노드가 ace_step_v1_3.5b.safetensors 모델을 로드했는지 확인하세요.
2. 제공된 오디오 파일을 LoadAudio 노드에 업로드하세요.
3. (선택사항) TextEncodeAceStepAudio의 tags 및 lyrics 필드에 해당하는 음악 스타일과 가사를 입력하세요. 가사 제공은 오디오 편집에 매우 중요합니다.
4. (선택사항) Ksampler 노드의 denoise 파라미터를 수정해 샘플링 과정에서 추가되는 노이즈를 조정해 원본 오디오와의 유사성을 제어할 수 있습니다(값이 작을수록 원본 오디오와 더 유사해집니다; 1.00으로 설정하면 입력 오디오가 없는 것과 거의 동일합니다).
5. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 오디오 생성을 실행하세요.
6. 워크플로가 완료된 후, Save Audio 노드에서 생성된 오디오를 미리 들어볼 수 있습니다. 클릭해 재생하고 들어보세요. 또한 오디오는 ComfyUI/output/audio 폴더에 저장됩니다(저장 위치는 Save Audio 노드에 따라 결정됨).

ACE-Step 프로젝트 페이지에서 가사 수정 및 편집 기능을 구현해 원래 가사를 변경해 오디오 효과를 바꿀 수도 있습니다.

​

3. 추가 워크플로 참고사항

1. 예시 워크플로에서는 TextEncodeAceStepAudio의 tags를 male voice에서 female voice로 변경해 여성 보컬을 생성할 수 있습니다.
2. TextEncodeAceStepAudio의 lyrics를 수정해 가사를 변경하고 생성된 오디오를 바꿀 수도 있습니다. 자세한 내용은 ACE-Step 프로젝트 페이지의 예시를 참조하세요.

​

ACE-Step 프롬프트 가이드

ACE는 현재 두 가지 유형의 프롬프트를 사용합니다: tags와 lyrics.

• tags: 주로 음악 스타일, 장면 등을 설명하는 데 사용됩니다. 다른 생성 작업에서 사용하는 프롬프트와 비슷하며, 주로 전체적인 스타일과 요구 사항을 영어 쉼표로 구분해 설명합니다.
• lyrics: 주로 가사를 설명하는 데 사용되며, [verse], [chorus], [bridge]와 같은 가사 구조 태그를 지원해 가사의 각 부분을 구분할 수 있습니다. 순수한 연주곡의 경우 악기 이름을 입력할 수도 있습니다.

ACE-Step 모델 홈페이지에서 tags와 lyrics의 풍부한 예시를 확인할 수 있습니다. 이러한 예시를 참고해 원하는 효과를 얻을 수 있는 프롬프트를 빠르게 시도해 보세요. 이 문서의 프롬프트 가이드는 프로젝트를 기반으로 정리되어 있어 여러분이 빠르게 조합을 시도해 원하는 효과를 얻을 수 있도록 돕습니다.

​

Tags (프롬프트)

​

주류 음악 스타일

짧은 태그 조합을 사용해 특정 음악 스타일을 생성하세요.

• electronic
• rock
• pop
• funk
• soul
• cyberpunk
• Acid jazz
• electro
• em (전자 음악)
• 부드러운 전자 드럼
• 멜로딕

​

장면 유형

특정 사용 장면과 분위기를 결합하여 해당 분위기에 맞는 음악을 생성합니다.

• 파티용 배경음악
• 라디오 방송
• 운동 플레이리스트

​

악기 요소

• 색소폰
• 재즈
• 피아노, 바이올린

​

보컬 유형

• 여성 보컬
• 남성 보컬
• 클린 보컬

​

전문 용어

음악에서 흔히 사용되는 일부 전문 용어를 사용해 음악 효과를 정밀하게 제어하세요.

• 110 bpm (분당 박자 수 110)

• 빠른 템포

• 느린 템포

• 루프

• 필

• 어쿠스틱 기타

• 일렉트릭 베이스

​

Lyrics

​

가사 구조 태그

• [outro]
• [verse]
• [chorus]
• [bridge]

​

다국어 지원

• ACE-Step V1은 여러 언어를 지원합니다. 사용 시 ACE-Step는 각 언어를 영어 알파벳으로 변환한 뒤 음악을 생성합니다.
• ComfyUI에서는 모든 언어를 영어 알파벳으로 변환하는 기능을 완전히 구현하지 않았습니다. 현재는 일본어 히라가나 및 카타카나 문자만 구현되어 있습니다. 따라서 여러 언어를 사용해 음악을 생성하려면 먼저 해당 언어를 영어 알파벳으로 변환한 뒤, lyrics의 앞부분에 언어 코드 약자를 입력해야 합니다. 예를 들어 중국어 [zh], 한국어 [ko] 등이 있습니다.

예시:

[verse]

[zh]wo3zou3guo4shen1ye4de5jie1dao4
[zh]leng3feng1chui1luan4si1nian4de5piao4liang4wai4tao4
[zh]ni3de5wei1xiao4xiang4xing1guang1hen3xuan4yao4
[zh]zhao4liang4le5wo3gu1du2de5mei3fen1mei3miao3

[chorus]

[verse]​
[ko]hamkke si-kkeuleo-un sesang-ui sodong-eul pihae​
[ko]honja ogsang-eseo dalbich-ui eolyeompus-ileul balaboda​
[ko]niga salang-eun lideum-i ganghan eum-ag gatdago malhaess-eo​
[ko]han ta han tamada ma-eum-ui ondoga eolmana heojeonhanji ijge hae

[bridge]
[es]cantar mi anhelo por ti sin ocultar
[es]como poesía y pintura, lleno de anhelo indescifrable
[es]tu sombra es tan terca como el viento, inborrable
[es]persiguiéndote en vuelo, brilla como cruzar una mar de nubes

[chorus]
[fr]que tu sois le vent qui souffle sur ma main
[fr]un contact chaud comme la douce pluie printanière
[fr]que tu sois le vent qui s'entoure de mon corps
[fr]un amour profond qui ne s'éloignera jamais

현재 ACE-Step는 19개 언어를 지원하지만, 다음 열 가지 언어는 더 나은 지원을 제공합니다:

• 영어
• 중국어: [zh]
• 러시아어: [ru]
• 스페인어: [es]
• 일본어: [ja]
• 독일어: [de]
• 프랑스어: [fr]
• 포르투갈어: [pt]
• 이탈리아어: [it]
• 한국어: [ko]

위 언어 태그는 이 문서 작성 시 완벽히 테스트되지 않았습니다. 만약 어떤 언어 태그가 잘못되었다면, 문서 저장소에 이슈를 제출해주시기 바랍니다. 저희가 적시에 수정하겠습니다.

​

ACE-Step 관련 자료

• 프로젝트 페이지
• Hugging Face
• GitHub
• 학습 스크립트