[로이슈 전여송 기자] 재즈 피아니스트가 연주를 멈추자 ‘재즈 AI 아티스트’가 그 흐름을 이어받아 피아노를 연주했다. 연주자의 속도와 리듬이 달라져도 AI는 자연스럽게 자신의 차례를 이어갔다. 피아니스트가 즉흥연주를 시작하자 AI가 베이스와 드럼 반주를 만들어내기도 했다. KAIST 연구진이 사람의 연주를 듣고 즉석에서 반응하며 함께 음악을 만들어가는 AI 기술을 실제 재즈 무대에서 선보였다.

KAIST(총장 배충식)는 문화기술대학원 남주한 교수 연구팀이 사람의 연주 흐름을 실시간으로 파악해 연주를 이어받거나 즉흥 반주를 생성하는 인간-AI 음악 협업 기술을 지난 10월 9일부터 11일까지 열린 제23회 자라섬재즈페스티벌의 ‘재즈 AI 라운지(Jazz AI Lounge)’ 무대에서 선보였다고 16일 밝혔다. 이번 공연에는 재즈 아티스트 12명이 참여해 총 12개 공연, 26곡에서 AI와 협연했다.

재즈는 연주자가 그 순간의 느낌에 따라 연주 속도를 바꾸거나 새로운 선율을 만들어내는 즉흥성이 특징이다. 같은 곡도 매번 다르게 연주되기 때문에 다른 연주자들은 서로의 소리를 들으며 호흡을 맞춰야 한다. AI가 재즈 연주에 참여하려면 정해진 음악을 재생하는 것을 넘어, 사람의 연주를 듣고 변화에 맞춰 반응할 수 있어야 한다.

연구팀은 이를 위해 사람의 연주를 이어받는 ‘AI 피아니스트’와 즉흥연주에 맞춰 반주를 만드는 ‘AI 반주자’를 실제 무대에 적용했다.

먼저 AI 피아니스트 ‘스콧(Scott)’은 허대욱, 곽정민 피아노 트리오, 문미향X김대호 등 재즈 아티스트들과 9곡을 협연했다. AI는 연주자의 실제 연주와 악보를 실시간으로 비교해 곡이 어디까지 진행됐는지 파악하고, 적절한 순간에 피아노 연주를 이어받았다.

특히 연주자가 속도를 늦추거나 연주 시간을 달리해도 미리 정해진 시간표가 아닌 실제 연주 흐름에 맞춰 자신의 차례를 이어갔다. 일부 무대에서는 앞선 연주자의 선율과 리듬을 반영한 새로운 솔로 연주까지 생성해 사람과 AI가 서로 화답하듯 연주를 주고받았다.

AI가 만든 음악은 야마하의 자동연주 피아노 ‘디스클라비어(Disklavier)’로 전달돼 실제 건반과 페달의 움직임으로 구현됐다. 무대 위 AI 피아니스트 ‘스콧(Scott)’의 모습은 KAIST·서울대학교·야마하가 공동 개발한 피아니스트 손동작 생성 기술 ‘팁피아노(Tipiano)’로 만든 손 움직임 데이터를 바탕으로 스튜디오 메타케이(Studio Meta K)가 캐릭터 영상으로 제작했으며, 스튜디오 메타케이는 증강현실(AR) 기술로 무대 카메라 영상과 캐릭터를 결합해 ‘스콧’이 실제 피아노 앞에서 연주하는 듯한 장면을 연출했다.

또 다른 무대에서는 AI가 사람의 즉흥연주를 듣고 그 자리에서 반주를 만들어냈다.

연구팀이 개발한 AI 반주 시스템 ‘딥포켓(Deepocket)’은 피아노 연주의 음과 리듬, 빠르기를 분석해 베이스와 드럼 반주를 실시간으로 생성한다. 재즈 피아니스트 안현빈, 이지영, 지민도로시와 함께한 8곡에서 사전에 반주를 준비하지 않고도 연주 시작부터 끝까지 호흡을 맞췄다.

기타리스트 정용도, 강지웅, 안재진과 함께한 9곡에서는 또 다른 AI 시스템이 피아노 반주를 맡았다. 기타 연주가 강해지거나 부드러워지면 AI도 반주의 세기와 리듬을 조절하고, 연주자의 의도에 따라 반주 길이도 바꿨다.

이처럼 AI는 사람의 연주를 듣고 반응했으며, 연주자 역시 AI가 만들어낸 반주에 맞춰 새로운 연주를 이어갔다. 미리 준비한 음악을 틀어주는 것이 아니라 사람과 AI가 서로의 소리에 반응하며 하나의 음악을 완성한 것이다.

남주한 교수 연구팀은 2023년 소프라노 조수미와의 공연에서도 사람의 노래 진행에 맞춰 AI 피아노의 반주 시점을 조절하는 기술을 선보인 바 있다. 이번에는 이를 한 단계 확장해, 연주자의 순간적인 선택에 따라 음악이 달라지는 재즈 무대에서 AI가 직접 솔로와 반주를 만들어내는 협연을 구현했다.

이번 성과는 AI가 단순히 음악을 연주하는 도구를 넘어 사람과 함께 음악을 만들어가는 협연 파트너로 발전할 가능성을 보여준다. 향후 공연과 음악 창작은 물론, 혼자 연습하는 연주자에게 실시간으로 반응하는 AI 합주 파트너나 맞춤형 음악교육에도 활용될 것으로 기대된다.

남주한 교수는 “이번 공연은 AI가 정해진 음악을 연주하는 것을 넘어, 사람의 연주를 듣고 그 흐름에 맞춰 함께 음악을 만들어갈 수 있음을 실제 무대에서 보여준 사례”라며 “앞으로 AI가 단순한 연주 도구를 넘어 사람과 음악적 영감을 주고받는 협연 파트너로 발전할 수 있도록 연구를 이어가겠다”고 말했다.

계명국 자라섬재즈페스티벌 감독은 “자라섬재즈는 재즈와 새로운 기술의 만남을 통해 공연의 가능성을 꾸준히 넓혀왔다”며 “이번 공연은 AI가 사람의 연주에 반응하며 함께 음악을 만들어가는 새로운 협연의 가능성을 관객들에게 보여준 뜻깊은 시도였다”고 말했다.

이번 무대는 자라섬재즈페스티벌이 기획하고, KAIST 남주한 교수 연구팀(MACLab)이 AI 협연 기술을, Studio Meta K가 AI 연주의 시각화를 담당했다. 한국콘텐츠진흥원의 ‘2026 신기술융합음악콘텐츠개발지원’ 사업의 일환으로 진행됐다.

전여송 로이슈(lawissue) 기자 arrive71@lawissue.co.kr