연구 배경 및 동기

대부분의 사람들은 일상에서 음악을 자주 접하며 개인적 체험으로서 음악이 갖고 있는 감정적 힘을 느낀다. 현대사회에서 음악은 대중 예술 상품의 하나로서 소비되곤 하지만 종종 개인이 겪은 어떤 사건이나 경험과 강하게 연합되어 감정과 기억을 불러일으키기도 한다. 사회적 차원에서 한 세대의 음악은 그 세대의 정체성 형성 및 사회적 감정 소통 방식에 심오한 영향을 주기도 한다.

신경과학 전문가이자 전문 음악인인 Daniel Levitin 교수는 그의 저서 "음악이 당신의 뇌에 미치는 영향(This Is Your Brain on Music, Plume/Penguin 2007)" 에서 우리 인간이 음악을 사랑하는 이유와 음악의 영향력을 그의 음악적 체험과 과학의 언어로 풀어내었다. 음악적 선호도와 같은 일상적 현상으로부터 인지심리학 실험, 뇌신경해부학, 뇌신경화학적 연구 성과를 바탕으로 우리의 뇌가 음정(interval), 음높이(pitch), 리듬(rhythm), 음색(timbre)과 같은 음악적 요소를 처리하는 방식과 음악이 불러일으키는 감정적, 인지적 반응의 기작을 통합적으로 설명하려는 시도를 한 것이다. 한마디로 Levitin의 저서는 음악과 인간의 상호작용에 대한 놀라운 통찰을 제공하고 있다. 여기서 서술하진 않겠지만, 뇌가 음높이, 음정, 리듬, 음색, 화음과 같은 기본적인 음악적 요소를 인지하는 방식은 놀랍도록 현대의 인공지능 학습 이론의 아이디어들과 맞닿아 있기도 하다.

음악과 인간 상호작용의 첫 단계는 우리의 청각 기관인 귀로 들어온 음파 신호가 물리적으로 변환, 증폭되고 감지되는 과정이다. 이러한 청각 센싱의 방식과 관련하여 노벨물리학상 수상자이자 아마추어 음악인이었던 Dennis Gabor는 양자역학적 음향소(acoustical quanta) 개념을 제시하고 Heisenberg의 불확정성 원리와 닮은 청각 이론을 제안하였었다. Gabor의 음소는 수학적으로 가우시안 정현파(sinusoidal wave) 형태로 표현되며 물리학적으로 시간 공간에서의 펄스 신호 또는 주파수 공간에서 특정 대역을 차지하는 신호를 표상한다. 이러한 단순한 개념이 현대 전자음향 이론의 기초가 되었으며 특히 Granular Synthesis라고 하는 전자음악 생성 방식의 토대가 되었다. 현대 전자음악에 대해 크게 기여한 것과는 대비되어, Gabor의 청각 이론이 현대 과학이 밝혀낸 내이의 구조 및 작동 방식과 어떻게 연결되어 있는지에 대해서는 아직 자세하게 연구된 바가 없다

그림 1 양자역학적 음향소의 수학적 표현 (Nature 1947). Gabor가 제안한 소리 인식의 최소

단위로서 가우시안 정현파의 주기, 시간 폭, 최대 진폭, 위상으로 수치화할 수 있음.

한편, Dennis Gabor는 시각에도 관심을 갖고 Gabor패치라고 부르는 시각 훈련 방법을 고안하기도 하였다. 위에서 소개한 음소가 1차원 신호라면 Gabor 패치는 2차원 공간의 가우시안 정현파 펄스 형태로서 각 패치의 모드는 정현파의 주기펄스 폭 및 패턴의 공간적 방향으로 정의된다. Gabor의 시각 훈련에서는 여러 모드의 패치들을 이용하여 눈의 근육 사용을 유도하고 뇌의 시각 정보 처리 회로를 자극한다. 특히, 후자와 관련하여 뇌의 시각 뉴런들의 수용 패턴이 Gabor 패치의 패턴과 유사함이 밝혀짐으로써 그러한 훈련 방식의 뇌과학적 근거가 마련되었다. 일본에서는 시력 개선을 위한 안과 처방의 하나로서 인정되었고 한때 Gabor 패치 기반의 시력 훈련 도서들이 출판되어 대중 사이에서 유행하기도 했었다. 최근에는 GaborGame이라는 휴대폰 게임 앱이 출시되어 있다.

그림 2 Gabor 패턴의 예. 시각 훈련 시에는 여러 개의 패턴이 동시에 주어지며 동일한 패턴을 찾거나

다른 패턴을 분별하는 방식으로 훈련이 이루어짐.

본 초학제 연구단에서는 Gabor의 음향소 개념을 활용하여 Gabor 패치와 유사한 방식으로 청각 훈련을 고안하고 이를 통해 청각이 작동하는 과정을 이해하고 청각 요소들을 자극하는 방법론을 개발하고자 한다. 동시에, 기존 클래식 음악 연주(특히, 피아노곡)에서 청각 기관의 물리적인 작동 방식과 연결된 요소들이 존재하는지를 분석하고자 한다이를 통해 음악과 기억과의 관계 (음악이 사건과 경험을 기억하게 하는 방식), 음악과 신체와의 관계 (심박수와 호흡의 변화와 같은 신체적 반응과 음악과의 관계) 음악과 정신적 상태와의 관계를 탐구하는 새로운 관점을 제시하고 한다.

연구 범위 및 내용

Gabor가 그의 논문에서 소개한 인간의 소리 인식 특성은 두 가지로 요약할 수 있다. 즉, Heisenberg의 불확정성 원리와 닮은 형태로 표현된 주파수 분해능 (∆f )과 시차 분해능 (∆t )의 한계 (∆f x ∆t >1), 그리고 제2단계 주파수 분별 능력이다. (the second mechanism for searching the maximum frequency component). 이러한 특징이 청각 기관의 물리적인 작동 방식과 밀접하게 연관되어 있을 것이라는 추정은 합리적인 가설이다. 물론, 뇌에서의 인지 및 기억을 포함한 청각 전체의 과정을 세부적으로 이해하는 것은 매우 어렵고 전문적인 영역으로서 본 초학제 연구단의 연구 범위를 벗어난다.

위의 가설을 바탕으로 우리 연구단은 아래 같은 주제로 문헌조사, 모델링, 실험의 형태로 활동을 전개하고자 한다.

(1) 청각기관의 물리적 구조 및 특성 탐구

달팽이관 안의 코르티 (Corti) 기관은 3,500개 가량의 세포 단위로 이루어져 있으며, 각 단위는 3개의 외유모세포 (actuator), 1개의 내유모세포 (sensor), 그리고 기저막 (basilar membrane: resonator)로 구성되어 있다. 각 청각 단위에서 담당하는 주파수의 음파가 감지되면 기저막이 공진하고, 해당 기저막 부근의 외유모세포가 actuator 혹은 attenuator 역할을 하며 해당 공진을 제어해 그 진동을 일정 시간 동안 유지하는 것으로 알려져 있다. 기저막의 진동은 센서 역할을 하는 내유모세포로 감지되어 청각 신경을 통해 뇌로 전달된다. 헬름홀츠의 공명기가 실시간 주파수 정밀 검출이 가능하다는 점에서 코르티 기관과 유사하지만 공진 조건이 고정되어있다는 점에서 코르티 기관보다는 훨씬 단순하다. 이러한 인간 청각 시스템은 실시간 푸리에 변환 및 적응형 신호 증폭 기능이 물리적으로 구현된 시스템으로 볼 수 있으며, 단일 센서로 동작하는 마이크로폰과는 근본적으로 다르다. 이 점은 뇌로 전달된 다차원의 청각 신호 처리 방식이 마이크로폰을 통해 전기신호로 변환된 1차원적인 음성 신호를 처리하는 통상적인 방식과 매우 다를 수 있음을 함의한다.

본 초학제 연구단에서는 청각 기관을 구성하는 각 요소들의 물리적 구조, 생리학적 특성 변화 범위, 의학적 청각 손상 양태에 대한 문헌 조사를 수행하고 의학 전문가의 자문을 통해 청각 기관에 대한 기초적 이해를 마련하고자 한다. 특히, 기저막의 진동상태가 물리적인 “들뜬 상태”로 구분될 수 있는지 조사하고 기저막 진동에 대한 물리적 모델을 개발한다.

그림 3 달팽이관 내부의 코르티(Corti) 기관의 단면도.

(2) 내유모세포 (센서) 집단이 생성하는 신호에 대한 수학적 표현

달팽이관을 구성하는 3,500개 가량의 청각 단위로부터 청각신경으로 전달되는 신호는 다차원 데이터 공간에서의 점들로 생각할 수 있을 것이다. 이러한 다차원 공간에서 음향 데이터가 배치되는 패턴을 수학적으로 분석하고 시각적으로 표현하는 방식을 개발한다.

(3) 배음, 화음, 음색, 불협화음 인식 모델

배음을 갖는 소리가 귀로 들어오는 경우, Corti 기관 내 다수의 청각 단위가 위에서 서술한 과정을 거쳐 들뜬 상태가 되는 것으로 가정해볼 수 있다. 배음이 없는 소리의 경우, 단일 청각 단위만이 들뜬 상태가 될 것이다. 화음의 경우, 3500 개의 청각 단위 그룹 중에서 들뜬 상태가 되는 청각 단위의 공간적인 패턴과 연관될 것으로 추정된다. 협화음과 불협 화음을 구분하기 위하여 두 음 사이의 수학적인 관계를 다차원 데이터 공간에서의 "거리 (measure)" 또는 패턴으로 정의할 수 있는지를 탐구한다.

음색 (timbre) 역시 다차원 데이터 공간 상에서 들뜬 상태 청각 단위들의 공간적 패턴 및 그 패턴의 시간적 변화로 설명될 수 있을 것으로 기대된다.

배음열에서 필연적으로 유발되는 불완전한 음정에 대해서도 동일한 방식으로 다차원 데이터 공간 상에서 분석을 수행한다분석결과를 음악 이론에서의 불협화 음정의 정의와 비교한다. 또한, 인지적 불협화 현상과의 (Auffassungdissonanz: 물리적으로 협화음정이지만, 음악적 맥락에 의해 불협화로 인지되는 현상: 완전 4도, 46화음 등) 관련성, 그리고 기존에 알려진 청각적, 심리학적, 혼돈이론적 분석 결과와 관련성을 탐구한다.

(4) 클래식 음악 음원 분석 – 화음 vs 아르페지오

청각 단위가 바닥 상태(ground state)에서 들뜬 상태로 변화하는 데까지 소요되는 시간은 약 10 ms 정도이며 약 250 ms 까지는 기저막의 진동이 점점 커지다가 포화 상태에 이르나, 우리의 뇌는 이보다 일찍, 약 50-100 ms 안에 소리의 존재를 인지하며, 이후 약 200ms에 걸쳐 소리의 세기를 판단하는 것으로 알려져 있다. 이 점은 통상적으로 1/8 음표의 길이가 250 ms 가량인 것과 함께 (물론 그 둘 사이의 수치적 가까움은 우연일 가능성이 높으며 과학적 근거가 있는 것은 아니다) 흥미롭고 유용한 개념 하나를 생각할 수 있게 한다. 즉, 연주 시 아티큘레이션(articulation)을 구분할 수 있는 하나의 지표로서 피아노 연주의 "선명도"를 정의할 수 있을 것으로 기대된다. 각 음을 다음 음과 섞이지 않고 100 ms 이상 지속되도록 건반을 칠 수 있는 것, 그리고 화음의 경우 매우 높은 동시성으로 건반들을 칠 수 있는 것을 다차원 데이터 공간에서의 데이터 관계를 정량화하여 선명도를 정의할 수 있는 수학적 표현 방법을 고안하고자 한다.

(5) 양자역학적 음향소 (AQ) 개념의 청각 자극 시스템

양자역학적 음향소를 생성하여 달팽이관 내의 청각 단위를 자극하는 (acoustical quanta stimulation (AQS)) 시스템을 설계하고 제작한다. AQS 시스템 설계에 고려할 요소는 (1) 청각세포의 물리적인 작동 방식, (2) 청각계 자체가 갖는 시간–주파수 분해의 근본적 제약, (3) 청각의 기본 제약/현상(임계대역, 마스킹, 제3의 음: 조합음), (3) 변별 성능의 심리물리적 한계(최소식별차❲just noticeable difference, JND❳), (4) 말초 기능을 반영하는 생리학적 지표(이음향방사) 등이다.

AQS 시스템과 별도로, 음향소 (acoustical quanta; AQ) 기반 훈련 앱을 개발한다. 스마트폰 앱 개발은 학부 연구 프로젝트로 기획하여 실행한다.

(6) 청각 인식 실험

청각인식 능력에 차이가 있는 대중을 대상으로, AQS 시스템을 사용하여 음향소 수준의 청음 인식 능력을 측정하고, AQS 훈련의 효과성을 시험한다. 소리 감각과 인지에 기여하는 청각계❲auditory system❳ 기능이 전반적으로 정상인 경우에도, 절대음감, 상대음감, 음치 같은 차이는 주로 대뇌피질의 정보 처리 및 기억 체계의 차이에서 두드러지는 것으로 이해되는데, AQS 훈련이 대뇌피질에서의 유의미한 변화를 가져오는지를 시험하는 것이 목적이라 할 수 있다.

전문 클래식 연주자 대상으로 동일한 방식으로 청각 인식 능력을 측정하고 일반인의 것과 비교한다. 음악가의 ‘정밀한 듣기’는 인지과학적 측면에서 피질하 영역❲subcortex❳(특히 청각뇌간❲auditory brainstem❳)에서도 일반인보다 민감하거나 정밀할 수 있으며, 이는 뇌간이 소리 시작에 얼마나 빠르고 일관되게 반응하는가를 측정하는 청성뇌간반응❲Auditory Brainstem Response, ABR❳ 및 뇌간/하위 청각계가 소리의 주기성·피치 구조를 얼마나 정밀하게 따라가는가를 측정하는 주파수추종반응❲Frequency-Following Response, FFR❳ 같은 지표에서 차이로 보고되기도 한다. 또한, 전문 음악가는 이러한 장기기억 표상❲long‑term representations❳과 장기기억–작업기억 연계 처리❲long‑term memory–working memory interaction❳가 효율적으로 작동하는 경향이 있는 반면, 음치❲amusia❳는 음높이 변별❲pitch discrimination❳, 음정 처리❲interval processing❳, 또는 기억·매핑 과정❲memory/mapping❳의 일부 단계에서 상대적으로 취약할 가능성이 있다는 연구 결과가 다수 보고되어 있다. 이러한 점에 착안하여 FFR 지표, 음높이 변별, 음정 변별 지표를 음향소 기반으로 개발하고자 한다.