[" "] // 공진회로

공진회로는 관찰당하는 자신을 다시 관찰할 때 생기는 순환 구조를 다룬다. 영상 속 작가는 카메라 앞에 말없이 서 있다. 카메라에 연결된 커스텀 시스템은 작가의 미세한 표정 변화를 실시간으로 읽어내고, 이를 작가 자신의 목소리로 합성된 내면의 독백으로 변환한다. 작가는 헤드폰을 통해 들려오는 '자신의 생각'을 듣고 반응한다 그리고 이 반응은 다시 표정 데이터가 되어 새로운 독백을 생성한다. 이 순환은 14분 동안 지속된다.

작품의 핵심은 불가능한 고리 (Impossible Loop)에 있다. 살아있는 주체가 468개의 얼굴 랜드마크 좌표로 환원되고, 이 숫자들이 언어로, 그리고 합성된 목소리로 재구성된다. 알고리즘이 포착한 표정과 그것이 의미한다고 간주되는 '내면' 사이에는 언제나 간극이 존재한다. 그러나 시스템은 이를 확정된 서사로 번역하고, 작가는 이 번역된 자아를 듣는 동시에 그에 반응하며 다시 데이터가 된다.

이 작품은 기술을 사용해 기술을 비판해야 하는 역설을 회피하지 않는다. 오히려 그 불가능성을 작품의 구조 자체로 만든다. 관객은 영상 속 작가를 관찰하며 감시 시스템의 작동을 목격한다. 그러나 관찰하는 순간, 자신도 그 감시 구조에 참여하고 있음을 깨닫게 된다. 우리는 언제 관찰자이고 언제 감시자인가?

기술적 구조: PVAD 시스템

재귀적 순환 구조

이 고리는 의도적으로 닫혀있다. 시스템은 자신이 생성한 출력에 반응하는 작가를 다시 입력으로 받아들인다.

시스템 아키텍처

공진회로는 다음의 통합 파이프라인으로 작동한다:

1. 실시간 얼굴 추적: MediaPipe가 초당 30프레임으로 468개의 얼굴 랜드마크를 추출한다.
2. XYZ 메타좌표 변환: 각 랜드마크의 움직임은 방향성(X), 강도(Y), 시간적 응집성(Z)으로 해석된다.
3. 서사 단계 분류: XYZ 값의 시간적 변화는 감정의 전개 위치를 나타내는 6가지 서사 단계 중 하나로 분류된다.
4. 커스텀 ML 모델 적용: 작가의 실제 표정-언어 데이터를 학습한 Gaussian Mixture Model(GMM) 및 Hidden Markov Model(HMM) 기반 모델이 안정된 미세표정 상태와 그 전환을 식별한다.
5. 단어 선택: 서사 단계의 출력은 인접 클러스터 단어와 결합되어 짧은 내면 언어 후보 세트를 형성한다.
6. LLM 기반 내면 독백 생성: 선택된 단어는 프롬프트 엔지니어링을 통해 단편적, 불완전한 문장으로 재구성된다.
7. 음성 합성: 생성된 텍스트는 작가의 음성으로 학습된 TTS 모델을 통해 재생된다.
8. 재귀적 피드백: 작가의 얼굴 반응이 다시 시스템의 입력으로 되돌아가며 순환이 완성된다.

언어 이전 감정 흐름 모델 (Pre-Verbal Affective Dynamics, PVAD)

PVAD는 감정의 '순간적 분류'가 아니라 '시간에 따른 감정의 흐름'을 모델링한다. 미세표정 데이터와 자연 발화 데이터를 동시 수집해, 특정 단어가 말해지는 순간의 표정 변화를 정렬하고 이를 통해 '감정의 시간적 서사'를 학습시킨다.

GMM은 유사한 감정 상태 간의 통계적 구조를, HMM은 그 전환 과정을 기술한다. 이로써 시스템은 단순한 감정 라벨 대신, 특정 표정 상태가 지속·전환·주저하는 과정을 읽어낸다.

실시간으로 분석된 XYZ 메타좌표와 결합된 이 모델은 내면 독백을 생성하며, 그 결과가 다시 작가의 얼굴에 반영되어 새로운 입력이 된다.

468개 랜드마크와 XYZ 메타좌표계

PVAD는 얼굴의 움직임을 단순한 좌표값이 아닌, 시간의 흐름 속에서 해석한다.

• X축 (방향성/흐름): 표정의 확장(열림, 개입) 또는 수축(닫힘, 회피). 입 너비와 눈썹 높이의 프레임 간 변화량으로 계산
• Y축 (강도/진폭): 표정 변화의 속도와 강도. 움직임 속도, 비대칭성, z축 깊이 긴장을 종합
• Z축 (시간적 응집성): 지속 시간과 복잡성. 지속된 상태, 방향 반전, 망설임 패턴에 따라 증가하며 감정 경험의 층위를 포착

6가지 서사 단계 (Narrative Phases)

PVAD는 감정을 분류하는 대신, 감정이 전개되는 6가지 서사 단계를 식별한다:

1. 중립 (Neutral): 최소한의 표정 활동. XYZ 특성: X≈0, Y<0.5, Z<0.3. 감정적 사건 사이의 기준선
2. 감각 반응 (Sensory Reaction): 갑작스러운 강도 급증. XYZ 특성: Y>15 또는 ΔY>8. 자극에 대한 즉각적, 무의식적 반응. 의식적 감정 조절 이전에 발생
3. 언어 이전 망설임 (Pre-Verbal Hesitation): 말하기 전에 나타나는 미세표정. XYZ 특성: |X|>0.5, Y<2.0, Z<1.0. 생각하는 얼굴, 사색, 불확실성, 처리 과정. 내적 경험과 외적 표현 사이의 간극
4. 언어 이후 잔여 (Post-Verbal Residue): 언어 표현 이후에도 지속되는 표정. XYZ 특성: Y>2.0, Z>2.0. 감정적 여운, 즉각적 순간을 넘어 지속되는 감정. 말해지지 않았지만 여전히 느껴지는 것
5. 급격한 전환 (Sharp Transition): 짧고 강렬한 변화. XYZ 특성: Y>1.5, Z<1.0. 결정, 거부, 결론
6. 체계적 변화 (Systemic Shift): 전반적인 감정 기준선의 변화. 다른 범주에 맞지 않는 패턴의 기본 분류

커스텀 머신러닝 모델

작가의 자연스러운 발화 시 얼굴 표정 데이터를 수집하고, 특정 시점의 표정과 단어를 매칭하여 정렬한다. 이렇게 구성된 표정-단어 데이터셋을 통해 표정과 언어 패턴 간의 관계를 학습시킨다. GMM은 데이터 내 유사한 패턴을 군집화하고, HMM은 이 패턴이 시간에 따라 어떻게 전환되는지를 모델링한다. 두 모델의 결합을 통해, 표정의 세부 특징과 언어적 패턴이 통계적으로 가까운 지점에서 감정 상태 클러스터를 형성한다.

내면 독백 생성 (Inner Monologue Generation)

PVAD는 언어를 완결된 표현이 아닌, 감정의 중간 상태로 다룬다. 프롬프트 엔지니어링을 통해 '주어의 생략', '문장의 단절', '감탄사적 말투' 등을 강조하며, 이는 사고가 언어로 굳어지기 전의 흐름을 시뮬레이션한다.

예시:

• Y가 높을 때: 단어 단위의 발화 ("됐다.")
• Z가 높을 때: 주제 이탈과 반추 ("그랬는데… 아직도.")
• Pre-Verbal 단계: 망설임과 중얼거림 ("음… 왜 그랬지.")

생성된 문장은 TTS 모델을 통해 작가의 음성으로 재생되며, 그 소리를 들은 작가의 표정이 다시 시스템의 입력으로 피드백된다.

철학적 함의:
감정 인식의 모호성

언어 이전 감정 흐름 모델(PVAD)은 감성 컴퓨팅 연구에서 최근 활발히 논의되고 있는 중간 상태(in-between states)에 대한 관심에서 출발한다고 볼 수 있다. 감정을 이산적 범주로 완전히 구분하기 어렵다는 점은 더 이상 기술적 한계로만 여겨지지 않는다. PVAD는 이러한 구분 불가능성을 극복해야 할 결함이 아니라 감정 자체의 본질로 받아들이고자 한다. 감정을 해결되어야 할 문제가 아니라 시간 속에서 끊임없이 변화하는 흐름으로 다루는 것이다.

PVAD에서 얼굴, 언어, 음성은 서로를 번역하며 순환한다. 이 순환은 감정을 하나의 결론으로 수렴시키지 않는다. 대신 감각과 해석 사이의 긴장을 그대로 유지하며 작동한다고 볼 수 있다. 이러한 '미완결성'은 명확성과 효율성을 추구하는 감성 컴퓨팅의 도구적 논리에 대한 조용한 저항으로 읽힐 수 있다.

예술적 맥락에서 PVAD는 기계적 지각이 가진 인식론적 한계를 비추는 거울로 작동한다고 본다. 데이터 기반 시스템이 살아 있는 경험을 어떻게 기호와 수치로 바꾸는지, 그리고 그 과정이 자아 감각을 어떻게 재구성하는지를 드러내고자 한다. 이 과정에서 작가는 스스로를 표현하는 주체라기보다는, 알고리즘적 관찰 속에서 끊임없이 해석되고 번역되는 존재가 된다고 볼 수 있다. 감정은 더 이상 사적인 내면이 아니라, 생물학적, 언어적, 계산적 층위가 교차하며 만들어지는 관계적 협상의 산물로 이해될 수 있다.

이러한 실험의 과정을 공공 공간으로 옮김으로써, 《공진회로》는 기술을 연구의 대상이 아닌 함께 경험할 수 있는 현장으로 확장하고자 한다. 관객은 시스템이 작동하는 모습을 보면서 같은 질문과 마주한다. 감정이 데이터로 바뀔 때, 그 과정에서 무엇이 사라지는가?

보이는 삶:
감시와 자기-전시의 경계

《공진회로》는 갤러리가 아닌 일상의 한가운데에서 작동한다. 서울 여의도의 한 북카페에 설치된 이 작업은 사무실과 스크린, 감시 카메라가 얽혀 있는 금융 지구의 일상 속에 자리한다. 책을 읽고, 커피를 마시고, 잠시 머무는 사람들 사이에서 감시는 특별한 사건이 아니라 공기처럼 스며든 사회적 조건으로 드러난다.

현대의 감시는 억압의 형태로 오지 않는다. 그것은 편의와 안전, 연결의 이름으로 작동한다. 우리는 카메라 앞에 서는 것을 거부하지 않는다. 오히려 스스로를 드러낸다. SNS에 얼굴을 올리고, 생체 인증으로 문을 열고, 알고리즘의 추천을 받아들인다. 이 자발성은 진짜일까, 아니면 이미 선택지가 사라진 상태에서의 순응일까.

이곳의 카메라와 센서는 더 이상 '감시 장치'로 인식되지 않는다. 오히려 우리가 서로를 인식하고 드러내는 방식을 구성하는 환경의 일부처럼 작동한다. 《공진회로》는 이러한 일상적 감시 환경 속에서, 기술이 감정을 읽고 번역하는 과정을 드러낸다. 숨겨진 계산의 흐름이 시각과 청각의 층위로 노출되며, 기술이 작동하는 방식 자체가 하나의 정서적 사건으로 제시된다.

작가는 스스로를 시스템의 지속적인 관찰 대상으로 두는 동시에, 카메라를 응시한다. 관객이 화면을 마주하는 순간, 그 시선은 되돌아온다. 보는 행위와 보이는 행위가 서로 교차하면서, 관객은 자신이 '지켜보는 자'가 아니라 '응시받는 자'가 되어버린다. 이때의 '보이기'는 단순한 노출이 아니라 관계의 형성이다. 자발적 노출과 비자발적 노출의 경계는 점점 희미해지고, '보이기'는 자율성과 종속성이 동시에 드러나는 행위가 된다.

알고리즘은 얼굴을 읽고, 그것을 단어로 번역한 뒤 다시 음성으로 되돌린다. 반복이 쌓일수록 자기 표현과 시스템 해석의 경계는 희미해진다. 주체는 점차 알고리즘의 언어 속으로 스며들고, 자신의 표정이 곧 데이터로, 데이터가 곧 자기 인식의 일부로 변한다. 《공진회로》는 이 순환을 통해 감시를 외부의 통제 장치가 아니라, 우리가 살아가는 정서적 풍경이자 존재의 조건으로 다시 바라보게 한다.

감시는 더 이상 위협적으로 느껴지지 않는다. 오히려 일상에 스며든 관계적 행위로 작동한다. 그러나 바로 그 무해함이 감시의 진짜 얼굴을 흐리게 만든다. 우리는 관찰자인 동시에 관찰 대상이다. 타인을 보면서 동시에 보여진다. 이 상호 노출의 구조 속에서 '보인다는 것'은 더 이상 수동적 경험이 아니다. 그것은 현대적 존재 방식 그 자체가 된다.