게재 논문

연구는 전시와 작품 활동을 통해 진행된다. 이는 단순히 연구 결과를 보여주는 것이 아니라 연구 그 자체로, 각 전시는 연구개발의 일환이자 응용 연구(applied research)로 기능한다. 이론적 프레임워크를 구체적 시스템으로 구현하고 실제 맥락에서 테스트하며, 그 과정에서 프레임워크를 진화시킨다.

하이브리드 접근

현재 실천하는 하이브리드 접근방식은 예술, 기술, 과학의 경계를 넘나든다. 전통적 학문 체계는 예술은 미학을, 공학은 구현을, 과학은 검증을 담당한다고 구획한다. 각 영역은 고유한 강점을 가진다.

그러나 복잡한 시스템을 다룰 때 이 분리가 특정한 한계를 드러낸다고 느낀다. 구현하는 과정에서 이론이 변형되고, 작동시키는 과정에서 예상치 못한 것이 드러나며, 관객과의 상호작용은 시스템의 의미를 재구성한다. 이론과 실천은 분리될 수 없다고 본다.

이 접근방식은 같은 현상을 다른 각도에서 본다. 예를 들어, 인간과 시스템의 상호작용을 과학적으로 보면 데이터 입출력과 처리 과정에 초점을 맞춘다. 철학적으로 보면 관찰자와 대상의 관계, 앎의 본질에 초점을 맞춘다. 예술적으로 보면 경험의 질, 의미의 생성, 참여의 양상에 초점을 맞춘다. 윤리적으로 보면 누가 영향을 받는지, 어떤 책임이 발생하는지, 무엇이 배제되는지에 초점을 맞춘다.

이 네 관점을 통합적으로 볼 때, 각각이 포착하지 못했던 것들이 드러난다. 과학적 정밀함, 철학적 성찰, 예술적 직관, 윤리적 책임성이 서로를 보완하며 더 풍부한 이해를 가능하게 한다. 더 나아가, 이 모든 관점을 고려한 시스템을 설계하면 단일 관점으로는 불가능했던 새로운 형태의 상호작용과 창발이 나타난다고 본다. 이것이 이 접근방식의 목표이자, 연구를 통해 탐구하고자 하는 것이다.

핵심 연구 질문

연구는 몇 가지 근본적 질문에서 출발한다.

인지는 어디에 존재하는가:
표준적인 인지 이론에서는 인지는 개별 주체 안에 있다고 가정되지만, 분산 인지 이론(Hutchins, 1995)은 실제 인지적 경험이 관계 속에서 발생한다고 본다. 인간과 기계의 상호작용, 데이터와 해석의 순환, 환경과 반응의 얽힘 속에서 인지는 분산된다(distributed cognition). 이렇게 분산된 네트워크로 인지를 재배치하면 지능 자체를 어떻게 다르게 이해할 수 있을까.

데이터란 무엇인가:
데이터는 중립적이지 않다. Gitelman(2013)이 "Raw Data" is an Oxymoron에서 지적하듯, "원시 데이터"라는 개념 자체가 모순이다. 데이터는 수집되는 순간 이미 해석의 틀 안에 있고, 측정 방법, 분류 체계, 기록 형식을 통해 구성된다. 각 데이터는 고유한 맥락과 역사를 가진다. 이 맥락과 고유성을 값이 아닌 행동으로 이해하면, 데이터의 본질과 관계성을 유지하면서 완전히 새로운 프레임워크가 가능해진다. 데이터를 정적 수치로 보는 것과 동적 행동으로 보는 것은 근본적으로 다르다. 만약 데이터가 협상하고 적응하며 시간에 따라 진화하는 에이전트라면 어떻게 될까? 데이터의 본질을 값이 아니라 과정으로 이해하면, 데이터를 다루는 방식은 어떻게 달라지는가?

시스템은 어떻게 작동하는가:
복잡한 시스템의 행동은 개별 컴포넌트의 합으로 설명되지 않는다. 에이전트 기반 모델 연구(Bonabeau, 2002)가 보여주듯, 단순한 개별 규칙의 상호작용으로부터 복잡한 창발적 패턴이 나타날 수 있다. 창발, 피드백, 비선형성이 시스템을 정의한다. 시스템을 부품의 조립이 아니라 관계의 네트워크로 이해하면 설계와 상호작용은 어떻게 달라지는가.

경험은 어떻게 모델링되는가:
인간의 경험은 고정된 범주로 분류되지 않는다. 감성컴퓨팅 연구는 전통적으로 감정을 이산적 범주(discrete categories)로 다뤄왔다. Ekman의 기본 감정 이론처럼 기쁨, 슬픔, 분노 같은 명확한 상태로 구분하는 접근이다. 그러나 최근 연구들은 감정이 연속적 공간에서 전개되며, 중간 단계(intermediate steps)와 전환 상태(transitional states)를 거친다는 것을 보여준다(Metallinou et al., 2012; Liu et al., 2016). Riley(2012)가 제시하듯, 인지는 시간에 따라 전개되는 동적 과정이다. 아직 명명되지 않은 감정, 언어 이전의 간극, 결정되지 않은 의도. 이러한 순간들이야말로 의미가 형성되는 지점이다. 확정되지 않은 것을 확정하지 않은 채로 모델링할 수 있을까.

프레임워크와 연구 방향

이러한 질문들은 연구의 방향을 형성한다.

분산된 인지와 관계적 창발에 대한 탐구는 관계적 인지 시스템(Relational Cognitive System)이라는 이론적 프레임워크로 발전했다.
데이터를 과정으로 이해하려는 시도는 행동 기반 시스템 소니피케이션(Behaviour-Driven Systemic Sonification)이라는 방법론을 낳았다. 경험을 범주화하지 않고 시간에 따라 전개되는 과정으로 다루려는 탐구는 언어 이전 정서 역학(Pre-Verbal Affective Dynamics, PVAD) 시스템으로 구체화되었다.

연구방법:
구현을 통한 이론 발전

연구 방법론은 구현 중심이다. 이론은 추상적 모델에 머무르지 않고 작동하는 시스템으로 번역되며, 각 구현은 특정 맥락에서 프레임워크를 테스트한다.

식물 광합성 소니피케이션 실험은 행동 기반 시스템 소니피케이션의 첫 구현이었다. 환경 변수를 벡터 공간으로, 식물 상태를 어트랙터 존으로, 적응 과정을 에이전트 협상으로 모델링했고, 여기서 전역 시스템 인식 개념이 도입되었다. 이는 데이터를 에이전트로 다루는 방법론을 검증하기 위한 실험이었다.

《손끝의 알고리즘》에서는 행동 기반 시스템 소니피케이션을 인터랙티브 전시로 확장했다. 열간압연 공정을 관계형 시스템으로 재구성하고, 포스코 명장의 체화된 지식과 다변수 시스템의 협상을 멀티모달 인터랙티브 인터페이스로 구현했다. 이 과정에서 방법론이 실제 맥락에 적용되며 구체화되었다.

《공진회로》에서는 감정을 이산적 범주가 아닌 연속적으로 전개되는 과정으로 접근했다. 언어 이전 정서 역학 시스템은 468개 얼굴 랜드마크를 시간적 역학을 나타내는 3차원 메타좌표(XYZ)로 변환하고, 이를 6가지 서사 단계로 모델링한다. 특히 "언어 이전 망설임"과 "언어 이후 잔여" 같은 중간 상태를 시스템의 핵심으로 두어, 확정되지 않은 상태를 그대로 다루는 방법을 실험했다. 재귀적 피드백 루프는 생성된 음성에 대한 반응이 다시 입력이 되는 구조로, 관계적 인지 시스템의 시간적 서사 원리를 직접 구현한다.

각 구현은 이론적 질문을 제기한다. 시스템이 예상과 다르게 작동할 때 그것은 실패가 아니라 프레임워크를 재고할 기회이고, 관객이 예상치 못한 방식으로 반응할 때 그것은 상호작용 설계의 새로운 가능성을 드러내며, 창발적 행동이 나타날 때 그것은 관계적 역학이 제대로 작동한다는 증거다.

전시를 연구개발로 보는 이유가 여기에 있다. 전시는 연구의 종점이 아니라 중간 지점이며, 각 구현은 다음 질문을 낳고 각 질문은 새로운 구현으로 이어진다. 이론과 실천, 연구와 창작, 질문과 대답은 분리되지 않는다.

참고문헌

Bonabeau, E. (2002). Agent-based modeling: Methods and techniques for simulating human systems. PNAS, 99(suppl 3), 7280-7287.

Gitelman, L. (Ed.). (2013). "Raw data" is an oxymoron. MIT Press.

Hutchins, E. (1995). Cognition in the wild. Cambridge, MA: MIT Press.

Liu, W., Zheng, W. L., & Lu, B. L. (2016). Emotion recognition using multimodal deep learning. In International Conference on Neural Information Processing (pp. 521-529). Springer.

Metallinou, A., Wollmer, M., Katsamanis, A., Eyben, F., Schuller, B., & Narayanan, S. (2012). Context-sensitive learning for enhanced audiovisual emotion classification. IEEE Transactions on Affective Computing, 3(2), 184-198.

Riley, M. A. (2012). Dynamics of cognition. Wiley Interdisciplinary Reviews: Cognitive Science, 3(6), 593-606.