My research develops through exhibitions and artistic production. Exhibitions function not as presentation venues but as sites of inquiry, where theoretical frameworks are implemented as concrete systems, tested in real contexts, and refined through successive iterations.
Conventional disciplinary divisions assign responsibility by domain: art addresses aesthetics, engineering handles implementation, science verifies results. Each discipline offers distinct strengths and methodological rigour. Yet such separation proves limiting when working with complex systems, which exhibit properties that no single discipline can adequately address.
Complex systems are characterised by emergence, feedback, and nonlinearity. These are behaviours that arise from interaction rather than from isolated components. Theory transforms during implementation, unexpected phenomena emerge during operation, and user interaction reshapes meaning in ways that cannot be anticipated through design alone. From this perspective, maintaining strict disciplinary boundaries forces a choice between partial accounts. Either prioritise aesthetic coherence and lose technical precision, or optimise system performance and sacrifice experiential depth.
My work refuses this choice. Rather than maintaining disciplinary separation, it operates across art, technology, and science simultaneously, treating each as necessary but insufficient on its own.
Consider human-system interaction. Examined scientifically, it becomes data input, processing, and output, which provides measurable precision but risks reducing experience to mechanism. Philosophically, it concerns relationships between observer and observed, which opens conceptual depth but may lack concrete application. Artistically, it addresses the quality of experience and modes of participation, which centres embodied encounter but may resist systematic analysis. Ethically, it asks who is affected and what remains excluded, which foregrounds justice but can complicate creative experimentation. None of these perspectives is complete. Each reveals blind spots in the others.
Designing systems from this integrated position produces emergent forms of interaction impossible within any single framework. A system optimised purely for accuracy differs fundamentally from one optimised for experiential resonance. Working across these dimensions generates new behaviours where accuracy and resonance become mutually constitutive rather than competing values. This is both the method and the aim of the research.
My research explores the following questions:
Can cognition be understood as distributed across human-machine-environment networks?
How might intelligent systems be designed when cognition is understood as fundamentally relational rather than individual? Hutchins (1995) provides the theoretical foundation through distributed cognition, which demonstrates that cognitive processes extend across external artifacts, social interactions, and environmental structures rather than remaining bounded within individual minds. Building on this framework: if cognition operates through relational networks, what forms of human-system interaction become possible?
Can data be treated as dynamic behaviour rather than static representation?
Rather than treating data as fixed values awaiting analysis, what happens when data is understood as processes with their own behaviours? Gitelman (2013) establishes that data is never raw or neutral but always shaped by the conditions of its collection and the frameworks through which it becomes legible. Extending this insight: if data is relational and performative, capable of negotiation and adaptation, how does this transform system design?
How do relational networks produce emergent system behaviour?
How might systems be designed as relational networks rather than assemblies of discrete parts? Bonabeau (2002) demonstrates through agent-based modelling that emergent phenomena arise from local interactions rather than global coordination, exhibiting feedback loops, nonlinear dynamics, and self-organization. If systems are designed around relational dynamics rather than component assembly, what new forms of interaction and emergence become possible?
Can indeterminate and transitional states be modelled without forcing resolution?
Can computational systems model indeterminacy, ambiguity, and process without collapsing them into fixed categories? While affective computing has conventionally treated emotion as discrete states, recent work by Metallinou et al. (2012) and Liu et al. (2016) shows that emotion operates within continuous spaces where states blend and transition. Riley (2012) extends this to cognition more broadly, describing it as a temporally extended dynamic process with pre-articulate phases and post-reflective residues. How might we model the moments where meaning begins to form without forcing premature resolution?
These questions have shaped the development of three interconnected frameworks. Inquiry into distributed cognition and relational emergence produced the Relational Cognitive System (RCS). Exploration of data as process rather than object led to Behaviour-Driven Systemic Sonification (BDSS). Study of emotion as temporally unfolding rather than discretely classified resulted in the Pre-Verbal Affective Dynamics (PVAD) system.
Theory in this practice does not remain abstract but translates into working systems. Each implementation tests frameworks within specific contexts, generating insights that feed back into theoretical development.
The Plant Photosynthesis Sonification experiment marked the first BDSS implementation. Environmental variables were mapped into vector spaces, plant states into attractor zones, adaptive processes into agent negotiations. This model introduced global system awareness, treating data as active agents rather than passive values.
Embodied Algorithms extended BDSS into interactive installation. Industrial hot-rolling data was reinterpreted as a relational system, integrating the embodied expertise of a POSCO master engineer into a multimodal interface. Real-world application made the method more concrete.
Resonance Loop approached emotion not as discrete states but as continuous temporal processes. PVAD transformed 468 facial landmarks into a three-dimensional meta-coordinate system representing temporal dynamics, classified into six narrative phases. "Pre-Verbal Hesitation" and "Post-Verbal Residue" formed the system's core, exploring how unresolved emotional states could be modelled without closure. The recursive feedback loop, where generated voice becomes new input, realised RCS's principle of temporal narration.
Each implementation generates new theoretical questions. Unexpected system behaviour signals opportunity to revise frameworks. Unforeseen audience responses produce new forms of interaction design. Emergent behaviour indicates that relational dynamics function as intended.
Exhibitions are not endpoints but developmental phases. Each implementation raises new questions. Each question leads to new implementation. Theory and practice, research and creation, question and response remain inseparable.
Bonabeau, E. (2002). Agent-based modeling: Methods and techniques for simulating human systems. PNAS, 99(suppl 3), 7280-7287.
Gitelman, L. (Ed.). (2013). "Raw data" is an oxymoron. MIT Press.
Hutchins, E. (1995). Cognition in the wild. Cambridge, MA: MIT Press.
Liu, W., Zheng, W. L., & Lu, B. L. (2016). Emotion recognition using multimodal deep learning. In International Conference on Neural Information Processing (pp. 521-529). Springer.
Metallinou, A., Wollmer, M., Katsamanis, A., Eyben, F., Schuller, B., & Narayanan, S. (2012). Context-sensitive learning for enhanced audiovisual emotion classification. IEEE Transactions on Affective Computing, 3(2), 184-198.
Riley, M. A. (2012). Dynamics of cognition. Wiley Interdisciplinary Reviews: Cognitive Science, 3(6), 593-606.
연구는 전시와 작품 활동을 통해 진행된다. 이는 단순히 연구 결과를 보여주는 것이 아니라 연구 그 자체로, 각 전시는 연구개발의 일환이자 응용 연구(applied research)로 기능한다. 이론적 프레임워크를 구체적 시스템으로 구현하고 실제 맥락에서 테스트하며, 그 과정에서 프레임워크를 진화시킨다.
현재 실천하는 하이브리드 접근방식은 예술, 기술, 과학의 경계를 넘나든다. 전통적 학문 체계는 예술은 미학을, 공학은 구현을, 과학은 검증을 담당한다고 구획한다. 각 영역은 고유한 강점을 가진다.
그러나 복잡한 시스템을 다룰 때 이 분리가 특정한 한계를 드러낸다고 느낀다. 구현하는 과정에서 이론이 변형되고, 작동시키는 과정에서 예상치 못한 것이 드러나며, 관객과의 상호작용은 시스템의 의미를 재구성한다. 이론과 실천은 분리될 수 없다고 본다.
이 접근방식은 같은 현상을 다른 각도에서 본다. 예를 들어, 인간과 시스템의 상호작용을 과학적으로 보면 데이터 입출력과 처리 과정에 초점을 맞춘다. 철학적으로 보면 관찰자와 대상의 관계, 앎의 본질에 초점을 맞춘다. 예술적으로 보면 경험의 질, 의미의 생성, 참여의 양상에 초점을 맞춘다. 윤리적으로 보면 누가 영향을 받는지, 어떤 책임이 발생하는지, 무엇이 배제되는지에 초점을 맞춘다.
이 네 관점을 통합적으로 볼 때, 각각이 포착하지 못했던 것들이 드러난다. 과학적 정밀함, 철학적 성찰, 예술적 직관, 윤리적 책임성이 서로를 보완하며 더 풍부한 이해를 가능하게 한다. 더 나아가, 이 모든 관점을 고려한 시스템을 설계하면 단일 관점으로는 불가능했던 새로운 형태의 상호작용과 창발이 나타난다고 본다. 이것이 이 접근방식의 목표이자, 연구를 통해 탐구하고자 하는 것이다.
연구는 몇 가지 근본적 질문에서 출발한다.
인지는 어디에 존재하는가:
표준적인 인지 이론에서는 인지는 개별 주체 안에 있다고 가정되지만, 분산 인지 이론(Hutchins, 1995)은 실제 인지적 경험이 관계 속에서 발생한다고 본다. 인간과 기계의 상호작용, 데이터와 해석의 순환, 환경과 반응의 얽힘 속에서 인지는 분산된다(distributed cognition). 이렇게 분산된 네트워크로 인지를 재배치하면 지능 자체를 어떻게 다르게 이해할 수 있을까.
데이터란 무엇인가:
데이터는 중립적이지 않다. Gitelman(2013)이 "Raw Data" is an Oxymoron에서 지적하듯, "원시 데이터"라는 개념 자체가 모순이다. 데이터는 수집되는 순간 이미 해석의 틀 안에 있고, 측정 방법, 분류 체계, 기록 형식을 통해 구성된다. 각 데이터는 고유한 맥락과 역사를 가진다. 이 맥락과 고유성을 값이 아닌 행동으로 이해하면, 데이터의 본질과 관계성을 유지하면서 완전히 새로운 프레임워크가 가능해진다. 데이터를 정적 수치로 보는 것과 동적 행동으로 보는 것은 근본적으로 다르다. 만약 데이터가 협상하고 적응하며 시간에 따라 진화하는 에이전트라면 어떻게 될까? 데이터의 본질을 값이 아니라 과정으로 이해하면, 데이터를 다루는 방식은 어떻게 달라지는가?
시스템은 어떻게 작동하는가:
복잡한 시스템의 행동은 개별 컴포넌트의 합으로 설명되지 않는다. 에이전트 기반 모델 연구(Bonabeau, 2002)가 보여주듯, 단순한 개별 규칙의 상호작용으로부터 복잡한 창발적 패턴이 나타날 수 있다. 창발, 피드백, 비선형성이 시스템을 정의한다. 시스템을 부품의 조립이 아니라 관계의 네트워크로 이해하면 설계와 상호작용은 어떻게 달라지는가.
경험은 어떻게 모델링되는가:
인간의 경험은 고정된 범주로 분류되지 않는다. 감성컴퓨팅 연구는 전통적으로 감정을 이산적 범주(discrete categories)로 다뤄왔다. Ekman의 기본 감정 이론처럼 기쁨, 슬픔, 분노 같은 명확한 상태로 구분하는 접근이다. 그러나 최근 연구들은 감정이 연속적 공간에서 전개되며, 중간 단계(intermediate steps)와 전환 상태(transitional states)를 거친다는 것을 보여준다(Metallinou et al., 2012; Liu et al., 2016). Riley(2012)가 제시하듯, 인지는 시간에 따라 전개되는 동적 과정이다. 아직 명명되지 않은 감정, 언어 이전의 간극, 결정되지 않은 의도. 이러한 순간들이야말로 의미가 형성되는 지점이다. 확정되지 않은 것을 확정하지 않은 채로 모델링할 수 있을까.
이러한 질문들은 연구의 방향을 형성한다.
분산된 인지와 관계적 창발에 대한 탐구는 관계적 인지 시스템(Relational Cognitive System)이라는 이론적 프레임워크로 발전했다.
데이터를 과정으로 이해하려는 시도는 행동 기반 시스템 소니피케이션(Behaviour-Driven Systemic Sonification)이라는 방법론을 낳았다. 경험을 범주화하지 않고 시간에 따라 전개되는 과정으로 다루려는 탐구는 언어 이전 정서 역학(Pre-Verbal Affective Dynamics, PVAD) 시스템으로 구체화되었다.
연구 방법론은 구현 중심이다. 이론은 추상적 모델에 머무르지 않고 작동하는 시스템으로 번역되며, 각 구현은 특정 맥락에서 프레임워크를 테스트한다.
식물 광합성 소니피케이션 실험은 행동 기반 시스템 소니피케이션의 첫 구현이었다. 환경 변수를 벡터 공간으로, 식물 상태를 어트랙터 존으로, 적응 과정을 에이전트 협상으로 모델링했고, 여기서 전역 시스템 인식 개념이 도입되었다. 이는 데이터를 에이전트로 다루는 방법론을 검증하기 위한 실험이었다.
《손끝의 알고리즘》에서는 행동 기반 시스템 소니피케이션을 인터랙티브 전시로 확장했다. 열간압연 공정을 관계형 시스템으로 재구성하고, 포스코 명장의 체화된 지식과 다변수 시스템의 협상을 멀티모달 인터랙티브 인터페이스로 구현했다. 이 과정에서 방법론이 실제 맥락에 적용되며 구체화되었다.
《공진회로》에서는 감정을 이산적 범주가 아닌 연속적으로 전개되는 과정으로 접근했다. 언어 이전 정서 역학 시스템은 468개 얼굴 랜드마크를 시간적 역학을 나타내는 3차원 메타좌표(XYZ)로 변환하고, 이를 6가지 서사 단계로 모델링한다. 특히 "언어 이전 망설임"과 "언어 이후 잔여" 같은 중간 상태를 시스템의 핵심으로 두어, 확정되지 않은 상태를 그대로 다루는 방법을 실험했다. 재귀적 피드백 루프는 생성된 음성에 대한 반응이 다시 입력이 되는 구조로, 관계적 인지 시스템의 시간적 서사 원리를 직접 구현한다.
각 구현은 이론적 질문을 제기한다. 시스템이 예상과 다르게 작동할 때 그것은 실패가 아니라 프레임워크를 재고할 기회이고, 관객이 예상치 못한 방식으로 반응할 때 그것은 상호작용 설계의 새로운 가능성을 드러내며, 창발적 행동이 나타날 때 그것은 관계적 역학이 제대로 작동한다는 증거다.
전시를 연구개발로 보는 이유가 여기에 있다. 전시는 연구의 종점이 아니라 중간 지점이며, 각 구현은 다음 질문을 낳고 각 질문은 새로운 구현으로 이어진다. 이론과 실천, 연구와 창작, 질문과 대답은 분리되지 않는다.
Bonabeau, E. (2002). Agent-based modeling: Methods and techniques for simulating human systems. PNAS, 99(suppl 3), 7280-7287.
Gitelman, L. (Ed.). (2013). "Raw data" is an oxymoron. MIT Press.
Hutchins, E. (1995). Cognition in the wild. Cambridge, MA: MIT Press.
Liu, W., Zheng, W. L., & Lu, B. L. (2016). Emotion recognition using multimodal deep learning. In International Conference on Neural Information Processing (pp. 521-529). Springer.
Metallinou, A., Wollmer, M., Katsamanis, A., Eyben, F., Schuller, B., & Narayanan, S. (2012). Context-sensitive learning for enhanced audiovisual emotion classification. IEEE Transactions on Affective Computing, 3(2), 184-198.
Riley, M. A. (2012). Dynamics of cognition. Wiley Interdisciplinary Reviews: Cognitive Science, 3(6), 593-606.