The Relational Cognitive System (RCS) is a foundational framework for designing systems that treat cognition as distributed, relational, and emergent. Rather than modelling cognition as internal computation performed by isolated agents, RCS approaches it as an ongoing negotiation among entities within networks. It operates as both theoretical position and design principle, establishing the epistemological ground from which methodologies like Behaviour-Driven Systemic Sonification (BDSS) and Pre-Verbal Affective Dynamics (PVAD) emerge..
RCS draws on three bodies of work that challenge individualist and reductionist models of cognition.
Distributed Cognition
Hutchins (1995) demonstrates that cognition extends beyond individual minds, distributed across people, tools, and environments. Cognitive processes occur through coordination among these elements rather than within any single locus. Hollan, Hutchins, and Kirsh (2000) extend this framework to human-computer interaction, arguing for systems designed around distributed cognitive processes rather than isolated user minds. RCS builds on this work by treating distribution not merely as an observational framework but as a design principle where agents operate through continuous negotiation rather than centralized coordination.
Second-Order Cybernetics
Von Foerster's (1974) second-order cybernetics positions observers as participants within the systems they observe. Observation transforms systems rather than remaining external to them. This recursive relation challenges the separation between observer and observed, treating feedback as constitutive rather than corrective. RCS extends this to multi-agent architectures where each agent functions as both observer and observed, continuously interpreting and negotiating with others.
Dynamic Systems Theory
Dynamic systems theory conceptualizes cognition as continuous process rather than discrete states (Riley, 2012). Attractors, phase transitions, and multi-scale temporal dynamics describe how cognitive processes unfold over time. RCS applies these concepts to relational systems, modelling how stability, transition, and evolution emerge through agent interaction rather than through predetermined rules or fixed objectives.
RCS operates through four interconnected principles that structure how systems are designed and how behaviour emerges.
Relational Emergence
Cognition emerges from recursive interactions between entities. The pattern of relations among agents determines system behaviour more than the attributes of individual agents. This principle rejects centralized control in favour of distributed architecture where each element operates autonomously yet remains continuously engaged with others. Emergence is not incidental but foundational.
Negotiation-Based Coherence
Systems do not optimize toward predefined values. Instead, agents continuously negotiate to maintain coherence. Stability arises from relational alignment rather than logical convergence or error minimization. Rather than implementing a fixed objective function, systems designed under RCS require negotiation protocols where agents adjust their states in response to one another. Coherence is provisional and dynamic.
Recursive Feedback
System output becomes new input. Systems react to what they generate and evolve through that interaction. This requires recursive structure where feedback loops are integral rather than supplementary. Systems must be self-referential, capable of observing and modulating their own behaviour. The distinction between input and output collapses into continuous circulation.
Temporal Narrativity
Cognition unfolds temporally rather than existing as static condition. Transitional states, intermediate phases, and indeterminate moments constitute sites of meaning formation. The structure of beginning, transition, and remainder constructs meaning over time. Systems designed under this principle track temporal patterns, retain history, detect transitions, and treat process itself as meaningful unit rather than merely recording outcomes.
RCS functions as the theoretical ground for multiple system implementations, each addressing different aspects of relational cognition.
AI Interaction Systems
The Relational Neuro-Affective Engine (RNAE) distributes participants' linguistic expressions across four neuro-affective registers. Relational emergence manifests as each register responds independently while emotional meaning arises from relations among them. Negotiation-based coherence appears as these registers resist collapsing into single interpretation, maintaining dynamic tension. Temporal narrativity operates through absence recognition, where silence, omission, and detour function as structural signals.
Data Transformation and Sonification
Behaviour-Driven Systemic Sonification (BDSS) applies RCS principles to data sonification. It treats data not as static values but as negotiating agents, allowing sound to emerge from relations between agents rather than from fixed mappings. BDSS operationalizes the principle that data exhibits behaviour rather than merely representing information.
Affective and Cognitive Modelling
The Pre-Verbal Affective Dynamics (PVAD) system converts 468 facial landmarks into XYZ meta-coordinates to trace temporal unfolding of affective experience. While RNAE models simultaneous multiplicity of linguistic data, PVAD focuses on temporal flow of nonverbal data. Temporal narrativity implements through six narrative phases: neutral, sensory reaction, pre-verbal hesitation, post-verbal residue, abrupt transition, and systemic transformation. Recursive feedback realizes through circular structure where participants' facial responses to generated voice become new system inputs.
Bonabeau, E. (2002). Agent-based modeling: Methods and techniques for simulating human systems. PNAS, 99(suppl 3), 7280-7287.
von Foerster, H. (1974). Cybernetics of cybernetics. University of Illinois.
Hollan, J., Hutchins, E., & Kirsh, D. (2000). Distributed cognition: Toward a new foundation for human-computer interaction research. ACM Transactions on Computer-Human Interaction, 7(2), 174-196.
Hutchins, E. (1995). Cognition in the wild. Cambridge, MA: MIT Press.
Riley, M. A. (2012). Dynamics of cognition. Wiley Interdisciplinary Reviews: Cognitive Science, 3(6), 593-606.
관계적 인지 시스템은 인지를 개별 에이전트의 계산 작업이 아닌, 엔티티들 간 관계적 협상 과정으로 모델링하는 이론적 프레임워크다. 이는 계산 철학(computational philosophy)에 기반한 접근으로, "인지란 무엇인가"라는 철학적 질문을 시스템 설계 원리로 번역한다.
이 프레임워크는 세 가지 이론적 기반에서 출발한다.
분산 인지:
Edwin Hutchins(1995)가 제시한 분산 인지 이론은 인지가 개인의 머릿속에만 존재하는 것이 아니라 사람들, 도구, 환경 사이에 분산된다고 본다. Hutchins는 "분산 인지는 더 넓은 범위의 인지적 사건을 찾으며, 모든 사건이 개인의 피부나 두개골 안에 포함될 것이라고 기대하지 않는다"고 설명한다. 관계적 인지 시스템은 여기서 더 나아가, 분산된 인지가 어떻게 협상을 통해 창발하는지를 모델링한다.
2차 사이버네틱스:
Heinz von Foerster(1974)가 발전시킨 2차 사이버네틱스는 관찰자를 시스템 외부에 두지 않는다. 관찰자는 시스템의 일부이며, 관찰 행위 자체가 시스템을 변화시킨다. 관계적 인지 시스템은 이러한 재귀적 관찰 개념을 다중 에이전트 시스템에 적용한다. 단일 관찰자-시스템 피드백이 아니라, 여러 에이전트가 서로를 관찰하고 협상하는 구조를 구현한다.
동역학계 이론:
인지과학에서 동역학계 이론은 인지를 이산적 상태 전환이 아닌 연속적 흐름으로 본다(Riley, 2012). Attractor, 위상 전이, 다중 시간 척도 등의 개념이 인지 과정을 설명하는 데 사용된다. 관계적 인지 시스템은 이 개념들을 에이전트 간 협상 과정에 적용하여, 시스템이 어떻게 안정 상태를 찾고 전환하는지를 모델링한다.
관계적 창발:
인지는 엔티티들 간 재귀적 상호작용에서 창발한다고 본다. 개별 에이전트의 속성보다 에이전트 간 관계의 패턴이 시스템의 행동을 결정한다. 이는 중앙 제어 구조를 거부하며, 시스템은 분산된 구조를 가져야 한다. 각 요소는 자율적이되 다른 요소들과 지속적으로 상호작용한다.
협상 기반 일관성:
시스템은 사전 정의된 최적값을 찾지 않는다. 에이전트들이 지속적으로 협상하며 일관성을 추구한다. 안정성은 논리적 수렴이 아닌 관계적 정렬에서 나온다. 이는 최적화 알고리즘을 대체하며, 시스템은 고정된 목표 함수를 최소화하는 대신 에이전트들이 서로의 상태를 고려하며 조정하는 협상 프로토콜을 필요로 한다.
재귀적 피드백:
시스템의 출력은 다시 입력이 된다. 시스템은 자신이 생성한 것에 반응하며 계속 진화한다. 이는 시스템이 자신의 출력을 입력으로 받아들이는 순환 구조를 요구한다. 시스템은 자기 참조적이며, 자신의 행동을 관찰하고 조정할 수 있어야 한다.
시간적 서사:
인지를 정적 상태가 아니라 시간에 따라 전개되는 과정으로 접근한다. 전환 상태, 중간 단계, 확정되지 않은 순간에 주목한다. 시작, 전환, 잔여의 구조 자체가 의미를 구성한다. 시스템은 순간적 상태만이 아니라 시간에 걸친 패턴을 추적하며, 이력을 기억하고 전환을 감지하며 과정 자체를 의미 있는 단위로 다룬다.
AI 기반 상호작용 시스템:
관계적 신경정서 엔진(Relational Neuro-Affective Engine, RNAE)은 참여자의 언어적 표현을 네 개의 신경정서 레지스터로 분산시킨다. 관계적 창발 원리는 각 레지스터가 독립적으로 반응하되 레지스터들 간 관계에서 정서적 의미가 형성되는 방식으로 구현된다. 협상 기반 일관성 원리는 레지스터들이 단일 해석으로 수렴하지 않고 모순적 긴장을 유지하는 구조로 나타난다. 시간적 서사 원리는 침묵, 생략, 우회를 구조적 신호로 취급하는 부재 인식으로 실현된다.
데이터 변환 및 소니피케이션:
행동 기반 시스템 소니피케이션(Behaviour-Driven Systemic Sonification)은 관계적 인지 시스템의 원리를 데이터 소니피케이션에 적용한 방법론이다. 데이터를 정적 수치가 아닌 협상하는 에이전트로 취급하며, 에이전트 간 관계에서 소리가 창발한다.
정서 및 인지 모델링:
언어 이전 정서 역학(Pre-Verbal Affective Dynamics, PVAD) 시스템은 얼굴 표정의 468개 랜드마크를 XYZ 메타좌표로 변환하여 정서 경험의 시간적 전개를 추적한다. RNAE가 언어 데이터의 동시적 다중성을 다룬다면, PVAD는 비언어적 데이터의 시간적 흐름을 다룬다. 시간적 서사 원리는 6가지 서사 단계(중립, 감각 반응, 언어 이전 망설임, 언어 이후 잔여, 급격한 전환, 체계적 변화)로 구현되며, 재귀적 피드백 원리는 시스템이 생성한 음성에 대한 참여자의 표정 반응을 다시 입력으로 받아들이는 순환 구조로 실현된다.
Bonabeau, E. (2002). Agent-based modeling: Methods and techniques for simulating human systems. PNAS, 99(suppl 3), 7280-7287.
von Foerster, H. (1974). Cybernetics of cybernetics. University of Illinois.
Hollan, J., Hutchins, E., & Kirsh, D. (2000). Distributed cognition: Toward a new foundation for human-computer interaction research. ACM Transactions on Computer-Human Interaction, 7(2), 174-196.
Hutchins, E. (1995). Cognition in the wild. Cambridge, MA: MIT Press.
Riley, M. A. (2012). Dynamics of cognition. Wiley Interdisciplinary Reviews: Cognitive Science, 3(6), 593-606.