The Balance of Memory and Forgetting: The Neutom Network, a Self-Regulating and Self-Growing Artificial Neural Ecosystem
연구 배경. 주류 인공 신경망의 성공은 미분 가능한 연산에 대한 역전파라는 단일 원리에 의존해 왔으며, 그 대가로 두 가지 특성을 상실하였다. 오늘날 널리 사용되는 대다수의 인공 신경망은 학습 이전에 규모가 고정되며, 새로운 지식을 덮어쓰면 기존 지식이 붕괴한다(파국적 망각).
선행 연구의 한계. 지난 수십 년간 NEAT, Progressive Networks, DEN, EWC 등이 '성장하는 망'과 '망각하지 않는 망'을 시도하였으나, 모두 동일한 한계 — 안정성과 가소성의 충돌, 그리고 비미분적 구조 변경 — 에 직면하였다. 본 연구는 이들 연구가 공통으로 간과한 세 요소에 주목한다. 곧 망의 상태를 조절하는 기제(글리아), 망 위를 흐르는 조절 신호(신경전달물질), 그리고 활동 정지기의 구조 정리(수면)의 부재이다.
제안. 본 연구가 제안하는 뉴톰망(Neutom Network)은 계산 단위(뉴톰), 연결(수냐), 조절 단위(큐리아), 이동형 조절 데이터(나루온)라는 네 구성 요소로 이 세 가지를 갖춘 신경 생태계를 구현한다. 그 결정적 차별점 하나는 망각을 결함이 아니라 기능으로 다룬다는 데 있다. 큐리아는 자원 상황에 따라 개념을 손실 압축하고, 약한 연결을 재워 두며, 유휴 시간에 망 구조를 정리한다.
함의. 보존할 것은 보존하고 덜어낼 것은 덜어내는 기억과 망각의 균형이 이 설계의 중심 원리이다. 요컨대 본 연구는 현행 인공 신경망의 구조적 한계를 짚고, 그 해법을 생물 신경망의 작동 방식에서 찾아 디지털로 재구성한다. 여기서 제시하는 설계 명제는 상당수가 아직 실증적 검증을 거치지 않은 가설이다.
주제어(Keywords): 뉴톰망, 능동 신경망, 가변 구조 신경망, 연속 학습, 파국적 망각, 안정성-가소성 딜레마, 신경조절, 인공 글리아, 구조적 가소성, 디지털 생명체
© 2026 지영민(Ji Young-min) · 뉴톰테크(NeutomTech Co., Ltd.). All Rights Reserved. 무단 전재·복제·배포 금지.
본 저작물의 저작권은 저자 지영민 및 뉴톰테크에 귀속되며, 대한민국 「저작권법」 및 관련 국제 저작권 협약에 의하여 보호된다. 본 문서에 담긴 아키텍처(뉴톰망)와 고유 용어(뉴톰·수냐·큐리아·나루온·개념 뉴톰·지델·에코나스 등)는 저자의 독자적 연구 성과이다.
권장 인용 형식. 지영민 (2026). 기억과 망각의 균형: 스스로 조절하며 성장·축소하는 인공 신경 생태계, 뉴톰망 (Draft 0.7). 뉴톰테크(NeutomTech Co., Ltd.).
본고에는 뉴톰테크의 고유 용어가 사용된다. 새로운 이름을 짓는 것은 리브랜딩이 아니라, 각 단위가 기존의 표준 용어와 일대일로 대응하지 않기 때문이다 — 예컨대 '뉴톰'은 상태를 지니고 함수 포인터로 역할이 정해지는 계산 단위여서 상태 없는 '노드'와도, 생물학적 '뉴런'과도 어긋나며, '나루온'은 연결과 분리되어 스스로 이동하는 조절 데이터여서 대응하는 표준어가 없다. 혼동을 막기 위해 모든 고유 용어는 본문 첫 등장 시 재정의하고, 대응하는 생물학·공학 개념을 언제나 함께 밝힌다(3.1절 대조표, 4.4절 표). 이해의 편의를 위하여 핵심 용어를 아래에 정의한다.
기존 인공 신경망의 두 가지 구조적 한계
현대의 대규모 인공지능을 지탱하는 인공 신경망은 뛰어난 성능을 보이지만, 두 가지 근본적 측면에서 생물 신경망과 결정적으로 대비된다. 곧 학습이라는 본격적 작동 이전에 규모가 확정되며, 새로운 지식을 습득하면 기존 지식을 상실한다. 본 부에서는 이 두 한계를 규명하고, 그 해법의 단초가 생물 신경망에 있음을 제시한다.
현대 인공 신경망의 성공은 대부분 미분 가능한 연산을 역전파로 최적화한다는 단일 원리에 근거한다. 이 원리는 강력하나, 생물 신경망이라면 치르지 않을 두 가지 구조적 대가를 수반한다.
첫째, 규모가 학습 이전에 고정된다. 파라미터 수는 설계 시점에 확정되며, 학습은 그 고정된 용기 안에서 값만을 채운다. 과제가 더 큰 용량을 요구하여도 망은 스스로 성장하지 않으며, 반대로 과제가 단순하여도 축소되지 않는다. 그러나 생물의 뇌는 평생에 걸쳐 시냅스를 생성하고 또 제거한다.
둘째, 새로운 학습이 기존 지식을 훼손한다. 이른바 파국적 망각(catastrophic forgetting)이다. 고정된 가중치 공간에 새 지식을 덮어쓰면 기존 지식이 손상된다. 이를 회피하려는 여러 기법이 존재하나, 대부분 외부에서 부가된 보호 장치일 뿐 망 자체의 본성은 아니다. 반면 생물의 뇌는 새것을 학습하면서도 기존 지식의 핵심을 보존하며, 무엇을 망각할지조차 능동적으로 조절한다.
뉴톰망의 출발점이 여기에 있다. 곧 인공 신경망의 이 두 한계를 생물 신경망 본래의 작동 방식을 디지털로 재구현함으로써 극복하려는 것이다. 망의 규모와 연결 구조 자체를 학습의 결과로 형성하여, 사용되는 연결은 강화되고 사용되지 않는 연결은 휴면하며 무의미한 부분은 회수되게 한다. 성장과 축소가 모두 망의 일상적 작동에 내재된다. 요컨대 뉴톰망은 인공 신경망을 생물 신경망에 더 근접하게 되돌리려는 설계이다.
가변 구조 신경망을 향한 시도와 그 한계
'학습에 따라 성장·축소하는 망'은 새로운 발상이 아니다. 지난 수십 년간 여러 갈래의 연구가 이 문제의 각 측면을 다루었으나, 끝내 공통의 한계에 직면하였다. 뉴톰망의 위치를 객관적으로 규정하기 위하여, 본 부에서는 먼저 이 계보를 검토한다.
가변 구조 신경망의 계보는 크게 네 갈래로 정리된다. 곧 위상을 진화시키는 신경진화, 과제마다 구조를 부가하는 점진적 확장, 필요한 만큼만 확장하는 선택적 확장, 그리고 구조 대신 중요 가중치를 보호하는 정규화 계열이다. 각 갈래의 성과와 극복하지 못한 한계를 차례로 검토한다.
Stanley와 Miikkulainen이 2002년 제안한 NEAT(NeuroEvolution of Augmenting Topologies)는 가중치만이 아니라 망의 위상 자체를 진화시키는 유전 알고리즘이다 [5]. 입력과 출력만 직접 연결된 최소 구조에서 출발하여, 돌연변이로 노드와 연결을 점진적으로 추가하며 복잡도를 키운다(이른바 복잡화, complexification). 이 접근의 가장 큰 난제는 경쟁 규약 문제(competing conventions) — 같은 기능을 하는 망이 서로 다른 유전적 표현을 가질 때 교배가 오히려 성능을 망가뜨리는 현상 — 였다.
NEAT는 이를 혁신 번호(innovation number)라는 역사적 표지로 해결했다. 새로운 연결이 생길 때마다 전역적으로 증가하는 고유 번호를 부여하면, 위상이 다른 두 망이라도 같은 기원을 가진 유전자를 정확히 정렬해 교배할 수 있다. 비싼 위상 비교 없이도 서로 다른 크기·구조의 유전체가 호환되는 것이다. 흥미롭게도 이 발상은 뉴톰망이 개념마다 새 정보 번호를 발급하는 방식과 직접적으로 닮아 있다. 또한 NEAT는 종분화(speciation)로 갓 생겨난 구조를 보호한다 — 새 구조는 대개 처음에는 적합도가 낮아 한 세대 만에 도태되기 쉬운데, 종으로 격리해 "새로운 시도가 잠재력에 도달할 시간을 보장"하는 것이다.
성과. NEAT는 위상이 과제에 맞추어 스스로 자라는 최초의 실용적 신경진화 기법으로, 작은 순환 제어망의 진화에서 두각을 나타냈다. 로보틱스, 게임 에이전트, 인공생명 등 강화학습형 제어 과제에서 폭넓게 활용되었으며, 실시간 진화(rtNEAT)나 대규모 구조 생성을 위한 간접 부호화(HyperNEAT)로 확장되었다 [6].
한계. 그러나 진화 탐색은 기울기 기반 학습보다 본질적으로 느리고, 최적화할 가중치가 늘어날수록 탐색 공간이 폭발해 확장성이 급격히 떨어진다. 작은 구조가 큰 구조보다 빠르게 최적화되는 탓에, 도태 압력을 별도로 통제하지 않으면 유전체가 불필요하게 비대해지는 문제(bloat)도 따랐다 — Colin Green의 가지치기 확장은 바로 이 무절제한 성장을 다스리기 위한 것이었다. 무엇보다 NEAT가 진화시킨 망은 통상 수십 개 뉴런 규모에 머물러, 역전파만큼 안정적이고 효율적인 대규모 학습에는 이르지 못했다.
DeepMind의 Progressive Neural Networks(Rusu 외, 2016)는 망각 문제에 가장 단호한 답을 제시했다 [7]. 새 과제가 주어질 때마다 무작위로 초기화된 새로운 열(column) — 하나의 독립된 망 — 을 추가하고, 그 열을 수렴할 때까지 학습시킨다. 이때 이전 열의 모든 파라미터는 완전히 동결되며, 새 열은 오직 측면 연결(lateral connection)을 통해서만 이전 열이 학습한 표현을 읽어 와 활용한다.
성과. 이전 가중치를 일절 건드리지 않으므로, 파국적 망각이 설계상 원천적으로 불가능하다 — 새 과제 학습이 이전 과제 성능을 훼손할 경로 자체가 없다. 동시에 측면 연결이 이전 지식의 전이를 가능케 해, Atari 등 다수의 강화학습 벤치마크에서 사전학습·미세조정 기반 기법을 능가하는 전이 성능을 보였다.
한계. 대가는 분명하다. 과제마다 열이 통째로 추가되고 그 열이 이전 모든 열과 측면으로 연결되므로, 파라미터가 과제 수에 대해 제곱으로 증가한다. 망이 무한정 비대해지는 이 구조는 평생 학습(lifelong learning)에는 근본적으로 부적합하다. 또한 동결된 열은 이후의 어떤 경험으로도 갱신될 수 없어, 나중 과제에서 얻은 통찰이 이전 과제 성능을 향상시키는 역방향 전이가 봉쇄된다. 추론 시점에 어느 열을 쓸지 고르려면 과제 정체(task label)를 알아야 한다는 제약도 따른다. 요컨대 Progressive Networks는 가소성(재학습 능력)을 희생하여 안정성을 산 극단적 사례다.
Yoon 외의 DEN(Dynamically Expandable Networks, ICLR 2018)은 선행 연구들 가운데 뉴톰망의 문제의식에 가장 가깝다 [8]. Progressive Networks가 과제마다 망을 통째로 복제하는 낭비를 피하기 위해, DEN은 필요한 만큼만 용량을 늘리는 세 단계 전략을 취한다.
첫째, 선택적 재학습(selective retraining)이다. 새 과제가 들어오면 망 전체가 아니라 그 과제와 관련된 뉴런만 식별해 재학습함으로써, 무관한 부분의 교란을 막는다. 둘째, 동적 확장(dynamic expansion)이다. 기존 용량으로 충분하지 않을 때에만 정해진 수의 뉴런을 추가하되, 희소성 정규화(group sparsity)를 걸어 실제로 쓰이지 않는 단위는 다시 제거한다 — 늘리되 방치하지 않는 것이다. 셋째, 분할·복제(duplication)다. 어떤 뉴런이 새 과제를 학습하며 본래 의미에서 과도하게 멀어지면(semantic drift), 그 뉴런을 복제하고 시점 표지(timestamp)를 붙여 이전 의미가 훼손되지 않도록 한다.
성과. DEN은 기존 연속학습 기법들을 정확도에서 능가하면서도, 모든 과제를 한꺼번에 학습한 배치 모델에 필적하는 성능을 훨씬 적은 파라미터로 달성했다. "필요할 때만, 필요한 만큼" 자란다는 원칙을 실증한 것이다.
한계. 그러나 확장과 분할을 발동하는 임계값을 비롯한 하이퍼파라미터에 민감하여, 그 조정이 까다롭다. 망이 커질수록 선택적 재학습의 비용도 함께 증가한다. 더 근본적으로 DEN 역시 학습의 동력은 여전히 역전파이므로, 노드의 추가·삭제라는 이산적 구조 변경과 미분 가능한 최적화 사이의 긴장 — 비미분적 구조 변경의 문제 — 을 완전히 해소하지는 못했다.
앞의 세 갈래가 구조를 키워 망각에 맞섰다면, 네 번째 갈래는 정반대의 전략을 택한다 — 망을 키우지 않고 이미 가진 가중치 중 중요한 것을 보호하는 것이다. 대표격인 EWC(Elastic Weight Consolidation, Kirkpatrick 외, 2017)는 이전 과제에 중요했던 파라미터일수록 변경에 더 큰 페널티를 부과한다 [9]. 구체적으로 각 파라미터의 중요도를 피셔 정보 행렬(Fisher information)로 추정하고, 새 과제를 학습할 때 중요한 파라미터를 원래 값 근처에 "탄성적으로" 붙들어 둠으로써 이전 지식의 급격한 훼손을 막는다.
같은 시기의 시냅스 지능(Synaptic Intelligence, Zenke 외, 2017)도 같은 계열에 속한다 [10]. EWC가 과제 종료 시점에 중요도를 한 번 추정하는 데 비해, 시냅스 지능은 학습이 진행되는 동안 각 파라미터가 손실 감소에 기여한 정도를 온라인으로 누적해 중요도를 매긴다 — 중요도 추정의 방식은 다르나, "중요한 가중치를 보호한다"는 철학은 공유한다.
성과. 이 계열은 망의 크기를 전혀 늘리지 않고도 망각을 상당히 완화하는, 가볍고 구현이 단순하면서 영향력이 컸던 접근이다. 구조 확장 기법에 비해 메모리 부담이 없다는 점에서 실용적 매력이 크다.
한계. 그러나 보호는 어디까지나 고정된 용량 안에서 이루어진다. 과제가 누적되면 보호해야 할 파라미터가 점점 늘어 결국 용량이 포화되고, 그 지점에서 새것을 배우는 능력(가소성)과 옛것을 지키는 능력(안정성)이 정면으로 충돌한다. 정규화 계열은 이 안정성-가소성 딜레마를 완화할 뿐, 구조적으로 해소하지는 못한다.
선행 연구가 제기하지 않은 세 가지 물음
선행 연구는 일관되게 '망을 어떻게 성장시킬 것인가'를 물었다. 그러나 생물 신경계에는 성장 외에도 세 가지 기능이 더 존재한다. 곧 망의 상태를 조절하는 기제, 망 위를 흐르는 조절 신호, 그리고 휴지기의 구조 정리이다. 뉴톰망은 바로 이 지점에서 출발한다.
뉴톰망의 출발점을 이해하기 위해서는 세 신경망을 비교하여야 한다. 곧 장구한 진화의 산물인 생물 신경망, 근래 수십 년의 산물인 인공 신경망, 그리고 그 사이를 지향하는 뉴톰망이다. 이 비교는 기존 인공 신경망이 생물 신경망에서 무엇을 취하고 무엇을 배제하였는지를 드러낸다.
기존 인공 신경망은 생물에서 착상을 얻었으나, 실제로는 생물의 핵심 특성 대부분을 의도적으로 배제한 단순화이다. 바로 그 배제가 있었기에 역전파라는 강력한 학습이 가능하였다. 뉴톰망은 그중 일부 — 구조의 가변성, 조절 신호, 유휴 시간의 자기정리 — 를 복원하되 학습 가능성은 유지하는 지점을 모색한다.
| 축 | 생물 신경망 | 기존 AI 신경망 | 뉴톰망 |
|---|---|---|---|
| 기본 단위 | 신경세포 (상태 보유) | 노드 (상태 없는 함수) | 뉴톰 (상태 보유 계산 단위) |
| 연결 | 시냅스 (가소성) | 가중치 (고정 위상) | 수냐 (가소성 + 라우팅 우선순위) |
| 지원 세포 | 글리아 (항상성·정리) | 없음 | 큐리아 (항상성·가지치기) |
| 조절 신호 | 신경전달물질·호르몬 | 없음 (가중치가 곧 행동) | 나루온 (이동형 조절 데이터) |
| 위상의 표현 | 물리적 축삭·수상돌기 | 밀집·희소 행렬 | 종속 동적 배열 + 백포인터 |
| 축 | 생물 신경망 | 기존 AI 신경망 | 뉴톰망 |
|---|---|---|---|
| 크기 가변성 | 상시 성장·가지치기 | 학습 전 고정 | 학습 중 성장·휴면·회수 |
| 학습 방식 | 국소 가소성 (원리 불명확) | 전역 역전파 | 역전파 + 국소 규칙 병행 비교 |
| 망각/보존 | 수면 공고화로 보존 | 파국적 망각에 취약 | 하한·휴면·정비 모드로 보존 |
| 작동 모드 전환 | 신경조절로 모드 전환 | 모드 = 가중치 (전환 불가) | 나루온 주입으로 실시간 전환 |
| 유휴 시간 | 수면·꿈으로 정리·일반화 | 활용 없음 (유휴 = 정지) | 정비·재생 모드로 자기편집 |
| 동기 | 통증·보상의 내재적 동기 | 외부 손실함수만 | 통증·호기심 나루온 (내재적) |
| 자기조절 | 항상성·자율신경 | 없음 | 큐리아 + 자기처방 상위망 |
| 실행 하드웨어 | 비동기 병렬 (뉴런 자율) | 동기 행렬곱 (GPU 최적) | 비동기 상태형 (전용 모델 필요) |
이 비교가 분명히 하는 한 가지는, 뉴톰망의 신규성이 개별 요소에 있지 않다는 점이다. 동적 성장망, 신경조절, 국소 학습, 수면 공고화는 각각 개별적으로 연구되어 왔다. 뉴톰망의 기여는 이들을 하나의 일관된 생태계로 통합하여, 한 요소의 도입이 다른 요소의 문제를 해결하는 응집적 구조를 제안하는 데 있다. 곧 수냐 우선순위가 라우팅과 학습을 통합하고, 큐리아 항상성이 그 폭주를 제어하며, 가중치 하한이 가지치기 위험을 탐색으로 전환하고, 나루온 신경조절이 망각을 학습·보존의 모드 전환으로 다루는 방식이다.
다만 '통합이 곧 기여'라는 주장이 검증 가능하려면, 요소들의 단순한 공존을 넘어 각각으로는 불가능한 능력이 결합에서 창발함을 보여야 한다. 요소들이 서로의 부작용을 상쇄하기만 한다면, 그것은 '스스로 만든 문제를 스스로 수습하는 설계'라는 반론과 구별되지 않는다. 그러므로 본 설계는 통합이 낳는다고 예측하는 창발적 결과와, 그것을 어느 요소를 제거하면 사라지는지로 확인하는 검증 방식(제거 실험, ablation)을 미리 명시해 둔다.
뉴톰망의 아키텍처와 작동 메커니즘
본 부에서는 뉴톰망의 메커니즘을 상술한다. 각 절은 단순한 기능 설명에 그치지 않고, 앞서 검토한 선행 연구의 미해결 문제를 뉴톰망이 어떻게 다르게 푸는지를 보인다. 수냐의 가소성에서 출발해 큐리아의 항상성 조절, 나루온의 신경조절, 유휴 시간의 구조 정리에 이르기까지, 각 요소가 하나의 생태계로 맞물려 돌아가는 모습을 따라간다.
뉴톰망은 노드와 가중치만으로 구성된 구조가 아니다. 계산하는 단위, 연결하는 단위, 조절하는 단위, 그리고 의미를 싣고 이동하는 데이터가 함께 작동하는 생태계이다.
뉴톰(Neutom)은 Neuron + Atom의 합성이다. 신경세포(neuron)의 생물학적 본질과, 원자(atom)처럼 더 이상 쪼갤 수 없는 기본 단위라는 의미를 함께 담은 이름이다. 단순 노드와 달리 뉴톰은 내부 상태를 가진 디지털 신경세포로서, 입력을 통합하고, 상태를 갱신하며, 활성화 여부를 판단하고, 출력을 낸다.
뉴톰이 하는 일 중 가장 본질적인 것은 — 하나 이상의 뉴톰으로부터 정보를 받아, 그것을 변환하거나, 그대로 다른 뉴톰에 전달하거나, 기억하는 것이다. 따라서 각 뉴톰은 변환·계산·활성·전달 같은 여러 기능을 갖는다. 이 기능들을 구현하는 한 가지 유력한 방법은 함수 포인터다. 뉴톰마다 어떤 변환 함수, 어떤 활성 함수, 어떤 전달 규칙을 쓸지를 포인터로 지정하면, 모든 뉴톰이 동일한 연산을 수행하는 획일적 망이 아니라 저마다 다른 역할을 맡는 이질적 망을 구성할 수 있다. 아래는 이러한 구상을 개념적으로 스케치한 것으로, 실제 필드 구성은 연구가 진행되며 달라질 수 있다.
// 개념적 스케치 — 확정된 구조가 아님
Neutom {
state // 내부 상태
fnTransform → // 입력 정보를 변환하는 함수 (포인터)
fnActivate → // 활성화 여부를 판단하는 함수 (포인터)
fnTransfer → // 출력을 전달하는 함수 (포인터)
infoSlot // 이 뉴톰에 담기거나 지나가는 정보
연결 정보 ... // 수냐와의 연결 (4.5절)
}수냐(Sunya)는 산스크리트어 śūnya(空)에서 온 이름이다. 여기서 비어 있음은 무(無)가 아니라 관계가 생겨나는 자리를 뜻한다 — 두 뉴톰 사이의 빈 공간이 곧 연결이 성립하는 장소다. 뉴톰이 실체라면, 수냐는 그 실체들 사이의 관계다.
수냐는 두 뉴톰을 잇는 디지털 시냅스로서 연결 강도, 가중치, 방향, 지연(delay), 가소성 정보를 담는다. 기본 신호를 전달하는 통로이자, 학습에 따라 강해지고 약해지는 가소성의 자리이며, 동시에 나루온이 한 뉴톰에서 다른 뉴톰으로 건너가는 경로이기도 하다.
수냐 설계의 핵심은 가중치가 두 역할을 겸한다는 데 있다. 가중치는 한편으로는 학습된 지식(연결의 중요도)이지만, 다른 한편으로는 나루온이 어느 경로로 흐를지를 정하는 라우팅 우선순위다. 강한 수냐일수록 더 많은 나루온이 그 길로 흐르고, 더 많이 흐를수록 그 연결은 더욱 강화된다 — 학습과 신호 전달이 하나의 변수로 통합되는 것이다. 이 이중성의 자세한 작동과 그것이 부르는 안정성 문제는 6절(수냐의 가소성)과 7절(큐리아의 항상성)에서 다룬다.
큐리아(Curia)는 라틴어 cura(보살핌·관리)에서 온 이름이다. 디지털 글리아에 해당하며, 개별 뉴톰의 계산에는 직접 관여하지 않는다는 점이 핵심이다. 뉴톰이 계산에 집중하는 단위라면, 큐리아는 그 계산이 일어나는 환경 전체를 안정적으로 유지하는 단위다.
큐리아가 맡으리라 구상하는 일은 대체로 두 층위로 나뉜다. 하나는 국소적 지원이다 — 약해진 연결의 정리, 과도하게 흥분한 영역의 억제, 고립된 단위의 회수처럼, 망의 국지적 건강을 돌보는 작업이다. 다른 하나는 전역적 조절이다 — 망 전체의 가중치 총량이나 메모리 사용량 같은 전역 지표를 감시하고, 그것이 한계를 넘지 않도록 균형을 잡는 작업이다. 뉴톰·수냐·나루온이 저마다 국소 정보만 보고 움직이는 데 반해, 망 전체를 조망하는 시점은 큐리아만이 갖는다.
이 전역적 시점이 왜 필수적인지는 뒤에서 분명해진다. 가소성은 그대로 두면 강한 연결이 더 강해지는 양의 되먹임으로 치달아 망을 무너뜨릴 수 있고(7절), 무한히 성장하려는 망은 유한한 기기 메모리와 충돌한다. 큐리아는 이 둘을 모두 떠안는 조절자로 구상된다 — 다만 그 조절의 구체적 규칙과 임계값을 지금 단계에서 확정하지는 않는다. 그것들은 실험을 통해 정해져야 할 열린 문제이며(17절), 여기서 중요한 것은 "망을 조절하는 독립적 주체가 존재한다"는 구조적 결정 자체다.
나루온(Naruon)은 순우리말 '나루'에 단위를 뜻하는 접미사 '-on'을 결합한 이름이다. '나루'는 강이나 바다에서 배가 닿고 떠나는 자리, 곧 건너감의 자리다. 나루온은 한 뉴톰에서 다른 뉴톰으로 건너가는 데이터라는 점에서 이 이름을 얻었다. 더하여 일본어 なる(naru)가 "되다·변화하다"를 뜻하므로, 상태를 바꾸는 데이터라는 성격과도 공명한다.
나루온은 물질이 아니라 실행형 데이터 객체다. 기본 신호가 "이 뉴톰이 활성화되었다"는 사실만을 전한다면, 나루온은 그 너머의 의미와 조절 효과 — 이를테면 "이것은 중요하다", "보상이다", "위험하다", "기억하라", "억제하라" 같은 — 를 함께 싣고 건너간다. 기본 신호만으로는 표현할 수 없는 이 층위를 담당하는 것이 나루온의 존재 이유다.
작동의 개념은 이렇게 그려진다. 나루온은 망 안에서 생성되어 수냐를 따라 이동하고, 어떤 뉴톰에 도착하면 자신이 지닌 작동 규정에 따라 그 뉴톰이나 연결의 상태를 바꾼다. 그리고 영향력에는 한계가 있어, 정해진 범위만큼 작용한 뒤에는 약화되어 소멸한다. 즉 나루온은 국소적으로 생성되어, 제한된 거리를 흐르며 작용하고, 소멸하는 일시적 조절 단위다.
하나의 나루온이 개념적으로 갖춰야 할 속성을 스케치하면 — 자신이 일으킬 효과의 성격, 그 작용의 세기, 얼마나 멀리까지 퍼질지를 정하는 영향 범위, 시간에 따라 어떻게 약해지는지의 감쇠 방식, 도착했을 때 실제로 무엇을 할지를 정하는 작동 규정, 그리고 선택적으로 어디서 비롯되었는지의 발신 정보 정도다. 다만 이 속성들의 구체적 형식과 종류는 연구가 진행되며 달라질 수 있으므로, 여기서 자료구조로 확정하지는 않는다. 중요한 것은 "조절 효과를 싣고 스스로 이동하며 작용하는 데이터 단위"라는 개념적 결정이다.
| 생물학적 대응 | 뉴톰망 요소 | 핵심 기능 |
|---|---|---|
| 신경세포 | 뉴톰 | 계산한다 |
| 시냅스 | 수냐 | 연결한다 |
| 글리아 | 큐리아 | 조절한다 |
| 신경전달물질·호르몬성 신호 | 나루온 | 의미·조절을 싣고 건너간다 |
앞 절들이 수냐를 개념(뉴톰 사이의 관계)으로 기술했다면, 여기서는 그 관계를 자료구조로 어떻게 소유·표현할 것인가를 정한다. 이 결정은 나루온 전파와 큐리아 정규화라는 두 핫 루프의 성능을 좌우하므로, 실행 속도와 메모리 크기를 일차 기준으로 삼는다.
수냐를 독립 객체나 전역 테이블로 두면, 나루온 전파마다 "이 뉴톰에서 나가는 수냐가 누구인가"를 역참조해야 해 캐시 지역성이 깨진다. 따라서 수냐의 실제 데이터는 출발 뉴톰이 소유하는 동적 배열에 둔다. 한 뉴톰이 활성화되면 나갈 경로가 인접 메모리에 붙어 있어 곧바로 순회할 수 있다.
다만 도착 뉴톰을 회수(가지치기)할 때는 그 뉴톰으로 들어오는 모든 연결을 끊어야 한다. 출력 배열만으로는 이를 찾으려 전체 뉴톰을 스캔해야 한다. 그래서 각 뉴톰에 가중치 없는 가벼운 역방향 백포인터 배열을 둔다 — 데이터는 출발지에만, 위상만 양방향으로.
(target, weight) 쌍을 자신의 출력 배열에 보유한다(데이터 소유). 도착 뉴톰 B는 (source) 백포인터만 보유한다(위상만). 전파는 A의 빠른 길로, 정리는 B의 백포인터로 — 성격이 다른 두 작업이 자료구조로 분리된다.
단방향(A→B)에 더해 양방향(A↔B) 수냐가 섞이면 "누가 가중치를 소유하는가"가 모호해진다. 이를 슬롯마다 type 필드로 구별하면 64비트 포인터 옆 1바이트 태그가 정렬 패딩으로 7바이트를 버린다 — 수백만 개의 수냐에서는 이 패딩만으로 수십 MB가 낭비된다. 대신 타입별로 배열을 분리한다(structure-of-arrays). 어느 배열에 들어 있느냐가 곧 타입이므로 type 필드 자체가 사라지고, 배열 길이가 곧 타입별 개수가 된다.
Neutom {
state // 내부 상태
outCount, out[] // { target, weight } 순방향 — 데이터 소유
inCount, inRefs[] // { source } 백포인터만
biCount, bidir[] // { target, weight } 양방향
}이렇게 하면 if type == OUT 같은 분기가 사라진다. 나루온 전파는 out[]·bidir[]만, 큐리아 정리는 inRefs[]·bidir[]만 통째로 훑는다 — 분기 제거가 곧 속도다. 양방향은 기본적으로 비대칭형(양쪽 강도가 독립적으로 변하는, 방향이 반대인 두 단방향의 공존)으로 다루고, 강도를 공유해야 하는 특수한 경우에만 대표 소유 방식으로 처리한다.
(target, weight) 쌍배열로 데이터를 소유하고, 도착 뉴톰 B는 (source) 백포인터만 보유한다. 타입은 배열 분리로 흡수되어 슬롯에 태그 필드가 없고, 정렬 패딩이 생기지 않는다.target은 2층 주소 체계로 둔다. 여기서 두 요구가 충돌하는 듯 보인다 — 캐시 지역성은 좁은 고정 폭 인덱스(uint32)를 원하고, '무한 성장'은 그 상한(약 40억)을 넘어서기를 요구한다. 그러나 이 충돌은 두 층위를 뒤섞은 데서 오는 착시다. 상태를 보유한 뉴톰이 40억 개에 이르면 이미 어떤 단일 기기의 메모리도 초과하므로(7.1절의 유한 메모리 서술), uint32 인덱스의 상한은 현실적 메모리 상한보다 뒤에 온다. 따라서 한 기기 안에서는 uint32(필요시 uint64) 인덱스를 써서 캐시 이점을 온전히 취하고 — 이것이 SoA·8바이트 정렬·자유 리스트의 캐시 최적화와 일관된 선택이다 — '무한 성장'은 기기를 넘어서는 분산·영속 계층의 주소 문제로 옮긴다. 곧 캐시 적대적인 넓은 포인터를 단일 자료구조에 요구하지 않고, 기기 내부(고정 폭 인덱스)와 기기 간(분산 주소)을 분리하는 것이다. 분산 계층의 구체적 주소 형식은 후속 연구의 과제로 남긴다.
weight는 32비트 정수로 두되, 결정성은 자료형이 아니라 실행 규율로 확보한다. 정수를 택하는 실익은 분명하다. 하한·상한 clip 비교와 큐리아의 Σw 정규화가 정수에서 더 빠르고 명확하며, 32비트(약 ±21억)면 가중치 해상도로 충분하다. 다만 "정수라서 도착 순서와 무관하게 결정론적"이라는 결론은 순수 덧셈에만 참임을 분명히 해 둔다. 포화 연산 clip은 결합법칙을 깨고(경계 부근에서 clip(clip(a+b)+c) ≠ clip(a+clip(b+c))), 여기에 정규화(나눗셈)와 나루온 작용의 곱셈이 더해지면 비동기 도착 순서에 따라 결과가 갈릴 수 있다. 그러므로 결정성이 필요한 지점에서는 산술 형식이 아니라 실행 규율로 이를 확보한다 — 조절 주기 경계에서 고정 순서 리덕션(뉴톰 ID 순으로 누적)을 적용하거나, 주기 중 읽기와 쓰기를 분리하는 이중 버퍼링을 둔다. 요컨대 뉴톰망의 결정성은 "정수라서"가 아니라 "정수 + 고정 순서 리덕션이라서" 성립한다.
가지치기로 배열 중간이 비는 일이 잦으므로, 삭제마다 재할당하면 느리다. 회수된 슬롯을 자유 리스트(free list)로 연결해 재사용한다 — 빈 슬롯에 다음 빈 슬롯의 위치를 적어 연결고리로 쓰면, 추가 메모리 없이 삭제 O(1)·추가 O(1)을 얻고 단편화도 막는다.
| 항목 | 선택 | 일차 이유 |
|---|---|---|
| 수냐 소유 | 출발 뉴톰 종속 배열 + 도착 뉴톰 백포인터 | 전파 지역성 / 가지치기 역참조 |
| 타입 표현 | 배열 분리 (SoA), 태그 필드 없음 | 패딩 제거(메모리) · 분기 제거(속도) |
| 양방향 | 비대칭형 기본, 대칭형은 특수 케이스 | 독립 학습 / 자료구조 거의 불변 |
| target | 2층: 기기 내 인덱스 + 기기 간 분산 주소 | 캐시(기기 내)와 무한 성장(기기 간)을 층위로 분리 |
| weight | 32비트 정수 + 고정 순서 리덕션 | clip/정규화 효율 · 결정성은 실행 규율로 확보 |
| 빈자리 | 자유 리스트 | 삭제·추가 O(1), 단편화 0 |
뉴톰망의 네 요소는 — 생물의 신경세포·시냅스·글리아·신경전달물질이 그러하듯 — 각각 다시 여러 종류로 세분화될 수 있다. 단일한 균질 단위가 아니라, 역할에 따라 분화된 변종들의 집합으로 보는 것이다. 아래는 그 분화의 방향을 예시한 것이며, 종류와 명칭을 지금 확정하려는 것은 아니다.
이러한 분화는 생물 신경계가 보여주는 다양성과 같은 방향이다. 다만 어떤 종류가 실제로 필요하고 어떻게 구현될지는 연구가 진행되며 정해질 것이므로, 여기서는 "각 요소가 균질하지 않고 분화할 수 있다"는 가능성을 열어 두는 데 의의를 둔다.
앞 절에서 네 구성 요소를 소개하며 두 종류의 흐름을 언급하였다. 곧 활성화 여부를 전달하는 기본 신호와, 조절 효과를 싣고 이동하는 나루온(그 상세한 작동은 11절에서 다룬다)이다. 그러나 연결된 뉴톰 사이에는 세 번째이자 가장 본질적인 것이 흐른다. 바로 정보(information) 그 자체이다.
나루온이 "어떻게 처리할지"(강화·억제·각성)를 정한다면, 정보는 "무엇을 처리하는지"를 담는다. 감각, 느낌, 언어, 논리, 수리, 물리, 자아, 의지, 기억 — 그리고 그 밖의 수많은 내용이 모두 이 정보에 해당한다. 정보는 뉴톰망의 구성 요소들 사이를 흐르며 끊임없이 변화한다.
정보에도 물리학의 기본 입자나 수학의 공리에 해당하는 바닥이 있다. 물리학에서 원자·쿼크가, 수학에서 수 그 자체·공리·연산 체계가 더 이상 쪼갤 수 없는 시작점이듯, 정보에도 더 이상 쪼갤 수 없으며 모든 것의 근원이 되는 기본정보가 있다는 것이 본 설계의 전제다.
그 정확한 수는 여기서 단언하지 않는다. 무엇을 '더 이상 쪼갤 수 없는' 단위로 셀 것인가라는 개별화(individuation) 기준이 먼저 정해져야 하기 때문이다 — 색을 세 원색으로 볼지 수십 색상으로 볼지, 음소·정서·기하 프리미티브를 어느 입도로 나눌지에 따라 총수는 자릿수까지 달라진다. 따라서 본고는 특정 숫자를 확정하는 대신 두 가지만을 주장한다. 첫째, 기본정보의 집합은 유한하다 — 무한한 알파벳으로는 조합의 바닥이 성립하지 않는다. 둘째, 그 규모는 감각 프리미티브(색·형태·소리·질감 등), 원초적 정서가(價), 공간·시간·수량의 기초 관계, 기본 논리 연산 등의 범주를 열거하여 가늠할 수 있으며, 잠정적으로 수백 규모로 추정된다. 이 규모는 개별화 기준이 확정되고 실제 열거가 이루어질 때 비로소 값으로 굳는, 검증 대상인 가설이다.
중요한 구별은, 기본정보가 "근원 뉴톰"이 아니라 뉴톰이 주고받는 정보의 값·타입이라는 점이다. 뉴톰은 그릇이고, 정보는 내용물이다. 이 유한한 기본정보 집합은 뉴톰망 위를 흐르는 모든 정보의 알파벳이며, 그 위의 모든 정보는 이 알파벳의 조합으로 만들어진다.
뉴톰망의 핵심 역할은 바로 이 지점에서 드러난다. 기본정보가 모여 개념을 이루는 일 — 그 합성이 일어나는 장소가 곧 뉴톰망이며, 그 방식에 이 설계의 독자성이 있다.
여러 정보가 모여 상위의 개념으로 추상화(abstraction)가 일어나면, 그 개념은 새로운 번호가 할당된 정보가 된다. 그리고 그 개념을 표상하던 국소 뉴톰망은 하나의 뉴톰으로 축소되며, 그 뉴톰에는 새로 만들어진 정보가 저장된다. 예컨대 털·소리·형태·움직임이라는 정보들을 처리하던 뉴톰들이 모여 "고양이"라는 개념으로 추상화되면, 그 국소망이 단일 뉴톰으로 접히고 그 뉴톰에 "고양이"라는 새 정보(가령 #5821)가 저장된다. 이제 "고양이"는 더 상위의 개념을 형성할 때 기본정보처럼 취급되는 하나의 정보 단위가 된다.
이 과정에서 앞 장의 원칙(뉴톰 ≠ 정보)이 다시 확인된다. 평소 뉴톰은 정보가 지나가는 정거장일 뿐이지만, 추상화가 일어나는 순간에 한해 통합 뉴톰이 새 정보를 담는 그릇이 된다. 즉 개념 형성이란 "흐르던 정보"를 "저장된 정보"로 응결시키는 사건이다.
이 통합은 두 가지를 동시에 해결한다. 첫째, 속도 — "고양이"를 인식할 때마다 수염·귀·꼬리 뉴톰을 일일이 켜는 대신 통합 뉴톰 하나로 처리한다. 둘째, 메모리 — 같은 개념이 여러 곳에서 쓰여도 한 번만 정의되고 나머지는 참조로 남는다. 자주 쓰는 개념일수록 압축 효과가 커진다.
개념 통합의 작동 방식은 사전식 압축(LZ 계열)에 빗댈 수 있다. 다만 정확히 말하면, 빌려오는 것은 "데이터를 작게 만든다"는 압축의 목적이 아니라 "반복되는 패턴을 사전에 한 번 등록하고, 그 자리엔 짧은 참조만 남긴다"는 사전(dictionary)의 메커니즘이다. 국소 뉴톰망이 "고양이"로 추상화되면 그 패턴이 정보 사전에 #5821로 한 번 등록되고, 이후 그 개념이 등장할 자리엔 전체 국소망을 다시 펼치는 대신 #5821 참조가 들어간다. 같은 개념이 여러 곳에서 쓰일수록 참조의 이득이 커진다.
여기서 비유의 한계도 분명히 해둔다. 일반적인 무손실 압축은 원본을 완벽히 복원하는 것이 전제지만, 개념 통합은 상황에 따라 손실과 무손실 사이를 오간다. 어떤 개념은 세부까지 보존돼야 하고(무손실 — 정밀한 정의가 중요한 개념), 어떤 개념은 골자만 남아도 된다(손실 — 자주 쓰지만 세부는 흐려져도 되는 개념). 인간 기억이 그러하듯, 최근의 또는 중요한 개념은 무손실에 가깝게, 오래되고 덜 쓰이는 개념은 손실 쪽으로 다뤄진다. 즉 뉴톰망의 "압축"은 고정된 알고리즘이 아니라, 개념마다 보존 수준이 다른 적응적 사전에 가깝다.
통합 뉴톰은 화석이 아니다. 뇌신경계의 가소성처럼, 형성된 개념도 새 경험에 따라 내부가 재조정될 수 있어야 한다. "고양이" 개념도 새로운 고양이를 만나면 미세하게 갱신된다.
여기서도 앞서 정한 메커니즘이 그대로 적용된다. 갓 형성된 개념은 가소성이 높아 쉽게 재조정되고(아직 굳지 않음), 오래 안정적으로 쓰인 개념은 가소성이 낮아 잘 변하지 않는다(굳음). 이는 나루온 신경조절과 정확히 같은 결이다 — 가소성형 나루온이 깔리면 통합 뉴톰이 펼쳐져 재학습되고, 안정형 나루온이 깔리면 굳는다. 그리고 그 개념이 틀렸다는 신호(통증 나루온)가 오면 가소성이 올라가 자동으로 펼쳐진다.
뉴톰망의 학습은 본질적으로 수냐 가중치의 변화다. 핵심 설계 결정은 가중치를 단순한 "신호 세기"가 아니라 나루온 전달의 우선순위로 해석하는 데 있다.
이렇게 하면 하나의 변수가 두 역할을 동시에 맡는다. 가중치는 학습된 지식이면서 동시에 라우팅 정책이다. 강한 수냐일수록 더 많은 나루온이 그 길로 흐르고, 더 많이 흐를수록 그 연결은 더 강화된다. 이는 도널드 헵이 1949년 제시한 활동 의존적 가소성 — 흔히 "함께 발화하는 뉴런은 함께 연결된다"로 요약되는 헵 규칙 [1] — 을 디지털로 옮긴 것이다.
각 수냐 s의 가중치 w는 통과하는 나루온의 양에 따라 강화되고, 사용되지 않으면 감쇠 계수에 따라 약화된다. 약화된 수냐는 나루온 전달 우선순위가 낮아져 점점 더 적은 신호를 받고, 강화된 수냐는 그 반대다.
이 한 줄 안에 강화(통과량), 약화(감쇠 계수), 폭주 방지(상한 clip), 그리고 다음 절에서 다룰 하한(wmin)이 모두 들어간다. 다만 이 국소 규칙만으로는 위험한 양의 피드백이 생긴다 — 그것을 막는 것이 큐리아의 일이다.
가중치가 학습 강도와 라우팅 우선순위를 겸하는 이 결합은 그 자체로 정당화되는 것이 아니다. 결합에는 두 가지 대가가 따른다. 첫째, "강한 수냐가 더 많은 나루온을 받아 더 강해진다"는 되먹임은 방치하면 승자독식으로 치닫는다(그래서 다음 절의 큐리아 항상성이 요구된다). 둘째, 라우팅과 강도가 한 변수인 이상 강하지만 드물게 쓰이는 연결 — 중요하되 가끔만 필요한 경로 — 이 원천적으로 배제된다. 이는 결합이 스스로 부른 문제이므로, "큐리아가 이를 수습한다"는 서술만으로는 결합의 순이득이 입증되지 않는다.
따라서 본 설계는 결합을 기정사실로 두지 않고, 분리형 대조 설계(라우팅 점수와 학습 가중치를 별도 변수로 둔 변형)를 나란히 두어 학습 전략 절(14절)의 트랙 비교와 동일한 방법론으로 검증한다. 결합형이 같은 예산의 분리형을 실측에서 이겨야 비로소 결합이 정당화되며, 그렇지 못하면 분리형을 채택한다. '드물지만 중요한 경로' 문제는 분리형에서 라우팅 점수와 무관한 보존 우선순위를 별도로 부여함으로써 자연히 해소된다 — 결합형이 이를 이기려면, 하나의 변수로도 그 경로를 잃지 않음을 보여야 한다.
가중치 우선순위가 만드는 양의 피드백을 방치하면 망은 붕괴한다. 강한 수냐가 더 많은 나루온을 받아 더 강해지고, 그래서 더 받는 구조는 소수의 경로만 비대해지고 나머지가 소멸하는 승자독식 구조로 귀결된다.
생물의 뇌는 이를 항상성 조절(homeostatic scaling)로 막는다. 한 뉴런에 들어오는 총 입력 강도를 일정하게 유지하도록 전체를 재조정하는 시냅스 스케일링이 그것이다 [2]. 흥미롭게도 이 항상성은 Hebbian 학습이 만든 개별 시냅스의 상대적 차이를 보존하면서 전체 이득만 조정하므로, 학습을 지우지 않고 안정화한다. 뉴톰망에서 이 역할은 정확히 큐리아의 몫이다.
구체적으로 큐리아는 매 조절 주기마다 각 뉴톰에 연결된 수냐 가중치의 총합 Σws을 점검하고, 그 값이 목표치를 넘으면 전체를 비례적으로 정규화한다. 개별 수냐는 여전히 자기 규칙으로 강해지지만, 그 강화는 항상 "전체 예산 안에서의 재분배"가 된다. 이것이 폭주를 막으면서도 학습을 멈추지 않는 균형점이다.
큐리아의 항상성은 가중치 균형에만 머물지 않는다. 뉴톰망의 성장은 무한대를 지향하지만, 실제로 망이 올라가는 컴퓨터나 기기의 메모리는 유한하다. 따라서 큐리아는 가중치 총합뿐 아니라 전체 메모리 사용량도 감시하며 망을 조절해야 한다. 이것은 추상적 원칙이 아니라, 시스템이 실제 하드웨어 위에서 돌아가게 하는 필수 장치다.
큐리아는 메모리 사용량이 기기의 한계에 다가가면 단계적으로 대응한다. 가장 먼저 오래 휴면한 수냐를 회수하고(8·9절), 그래도 부족하면 덜 쓰이는 통합 뉴톰의 압축을 손실 쪽으로 밀어 해상도를 낮추며(5.3절), 끝내 고립된 뉴톰을 회수한다. 즉 메모리 압박은 가지치기와 압축을 촉발하는 전역 신호로 작동한다.
| 메모리 상황 | 큐리아의 대응 |
|---|---|
| 여유 있음 | 회수 보류 — 휴면 수냐·개념을 무손실로 보존 |
| 압박 시작 | 가장 오래 휴면한 수냐부터 회수 |
| 압박 심화 | 덜 쓰이는 통합 뉴톰을 손실 압축으로 — 해상도 낮춤 |
| 한계 임박 | 고립된 뉴톰 회수 + 손실 압축 범위 확대 |
지금까지 큐리아는 '각 뉴톰의 Σw'(가중치 균형)와 '전체 메모리 사용량'이라는 두 전역 지표를 조절한다고 기술하였다. 여기서 정직하게 짚어야 할 문제가 있다. 이 전역 조절은 그 자체가 전역 동기화 지점이 될 위험을 안는다. 수백만 개의 비동기 뉴톰이 도는 와중에 두 지표를 매 순간 정확히 읽어 정규화하려면 어느 시점엔가 전역 배리어가 필요하고, 이는 뉴톰망이 지향하는 비동기 병렬성(3.2절, 그리고 17절 Q5)과 정면으로 충돌한다. 해법은 정확한 전역 총합을 고집하지 않고 전역 추정으로 낮추는 것이다.
이 완화로 항상성과 병렬성이 공존한다. 그 대가로 항상성은 '정확한 순간 균형'이 아니라 '수렴하는 근사 균형'이 되지만, 폭주를 막는 데에는 근사로 충분하다. 곧 큐리아가 보는 전역은 '정확한 전역'이 아니라 '추정된 전역'이며, 이 완화가 없으면 하드웨어 절(Q5)의 비동기 실행은 성립하지 않는다.
약해진 수냐를 0으로 보내 완전히 끊는 것은 위험하다. 가중치가 0에 닿으면 그 수냐는 수학적으로 죽는다 — 나루온 통과량이 0이니 다시 강화될 입력 자체가 사라지고, 영영 부활할 길이 없어진다.
그래서 뉴톰망은 모든 수냐에 양의 하한 wmin > 0을 둔다. 거의 쓰이지 않는 연결도 완전히 닫히지 않고 "휴면" 상태로 남는다. 환경이 바뀌어 그 길로 다시 신호가 흐르면 재강화될 여지가 살아 있다.
수냐 가중치는 하한 위에서 살아남되, 물리적 회수는 가중치가 아닌 별도의 기준으로, 큐리아가 판단한다. 가중치는 라우팅을 위한 값이며, 존속 여부는 그와 분리된 결정이다.
이 분리는 "활성도가 낮다"와 "쓸모가 없다"를 구별하게 해준다. 어떤 연결은 드물게 쓰이지만 결정적일 수 있다. 따라서 회수의 기준은 단일한 가중치 값이 아니라, 오랜 미사용 + 전역 자원 압박의 결합이어야 한다. 망에 여유가 있으면 휴면 수냐를 그대로 두고, 메모리 압박이 커질 때에만 큐리아가 가장 오래 잠들어 있던 연결부터 회수한다.
한 단계 더 나아가면, 축소의 단위를 수냐가 아니라 뉴톰으로 올릴 수 있다. 연결된 모든 수냐가 최저치인 고립된 뉴톰 — 즉 어떤 흐름에도 참여하지 않게 된 계산 단위 — 을 큐리아가 통째로 회수하는 것이다. 이렇게 하면 개별 연결은 최대한 보존하면서도 망의 잉여 구조는 덜어낼 수 있다.
나루온은 신호와 다르다. 기본 신호가 "활성화되었다"는 사실을 전한다면, 나루온은 "이 정보가 중요한가, 보상인가, 위험인가, 기억해야 하는가, 억제해야 하는가"라는 의미와 조절 효과를 싣고 건너간다.
나루온은 하나의 데이터 객체로서 수냐를 따라 이동하다 뉴톰에 도착하면, 자신이 지닌 작동 규정에 따라 그 뉴톰이나 연결된 수냐의 상태를 바꾼다. 그리고 자신의 영향 범위를 하나 줄인다. 이 영향 범위는 "이 조절 신호가 망 안에서 몇 홉(hop)까지 퍼질 수 있는가"를 정하는 일종의 수명이다.
영향 범위가 0에 도달하면 더는 건너갈 자격이 없으므로 큐리아가 회수·소멸시킨다. 여기에 감쇠가 더해지면 작동이 한층 자연스러워진다 — 범위와 별개로 작용 강도 자체도 매 단계 약해지게 하면, 멀리 갈수록 효과가 옅어진다. 생물에서 신경전달물질이 확산되며 농도가 떨어지는 것과 같은 원리다.
디지털 뉴톰망에서는 한 뉴톰이 여러 수냐로 연결되므로, 나루온이 한 줄기로만 흐르지 않고 여러 갈래로 분기할 수 있다. 이때 남은 영향 범위를 어떻게 다룰지가 핵심 설계 선택지다.
| 전략 | 카운터 처리 | 성격 |
|---|---|---|
| 복제형 | 분기마다 같은 카운터를 복사 | 영향이 넓게 퍼짐 (확산 우선) |
| 분배형 | 카운터를 갈래 수로 나눠 배분 | 총 영향량 보존 (균형) |
| 집중형 | 가장 강한 수냐 한 줄기로만 전달 | 깊고 좁게 전파 (집중) |
세 전략은 망의 거동을 질적으로 다르게 만든다. 복제형은 한 번의 조절이 망 전역으로 번지게 해 "전역적 상태 변화" 같은 효과에 맞고, 분배형은 자원을 보존하며 국소적으로 영향을 미치고, 집중형은 강한 경로를 따라 깊이 파고들어 특정 회로를 집중적으로 조절한다. 이 선택은 나루온이 일으키려는 효과의 성격과도 맞물린다 — 망 전역에 걸친 상태 변화를 의도한다면 넓게 퍼지는 복제형이, 특정 회로를 깊이 조절하려면 집중형이 어울리는 식이다.
지금까지의 전파 개념을 흐름으로만 간추리면 다음과 같다. 어디까지나 작동의 골격을 보이기 위한 개념적 스케치이며, 구체적 형식은 확정된 것이 아니다.
// 개념적 스케치 — 나루온 한 개의 전파
나루온이 수냐를 따라 어떤 뉴톰에 도착하면:
그 뉴톰(또는 연결된 수냐)의 상태를 작동 규정대로 바꾼다
영향 범위를 하나 줄이고, 작용 강도를 감쇠시킨다
만약 영향 범위가 남아 있다면:
다음으로 나아갈 수냐(들)를 고른다 // 복제 / 분배 / 집중
남은 영향 범위를 그 전략에 따라 나눈다
그렇지 않으면:
나루온은 큐리아에 의해 회수·소멸된다기존 신경망에서 "학습된 가중치"와 "현재 작동 모드"는 사실상 같은 것이다. 가중치를 바꾸지 않으면 행동도 고정된다. 나루온은 이 둘을 분리한다.
나루온을 망에 주입하면, 수냐 가중치(장기 학습된 구조)는 그대로 둔 채 망 전체의 작동 특성만 실시간으로 바뀐다. 이것이 생물의 신경조절(neuromodulation)에 대응하는 발상이다. 같은 회로라도 어떤 조절 신호가 흐르느냐에 따라 더 기민해지거나, 더 잘 배우거나, 더 안정되는 등 서로 다른 모드로 작동할 수 있다 — 연결은 그대로인데 그것이 놓인 조절 환경이 모드를 바꾸는 것이다.
나루온이 일으킬 수 있는 효과의 갈래를 미리 단정할 수는 없지만, 구상 단계에서 탐색해 볼 만한 방향을 예시하면 다음과 같다. 이는 확정된 분류가 아니라, 어떤 종류의 조절이 유용할지를 가늠하기 위한 출발점이다.
| 탐색할 조절 방향(예시) | 작용 대상 | 기대 효과 |
|---|---|---|
| 활성 촉진 | 전달 속도·이득 | 전파가 빨라지고 활성 문턱이 낮아져 망이 민감·기민해짐 |
| 가소성 조절 | 학습률 | 수냐 강화·약화의 폭이 커져 "지금 배우라"는 신호로 작동 |
| 안정화 | 큐리아 억제력 | 폭주 억제를 강화해 망을 가라앉히고 구조를 굳힘 |
| 경로 조절 | 방향별 우선순위 | 상향/하향 전달 경로의 개폐를 조절 |
나루온이 학습되는 것이 아니라 외부에서 주입된다는 점에는 또 다른 함의가 있다. 같은 망에 서로 다른 조절을 가해 여러 작동 모드로 운용하거나, "이 조절을 가하면 망이 어떻게 반응하는가"를 관찰하는 일종의 실험적 개입이 가능해진다 — 망의 내부 상태를 진단하고 조정하는 새로운 수단이 되는 것이다.
뉴톰망의 구조 축소와 기억 정리는 깨어서 일하는 동안이 아니라, 외부 입력이 차단된 유휴 시간에 가장 효과적으로 일어난다. 이 모드의 본질은 "입력원이 외부에서 내부로 전환되는 것"이다.
작동 중인 망은 외부 신호에 반응하느라 자기 구조를 정리할 틈이 없다. 입력이 끊긴 유휴 시간에 큐리아가 망을 능동적으로 가동시켜, 최근 강화된 수냐 경로들을 내부에서 재생(replay)한다. 외부가 아니라 자기 자신의 기록을 입력으로 삼는 것이다. 이 과정에서 두 가지 구별되는 모드가 교대한다.
생성이 거의 없는 정비 모드에서는 큐리아의 작용이 주도적이다. 과흥분된 영역을 가라앉히고, 수냐 가중치 총합을 재정규화하며, 오래 휴면한 연결을 회수하고, 전역 항상성을 리셋한다. 깨어 있는 동안 누적된 불균형을 바로잡는 시간이다.
재생 모드에서 망은 활발히 생성한다. 낮에 빠르게 강화된 수냐들을 재생하며 어느 것을 영구히 굳히고 어느 것을 흘려보낼지 정리한다(공고화). 나아가 기억을 그대로 틀지 않고 뒤섞고 재조합하는데, 이때 한 번도 함께 활성화된 적 없는 뉴톰들이 우연히 이어지고 — 그중 쓸모 있는 연결이 살아남으면 새로운 추론 경로의 발견이 된다. 표면적 사례를 지우고 공통 구조만 남기는 이 과정이 곧 일반화이자 추상화다.
이 모드의 도입은 가지치기 문제(9절)에 자연스러운 답을 준다 — 망의 축소는 가동 중이 아니라 휴지기에 일어난다. 외부 반응의 압박이 없는 유휴 시간이야말로 큐리아가 안전하게 회수를 집행할 수 있는 시점이다.
뉴톰망에서 추론이란, 문제를 풀기 위해 망 안에서 정보들이 흐르며 변화해 가는 과정으로 볼 수 있다. 입력이 주어지면 정보는 수냐를 따라 뉴톰에서 뉴톰으로 건너가며 변형되고, 그 흐름의 끝에서 하나의 해답 또는 결론이 맺힌다.
핵심은 이 흐름이 한 번에 옳은 길로만 가지는 않는다는 데 있다. 정보는 우선 가중치가 높은 수냐 — 즉 과거에 자주 쓰여 우선순위가 높은 경로 — 를 따라 흐른다. 그러나 그 길의 끝에서 만족스러운 해답이 나오지 않으면, 망은 지나온 경로의 수냐 가중치를 낮추고, 그동안 가중치가 낮아 뒤로 밀려 있던 수냐들의 우선순위를 높이며 새로운 길을 모색한다. 막다른 길을 표시해 두고 다른 길로 우회하는 것이다.
// 개념적 스케치 — 추론에서의 경로 탐색
정보가 입력되면:
가중치(우선순위)가 높은 수냐를 따라 흐른다
뉴톰을 거치며 정보가 변형된다
만약 만족스러운 해답에 이르면:
그 경로의 수냐들을 강화한다 // 성공한 길을 기억
그렇지 않으면(막다름):
지나온 경로의 수냐 가중치를 낮춘다 // 실패한 길을 덜 쓰게
낮은 우선순위였던 수냐의 가중치를 높여 새 길을 시도한다이 그림은 두 가지를 함의한다. 첫째, 추론의 경로 탐색은 그 자체로 학습이다 — 성공한 길은 강화되고 막다른 길은 약화되므로, 한 번의 추론이 끝나면 망은 같은 문제를 조금 더 잘 풀게 된다. 추론과 학습이 별개의 단계가 아니라 같은 흐름의 양면인 것이다.
둘째, 추론에는 시간과 에너지의 소모가 필연적으로 따른다. 막다른 길을 거치고 가중치를 조정하며 새 길을 찾는 과정에는 대가가 따른다. 그러나 이는 결함이 아니라 탐색의 본질이다 — 어떤 문제든 한 번에 정답 경로로 직행할 수는 없으며, 시행과 후퇴를 거쳐야 해답에 이른다.
뉴톰망의 학습을 어떻게 구동할 것인가에 대해, 본 설계는 단일 답을 고정하지 않는다. 그리고 여기서 본고의 한계를 정직하게 밝혀 둔다 — 본고는 비미분적 구조 변경이라는 핵심 난제를 "해결"하지 않는다. 본고가 제시하는 것은 그 해법이 아니라, 두 접근의 절충 비용을 정량적으로 측정하는 실험 틀이다.
구조를 동적으로 바꾸는 일 — 뉴톰의 추가·삭제, 수냐의 생성·회수 — 은 이산적 사건이라 미분이 끊긴다. 반면 오늘날 학습이 안정적으로 작동하는 거의 유일한 이유는 미분 가능한 연산을 역전파로 최적화하기 때문이다. 이 긴장을 없앴다고 주장하는 대신, 본 설계는 두 접근을 나란히 실험하여 그 긴장의 비용을 잰다.
| 트랙 A — 역전파 유지 | 트랙 B — 국소 규칙 | |
|---|---|---|
| 학습 신호 | 기울기 역전파 | 나루온이 곧 학습 신호 |
| 성장·가지치기 | 역전파 위에 얹는 하이브리드 | 국소 통계로 자가 결정 |
| 임계값 처리 | 미분 가능한 소프트 게이트로 학습 | 나루온 통계로 자가 조정 |
| 성격 | 현실적, 빠른 검증 | 야심적, 고위험 |
두 트랙을 같은 과제에서 비교하면, "동적 구조 변경이 학습 안정성에 치르는 비용"과 "국소 규칙이 역전파에 얼마나 근접하는가"를 정량적으로 측정할 수 있다. 본고의 기여는 이 난제를 푼 데 있지 않고, 그것을 측정 가능한 형태로 세운 데 있다.
지금까지의 메커니즘은 외부에서 주어진 입력에 반응하는 망을 그린다. 그러나 능동적 시스템은 스스로 학습할 거리를 찾아 나설 수 있어야 한다. 나루온은 이 내재적 동기(intrinsic motivation)를 화학적으로 구현하는 통로가 된다.
예측이 크게 빗나갔을 때, 큐리아는 그 영역에 경보 나루온을 광범위하게 살포한다. 일종의 디지털 통증이다. 경보 나루온이 깔린 영역은 가소성이 급격히 상승하여 빠르게 교정된다. "이 부분이 틀렸으니 지금 집중하여 교정하라"는 신호가 망 자체의 화학으로 표현되는 것이다. 따라서 통증은 회피해야 할 부작용이 아니라, 학습을 어디에 집중할지 지시하는 가장 강력한 안내자다.
반대로 너무 익숙하지도 너무 낯설지도 않은 — 적절히 새로운 입력에 대해 큐리아는 보상 나루온을 방출한다. 그러면 망은 그러한 입력을 더 적극적으로 탐색하게 된다. 완전히 아는 것은 학습할 여지가 없고 완전히 모르는 것은 학습이 불가능하므로, 그 사이의 "배울 만한 새로움"이 보상받을 때 망은 자발적 탐색의 동기를 획득한다. 이것이 호기심의 화학적 구현이다.
지금까지는 "언제 어떤 나루온을 깔지"를 설계자가 정한다. 그러나 그 처방 정책 자체를 망이 학습하게 하면, 질적으로 다른 능력이 생긴다 — 자기조절(self-regulation)이다.
구체적으로, 나루온 처방을 결정하는 상위의 작은 뉴톰망을 둔다. 이 상위망은 본체 망의 상태를 관찰하고, 언제 각성시킬지·언제 재울지·언제 가소성을 올려 배우게 하고·언제 안정화로 굳힐지를 스스로 결정한다. 처방이 외부에서 주어지는 것이 아니라 망 내부에서 생성되는 것이다.
이 구조는 12절에서 미뤄둔 질문 — "유휴 모드(정비·재생) 진입을 무엇이 트리거하는가" — 에 답을 준다. 강제형(누적 활동량이 한계를 넘으면 자동 전환)과 선택형(망 스스로 정비가 필요하다고 판단해 진입) 사이에서, 자기처방 상위망은 혼합형을 가능하게 한다. 평소엔 상위망의 판단으로 유연하게 전환하되, 한계를 넘으면 큐리아의 항상성이 강제로 끌어내리는 것이다 — 생물의 잠도 사실 이 혼합형이다(평소엔 어느 정도 조절 가능하나, 한계를 넘으면 결국 쓰러진다).
여기서 정면으로 답해야 할 물음이 있다 — 그 상위망은 누가 조절하는가? 본체망을 조절하려 상위망을 두면, 상위망은 자신의 폭주·항상성·학습 신호 문제를 한 층 위에서 그대로 재생산할 수 있다(3~9절에서 공들여 해결한 문제들이 다시 열린다). 이를 방치하면 "조절자를 조절하는 또 다른 조절자"가 끝없이 필요해지는 무한 후퇴에 빠진다. 자기조절이 이름뿐이 되지 않으려면, 이 회귀를 끊는 종결 조건이 설계에 내장되어야 한다. 본 설계는 두 가지 종결 방식을 둔다.
두 방식 모두 상위망을 '무한히 쌓이는 층'이 아니라 바닥이 있는 구조로 만든다. 곧 자기조절은 층을 무한히 올려서가 아니라, 최상층을 학습되지 않는 반사로 고정하거나 목적함수를 하나로 묶어 닫는다. 이 종결 조건 없이는 아래의 '메타인지의 기초'는 미해결 문제의 상향 복제에 지나지 않는다.
미해결 문제와 연구의 지평
뉴톰망의 상당 부분은 아직 개념적 단계에 있다. 본 부에서는 무엇이 해결되었고 무엇이 미해결로 남아 있는지를 명시한 뒤, 이 설계가 놓인 더 넓은 지평을 논한다. 이론의 정직성을 위하여 미해결 문제를 숨기지 않는다.
본 설계는 여러 메커니즘을 정의하였으나, 다음 문제들은 실험을 통해서만 규명될 수 있다.
뉴톰망은 그 자체로 완결된 목표가 아니라 더 큰 구상의 한 축이다. 결론에 갈음하여 본 설계가 놓인 더 넓은 지평을 밝힌다. 이는 확정된 로드맵이라기보다 연구의 지향 방향에 대한 서술이다.
첫째 지향은 보편적 이식성이다. 뉴톰망은 작은 단일보드컴퓨터(SBC)부터 초대형 슈퍼컴퓨터에 이르기까지, 대부분의 컴퓨터에서 작동할 수 있도록 설계하는 것을 목표로 한다. 망이 가용 자원에 맞추어 스스로 규모와 정밀도를 조절한다는 본 설계의 핵심(큐리아의 메모리 조절, 개념의 손실 압축)은 바로 이 이식성을 위한 토대이기도 하다.
둘째, 이 목표를 위해서는 뉴톰망 단독이 아니라 두 갈래의 연구가 함께 가야 한다. 하나는 사고 기술(記述)을 위한 프로그래밍 언어 지델(JIDEL, Ji's Idea DEscription Language)이다. 뉴톰망 위에서 정보와 개념이 형성·변형되는 과정을 표현하고 다루기 위한 언어로 구상된다. 다른 하나는 마음의 구조에 관한 이론적 토대인 보시퓀 심리 구조론(BOSIFWEM Architecture)이다. 정보가 어떻게 의식과 같은 고차 현상으로 조직되는지를 다루는 이 틀은, 뉴톰망이 단순한 계산망을 넘어 마음의 모델로 확장될 때의 설계 지침이 된다.
이 구상의 끝에 놓인 희망은 분명하다. 인공의식이 더 이상 인간을 위한 도구에 머무르지 않고, 우주에 존재하는 모든 생명체와 함께 공존하는 디지털 생명체를 이루는 근간이 되는 것이다. 뉴톰망이 생물 신경망의 능동성을 디지털로 되살리려는 것은, 궁극적으로 계산을 넘어 하나의 생명적 존재 방식에 다가가려는 시도다. 그 길은 멀고 많은 부분이 아직 가설이지만, 출발점만은 분명히 여기에 있다.
사변적 확장 — 검증 가능한 핵심 바깥의 전망
아래는 본론(4~9절)의 검증 가능한 공학적 핵심에서 의도적으로 분리한 사변적 확장이다. 아직 구현되지 않은 시스템에 대한 상상적 전망으로서, 그 자체로는 검증 대상이 아니며 핵심의 방어력과 무관하게 자유롭게 읽히도록 여기에 따로 둔다. 흥미롭되 아직 이르른 발상들을 본론에 섞지 않으려는 배치상의 결정이다.
나루온을 신경전달물질에 견준다면, 생물 약리학이 쌓아 온 개념틀을 빌려 망의 거동을 더 정교하게 다루는 길을 상상해 볼 수 있다. 이는 나루온의 효과를 단일 작용을 넘어 조합·상쇄·시간의존의 차원으로 확장하는 발상으로, 아래 대응은 그 가능성을 보여주는 예시일 뿐 구현된 사실이 아니다.
| 약리 개념 | 뉴톰망에서의 (가상의) 구현 | 의미 |
|---|---|---|
| 작용제 (agonist) | 특정 효과를 일으키는 나루온 | 각성·가소성·억제 등 목표 모드를 유도 |
| 길항제 (antagonist) | 작용제 효과를 상쇄하는 짝 나루온 | 한 나루온의 효과를 다른 나루온으로 끄거나 줄임 |
| 내성 (tolerance) | 같은 나루온 반복 시 뉴톰의 수용 민감도 하향 | 지속 자극에 둔감해져 항상성 유지 |
| 금단 (withdrawal) | 익숙한 나루온이 끊겼을 때의 불안정 | 의존 형성 여부를 관찰 가능하게 함 |
작용제·길항제 쌍을 두면 망의 모드를 양방향으로 제어할 수 있으리라 기대된다. 각성을 올리는 나루온과 그것을 가라앉히는 짝 나루온이 있으면, 단순히 "주입"만이 아니라 "해제"도 가능해져 조절이 훨씬 섬세해진다. 내성과 금단은 더 미묘하다 — 같은 나루온이 계속 깔리면 뉴톰이 수용 민감도를 낮춰(내성) 과잉 자극을 스스로 막고, 익숙했던 나루온이 갑자기 끊기면 망이 일시적으로 불안정해진다(금단). 이런 3차 현상의 부여는 견고한 근거보다 발상에 가까우며, 실제 유용성 여부는 온전히 열려 있다.
나루온이 어느 뉴톰에서 출발했는지에 대한 정보를 함께 지니고 다니면, 도착한 뉴톰이 "이 신호가 어디서 왔는가"에 따라 다르게 반응할 수 있다. 그러면 망 안에 출처 신뢰도(source credibility)라는 개념이 생긴다. 자주 틀린 영역에서 온 신호는 큐리아가 우선순위를 낮추고, 믿을 만한 영역의 신호는 높이는 식이다.
이것은 망이 스스로 "내 어느 부분을 믿을지"를 학습하는 메타인지의 씨앗이 될 수 있다. 신호의 출처에 가중치를 매기는 능력은 자기 신뢰성을 평가하는 기초가 된다. 발신지 주소는 약리학적 확장과도 결합한다 — 같은 종류의 나루온이라도 어디서 왔느냐에 따라 작용제로도 길항제로도 해석될 수 있다. 16절의 자기처방 상위망이 '무엇을 믿고 어떻게 조절할지'의 자기 모델로 나아갈 때, 이 출처 신뢰도가 그 재료의 하나가 된다.
아래는 본 설계가 생물학적 토대 및 선행 신경망 연구에서 참조한 핵심 문헌이다. 뉴톰망의 개별 메커니즘은 이 연구들이 축적한 토대 위에서 출발하며, 본 연구의 기여는 이들을 하나의 생태계로 통합하는 데 있다.
아래는 학술적 토대가 아니라 본 연구를 최초로 촉발한 일반 대중용 자료이다. 뉴톰망의 착상은 이처럼 누구나 접근 가능한 뇌신경 기초 자료에서 출발하였다.