主动生长与收缩的神经生态
自我生长、自我修剪、
并会入眠的神经生态
今天的人工神经网络在诞生之初大小便已固定,学了新的就会忘掉旧的。Neutom Network 是一种设计——构建一张会生长、会修剪、能自我调节、并在休息时自我修复的活网络。
研究提案
先行研究共同遗漏的三样东西
NEAT · Progressive Networks · DEN · EWC —— “会生长的网络”与“不遗忘的网络”的尝试
过去数十年,许多研究尝试过会生长的网络与不遗忘的网络,却都止步于同一堵墙:稳定性与可塑性的冲突,以及结构变更不可微分。Neutom Network 关注它们共同遗漏的三样东西——生物大脑拥有、而当今人工神经网络缺失的东西。
研究提案
由四种要素构成的生态
不只是节点与权重,而是计算、连接、照护与可移动的调节数据共同栖居之地
Neutom
对应生物神经元的基本计算单元。由 neuron + atom 合成,拥有内部状态,负责信息的转换、传递与记忆。
Sunya
连接两个 Neutom 的数字突触。源自梵语 śūnya(空,关系的空间)。它随学习而增强或减弱,其强度决定信号流经路径的优先级。
Curia
对应生物神经胶质的调节单元。源自拉丁语 cura(照护)。它不参与单个计算,而负责整张网络的平衡(稳态)、资源与整理。
Naruon
取自纯韩语“naru”(渡口——船只靠岸与离岸之处,也就是渡越之地)加上科学单位后缀“-on”。它是一种可执行信号,载着“强化、抑制、唤醒”等调节效果,沿 Sunya 移动后消散。它不改变连接,而改变网络的运行模式。
研究提案
遗忘不是缺陷,而是功能
记忆与遗忘的平衡——本设计的核心
当记则记,当舍则舍。
在今天的神经网络里,“遗忘”意味着灾难——即灾难性遗忘,新知识覆盖并冲垮旧知识。Neutom Network 对遗忘另有看法。Curia 会依资源状况对概念进行有损压缩,让弱连接进入休眠(不切断,只是使其沉睡),并在闲置时整理网络结构。当遗忘成为受控的功能,网络便能在有限资源上无限生长。
未验证假设
从基本信息到概念——折叠
从不可再分的本源信息,到单个概念 Neutom
Neutom Network 从不可再分的基本信息出发——其种类数量并非既定,而是随研究而变、约数百种规模的暂定值。它们反复共同出现,构成局部 Neutom 网络;足够稳固的局部网络会被折叠、并作为单个概念 Neutom 被引用——就像词典里新增一个词条。而在需要时,该概念可再次展开(可塑性)并重新学习。
未验证假设
五种运行模式——以及 Neutom Network 的睡眠
觉醒 · 默认 · 整备 · 再生 · 深睡眠
Neutom Network 不停留于单一状态,而在五种模式间往来:清醒工作的觉醒、松散漫游的默认、闲置时的整备与再生,以及把资源降到最低的深睡眠。整备平息过度兴奋,重新归一化 Sunya 的强度总和,并回收长期休眠的连接;再生则重新激活并重组记忆路径,寻找泛化的种子。深睡眠守住状态,只留下能自行醒来的最小回路——下限之所以不为零,正在于此。醒时累积的失衡,睡时自行修复。
未验证假设
何时入睡,由网络自行决定
唤来睡眠的不是外面的时间表,而是网络自身的形势
在人工神经网络中安置再生与整理的尝试,此前已有不少。只是在其中大多数里,何时进行由外部决定——或是既定的周期,或是任务与任务之间这样的外部划分。Neutom Network 押下不同赌注的,正是这个位置。它把睡眠的触发放在网络内部的状态里。
Curia 读取五样——累积的预测误差、权重总和的失衡、休眠连接的比例、资源压力、近期再学习的失败率。五样皆取自网络内部,因此这道程序里没有外部日程的容身之处。外部输入的强度不在这五样之内——那只是一个从任何模式回到觉醒的独立条件,并不进入决定是否入睡的位置。
因性能下降而进入，与因资源压力累积而进入，是两回事。以损失增大为信号唤来整备的设计，和以资源与结构达到极限为信号唤来整备的设计，即便做着同样的事，衡量的东西也不同。Neutom Network 瞄准的是后者。
三个层次的分离撑起这套设计。沿连接流动之物被分为三类——激活信号·信息对象·调节信号;并明确写下一条要求:在拓扑与权重原封不动的前提下,仅凭 Naruon 的配比就应能移动运行模式。若这条要求不成立,随后的任何消融实验都说不清究竟移除了什么。
未验证假设
Naruon 药理学——名为 AI 精神药理学的试验场
激动剂 · 拮抗剂 · 耐受 · 戒断
把 Naruon 比作神经递质,我们便能借用生物药理学积累的概念框架,更细腻地驾驭网络的行为。设置一种提高觉醒的 Naruon 与一种平抑它的配对 Naruon,便不仅能注入、也能解除,使调节成为双向。
激动剂 · 拮抗剂
引发特定效果的 Naruon,与抵消该效果的配对 Naruon。网络的模式可以被开启与关闭。
耐受 · 戒断
若同一种 Naruon 持续铺陈,Neutom 会降低受体敏感度(耐受);若熟悉的 Naruon 被切断,网络会短暂动摇(戒断)。
一旦实现耐受与戒断,便能观察到诸如“这张网络对某种 Naruon 形成了依赖”之类的现象。这不是副作用,而是一处新的试验场:诊断网络的内部状态,研究对齐(alignment)与安全——注入什么会如何反应,切断什么会如何动摇。药理学式的介入,成为窥探 Neutom Network 的把手。
未验证假设
痛觉与好奇——自发求学的心
以 Naruon 承载内在动机
痛觉——预测误差的警报
当出现较大的预测误差时,Curia 会向该区域发送警报 Naruon,提高局部可塑性并集中进行校正——正如疼痛唤来学习。
好奇——对可学之新奇的奖赏
对既不过分熟悉、也不过分陌生的可学之新奇,发送奖赏 Naruon,以诱导探索。
如何平衡这两种信号,使其不偏向回避或散漫的探索,仍是一个悬而未决的问题。但方向是明确的——Neutom Network 的燃料不是外部的鞭子,而是由内而生的痛觉与好奇。
要让这张网络生长,需要不受打扰的时间
Neutom Network 是一项无法用季度业绩衡量、需长久呼吸的基础研究。您的支持不会变成办公室或广告,而会化为研究时间;这些时间又会化作可运行的实现、论文与公开的记录,回馈于所有人。
本页是 Neutom Network 设计研究与《数字生命体的睡眠与梦》研究的访客摘要。生物学基础:Hebb 可塑性、Turrigiano 的突触缩放、小世界网络。可变结构与持续学习背景:NEAT、Progressive Networks、DEN、EWC。