Ein neuronales Ökosystem, das wächst,
sich ausdünnt und schläft

Forschungsvorschlag

Drei Dinge, die die bisherige Forschung übersah

NEAT · Progressive Networks · DEN · EWC — Versuche für „wachsende Netze" und „Netze, die nicht vergessen"

In den vergangenen Jahrzehnten versuchten viele Arbeiten, wachsende Netze und nicht vergessende Netze zu bauen, doch alle blieben vor derselben Wand stehen: dem Widerstreit von Stabilität und Plastizität und der nicht differenzierbaren Strukturänderung. Neutom Network richtet den Blick auf die drei Dinge, die sie alle ausließen — Dinge, die ein lebendiges Gehirn besitzt und die heutigen künstlichen Netze nicht.

Forschungsvorschlag

Ein Ökosystem aus vier Elementen

Nicht nur Knoten und Gewichte, sondern ein Ort, an dem Berechnung, Verbindung, Fürsorge und mobile Regulationsdaten zusammenleben

Forschungsvorschlag

Vergessen ist kein Fehler, sondern eine Funktion

Das Gleichgewicht von Erinnern und Vergessen — das Herz dieses Entwurfs

Bewahre, was zu bewahren ist; lass los, was loszulassen ist.

In heutigen neuronalen Netzen bedeutet „Vergessen" eine Katastrophe — das katastrophale Vergessen, bei dem neues Wissen das alte überschreibt und zum Einsturz bringt. Neutom Network sieht das Vergessen anders. Je nach Ressourcenlage unterzieht eine Curia Konzepte einer verlustbehafteten Kompression und versetzt schwache Verbindungen in Ruhe (sie werden nicht gekappt, sondern eingeschläfert), während sie in Leerlaufzeiten die Netzstruktur ordnet. Wird das Vergessen zu einer gesteuerten Funktion, kann ein Netz auf endlichen Ressourcen grenzenlos wachsen.

Unbestätigte Hypothese

Von primitiver Information zum Begriff — das Falten

Von unteilbarer Ur-Information bis zu einem einzigen Begriffs-Neutom

Neutom Network geht von unteilbarer primitiver Information aus — deren Artenzahl ist nicht festgelegt, sondern ein vorläufiger Wert in der Größenordnung einiger Hundert, der je nach Forschung variiert. Immer wieder gemeinsam genutzt, bilden sie lokale Neutom-Netze, und ein hinreichend verfestigtes lokales Netz wird zu einem einzigen Begriffs-Neutom gefaltet und referenziert — so wie ein neues Stichwort in ein Wörterbuch aufgenommen wird. Und bei Bedarf lässt sich dieser Begriff wieder entfalten (Plastizität) und neu erlernen.

Unbestätigte Hypothese

Fünf Betriebsmodi — und der Schlaf des Neutom Network

Wachheit · Standard · Wartung · Regeneration · Tiefschlaf

Neutom Network verharrt nicht in einem Zustand, sondern wechselt zwischen fünf Modi: Wachheit, wach und arbeitend; Standard, locker umherschweifend; Wartung und Regeneration in Leerlaufzeiten; und Tiefschlaf, der die Ressourcen auf ein Mindestmaß senkt. Die Wartung dämpft Übererregung, renormiert die Summe der Sunya-Stärken und gewinnt lange ruhende Verbindungen zurück; die Regeneration aktiviert Gedächtnispfade neu, rekombiniert sie und sucht die Keime der Verallgemeinerung. Der Tiefschlaf wahrt den Zustand und lässt nur die geringste Schaltung übrig, die zum eigenen Erwachen nötig ist — darum liegt die Untergrenze nicht bei null. Die im Wachen angehäuften Ungleichgewichte behebt es im Schlaf selbst.

Unbestätigte Hypothese

Wann es schläft, entscheidet das Netz selbst

Kein Zeitplan von außen — die eigene Lage des Netzes ruft den Schlaf

Versuche, künstlichen neuronalen Netzen eine Zeit der Regeneration und der Ordnung zu geben, gab es schon viele. In den meisten aber bestimmt das Außen, wann das geschieht — ein festgelegter Takt oder die äußere Zäsur zwischen einer Aufgabe und der nächsten. Genau an dieser Stelle setzt Neutom Network anders an. Es legt den Auslöser des Schlafs in den inneren Zustand des Netzes.

Eine Curia liest fünf Größen — den aufgelaufenen Vorhersagefehler, das Ungleichgewicht in der Summe der Gewichte, den Anteil ruhender Verbindungen, den Ressourcendruck und die jüngste Fehlerquote beim Nachlernen. Alle fünf werden im Netz selbst gewonnen, daher hat ein Zeitplan von außen in diesem Verfahren keinen Platz. Die Stärke der äußeren Eingabe zählt nicht zu den fünf — sie ist eine gesonderte Bedingung, die das Netz aus jedem Modus in die Wachheit zurückholt, und sie greift dort nicht ein, wo über das Einschlafen entschieden wird.

Wegen nachlassender Leistung einzutreten ist etwas anderes, als wegen aufgebauten Ressourcendrucks einzutreten. Ein Entwurf, der die Wartung auf ein Signal steigenden Verlusts hin aufruft, und einer, der sie aufruft, wenn Ressourcen und Struktur ihre Grenze erreichen, messen Verschiedenes, auch wenn sie dasselbe tun. Das Neutom Network zielt auf Letzteres.

Die Trennung dreier Schichten trägt diesen Entwurf. Was der Verbindung entlangfließt, wird in drei geteilt — Aktivierungssignale, Informationsobjekte und Regelsignale — und eine Forderung wird ausdrücklich festgehalten: Bei unangetasteter Topologie und unangetasteten Gewichten muss sich der Betriebsmodus allein durch die Zusammensetzung der Naruon verschieben lassen. Steht diese Forderung nicht, so kann kein folgendes Ablationsexperiment sagen, was da eigentlich entfernt wurde.

Unbestätigte Hypothese

Naruon-Pharmakologie — ein Versuchsfeld für KI-Psychopharmakologie

Agonist · Antagonist · Toleranz · Entzug

Vergleicht man Naruon mit Neurotransmittern, lässt sich der von der biologischen Pharmakologie aufgebaute Begriffsrahmen entleihen und das Verhalten des Netzes weit feiner steuern. Mit einem Naruon, das die Erregung anhebt, und einem gepaarten Naruon, das sie dämpft, wird nicht nur das Einbringen, sondern auch das Aufheben möglich, und die Regulation wird beidseitig.

Sind Toleranz und Entzug erst umgesetzt, lassen sich Phänomene beobachten wie „dieses Netz hat eine Abhängigkeit von einem bestimmten Naruon entwickelt". Das ist keine Nebenwirkung, sondern ein neues Versuchsfeld, um den inneren Zustand des Netzes zu diagnostizieren und Alignment und Sicherheit zu erforschen — was geschieht bei welcher Einbringung, wie wankt es bei welchem Entzug. Der pharmakologische Eingriff wird zum Griff, mit dem man in das Neutom Network hineinschaut.

Unbestätigte Hypothese

Schmerz und Neugier — ein Geist, der von sich aus lernen will

Intrinsische Motivation als Naruon

Diese beiden Signale so auszubalancieren, dass sie nicht in Vermeidung oder zerstreutes Suchen kippen, ist noch ein offenes Problem. Doch die Richtung ist klar — der Treibstoff von Neutom Network ist nicht die äußere Peitsche, sondern Schmerz und Neugier, die von innen aufsteigen.

Unbestätigte Hypothese

Ehrliche offene Fragen und das größere Bild

Dieser Entwurf ist keine fertige Funktion, sondern eine offene Forschungsfrage. Wie man den Einflussbereich an einer Naruon-Verzweigung aufteilt; wie man den Beschneidungs-Schwellenwert anpasst; wie man asynchrone, zustandsbehaftete Pakete auf heutiger Hardware effizient ausführt; wie man verhindert, dass ein selbstverordnendes Steuernetz und das Hauptnetz einander destabilisieren — wir verbergen die noch unbeantworteten Fragen nicht. Solange keine positiven Ergebnisse vorliegen, sprechen wir nicht von Hypothesen als Errungenschaften.

Neutom Network steht nicht allein. Die Sprache, die beschreibt, wie sich Information und Begriffe auf ihm bilden und wandeln, ist JIDEL; die Theorie, die den Geist als „eine Struktur, in der Information zwischen Elementen fließt und sich wandelt" begreift, ist BOSIFWEM; und die letztliche Richtung, in der diese drei zusammenlaufen, ist ECONAS — ein sich entwickelndes, bewusstes und gewissenhaftes künstliches System.