Hi zusammen,
ich muss mir das jetzt einfach mal von der Seele beziehungsweise aus dem Kopf schreiben, weil mich das Thema seit Wochen und Monaten nachts beschäftigt.
Vorweg: Ich bin kein KI-Forscher und kein studierter Mathematiker. Ich bin ehemaliger Lokführer. Aber wenn man jahrelang in großen, komplexen Schienensystemen denkt (mit Fahrplänen, Taktungen, Weichen und massiven Kettenreaktionen bei Störungen), schaut man automatisch anders auf die Welt. Und je länger ich mir anschaue, wie wir aktuell versuchen Wissen in Künstlicher Intelligenz zu speichern (immer gigantische LLMs oder starre Punkte in Vektordatenbanken, klassische RAG's), desto mehr drängt sich mir ein Verdacht auf: Wir bauen das Gedächtnis von KIs aktuell wie ein verstaubtes Lagerhaus, statt wie ein dynamisches Verkehrsnetz.
Ich spiele im Kopf seit längerem an einer anderen Architektur und wollte diese mal mit euch teilen, um zu hören, ob ich komplett danebenliege oder ob da was dran ist.
1. Das Sprachmodell ist nur der LKW auf der letzten Meile
Warum wachsen LLMs ins Unendliche? Weil wir von ihnen erwarten, dass sie gleichzeitig genial formulieren und allwissend sind. Meine Überlegung: Trennt das strikt, ein Sprachmodell muss gar kein Weltwissen haben. Es braucht eine fest begrenzte Größe und wird rein darauf trainiert, maschinelle Logik und Datenstrukturen fehlerfrei in menschliche Sprache (und zurück) zu übersetzen, wie ein LKW am Umschlagplatz, der die Fracht auf der letzten Meile zum Kunden bringt. Die eigentliche Intelligenz liegt woanders.
2. Wissen sind keine Punkte, sondern Trajektorien im Phasenraum
Im echten Leben (und auf der Schiene) existiert nichts als zeitloser Punkt. Ein Zug ist eine Linie (Trajektorie) mit Richtung, Dauer und Dynamik. Wenn man ein Thema (nehmen wir historisch den Zweiten Weltkrieg oder den Nationalsozialismus) abbildet, sollte das keine starre Textdatei in einer Vektordatenbank sein. Es ist eine Trajektorie in einem zeitlichen Phasenraum. Je nachdem, wo sich diese Linie zeitlich gerade befindet, driftet ihre Bedeutung. Und in diesem Netz bewegen sich Millionen kleiner Mikro-Trajektorien (Einzelereignisse, Menschen, Wirtschaftsfaktoren), die an Umschlagplätzen ein- und aussteigen.
3. Kausalität als „Fehlleitung“ mit Druck- und Zerrkräften
Kausalität ist kein einfacher Pfeil von A nach B. Wenn in der Geschichte etwas schiefgeliftet wird (eine massive Fehlleitung, wie wirtschaftlicher Verdruss und Ressourcenmangel im Krieg), bleibt die Zeit nicht stehen. Das System läuft weiter, aber es entstehen Druck- und Zerrkräfte, die Milliarden von Linien gleichzeitig verzerren:
- Auf der Makro-Ebene fehlt das Geld für Waffen, Fronten brechen ein.
- Auf der Mikro-Ebene kriegt ein Soldat in Leningrad einen sorgenvollen Brief von zu Hause, ist abgelenkt und wird getroffen. Alles hängt im Raum über physikähnliche Druckkräfte zusammen.
Meine Frage an euch: Ich komme aus der Praxis, nicht aus der Forschung. Aber im Kopf wird das Modell bei jedem Durchspielen runder. Wie müsste man so einen Phasenraum mit zeitlichen Drifts und kausalen Druckkräften mathematisch in den Griff bekommen, damit das berechenbar bleibt?
Gibt es hier Leute, die Lust haben, diesen Gedanken mal querzudenken, oder seht ihr direkt den Punkt, wo das mathematisch kollabiert? Freue mich über jeden Input!
(Falls ihr ein passendes Header-Bild dazuhabt: Ich habe dazu eine Grafik, die genau diesen Übergang von starren Gleisen zu glühenden, verzerrten Datenströmen an einer Weiche zeigt gewählt um es minimal zu veranschaulichen)
