Language Engineering · Forschungssoftware · Java & Python
Radixor
Ein deterministischer mehrsprachiger Stemmer, der morphologische Lexika in kompakte ausführbare Transformationen überführt. Sprachwissen wird offline vorbereitet; der kritische Suchpfad führt ein immutables kompiliertes Modell aus, statt ein großes Textwörterbuch Eintrag für Eintrag abzufragen.
Morphologie in eine Suchprimitive kompilieren
Die ursprüngliche Egothor-Idee bestand darin, Transformationen aus lexikalischer Evidenz zu lernen, statt für jede Sprache ein separates Stemming-Programm von Hand zu schreiben. Radixor vervollständigt dieses Modell mit expliziter Reduktionssemantik, immutable Runtime-Strukturen, versionierter binärer Persistenz, deterministischer Ambiguitätsbehandlung und interoperablen Java/Python-Runtimes.
Ein Patch ist keine gespeicherte Endantwort. Es ist eine Anweisung, die eine Eingabeform in eine kanonische Repräsentation transformiert. Dadurch kann Evidenz aus vielen lexikalischen Familien Struktur teilen, und der Compiler kann kompatible Transformationen über eine flache Wort-zu-Ausgabe-Tabelle hinaus verallgemeinern.
Ein Engine, viele Sprachen
Die Runtime ist sprachunabhängig. Linguistisches Wissen kommt als versionierte Modelldaten hinein; eine Sprache hinzuzufügen oder zu verbessern ist primär ein Problem der Modellkompilierung statt eines neuen Source-Algorithmus.
Ambiguität bleibt erhalten
Dasselbe Modell kann ein bevorzugtes Ergebnis oder alle lokal gestützten Kandidaten in deterministisch gerankter Reihenfolge liefern. Das nachgelagerte Suchsystem entscheidet, wie viel Ambiguität aktiviert wird.
Komplexität beim Build, einfacher Runtime-Pfad
Induktion, Reduktion und Validierung finden offline statt. Production Lookup traversiert das eingefrorene Modell und wendet ein kompiliertes Patch Command auf das Token an.
Model-Artefakte als First-Class Objects
Sprachmodelle sind unabhängig versionierte, integritätsprüfbare Deployment-Artefakte und keine versteckten Ressourcen in einem einzelnen Executable.
Java und natives Python
Das Projekt bietet Java-Integration und eine native Python/Rust-Runtime, die dasselbe Konzept versionierter kompilierter Modelle verwenden.
Kontrollierte Erweiterung
Ein kompiliertes Java-Modell kann über einen Builder wieder geöffnet, um domänenspezifische Evidenz erweitert, neu gebaut, getestet und als neues Artefakt deployt werden, statt live mutiert zu werden.
- Linguistische Evidenz wird offline kuratiert, statt zur Query-Zeit improvisiert zu werden.
- Mehrsprachige Modelle bleiben explizite versionierte Artefakte.
- Deterministisches Runtime-Verhalten macht Stemming in kontrollierten Systemen einsetzbar.
- Forschungsergebnisse werden in deploybare Engineering-Artefakte überführt.
Was tatsächlich gemessen wurde
Die Studie von 2026 über zwanzig Sprachen bewertet morphologische Conflation als Relation. Einfach gesagt stellt sie in großem Maßstab zwei Fragen: landen Formen, die zusammengehören, auch zusammen, und bleiben nicht verwandte Formen getrennt? Sie verlangt nicht, dass jedes System seine Ausgabe wie ein Wörterbuchlemma schreibt.
Von Millionen Wörtern zu Billionen Paarentscheidungen
Die Evaluierung nutzt unabhängig kuratierte, aus UniMorph abgeleitete Paradigmen und zählt die durch deterministisches Stemming induzierte Relation. Falsche und verpasste Zusammenführungen werden messbar, ohne die Schreibweise des Stems mit dessen Qualität zu verwechseln.
- Positive Paare zeigen, ob echte Varianten zusammenbleiben.
- Negative Paare zeigen, ob nicht verwandte Formen fälschlich zusammengeführt werden.
- Lemma-Schreibweise wird nicht als vollständige Qualitätsdefinition behandelt.
- Ambiguität kann getrennt für Primary Output und All Candidates untersucht werden.
Das Qualitätsergebnis in praktischen Begriffen
Das Candidate-aware-Ergebnis ist besonders hilfreich, um das Design zu verstehen. Ein kontextfreier Stem muss eine Antwort wählen, selbst wenn Morphologie tatsächlich mehrdeutig ist. Radixor bewahrt alternative Evidenz zunächst auf; ein Indexer, Query Expander oder eine kontextuelle Schicht kann danach eine zur Anwendung passende Policy wählen.
Kompakte Modelle statt Live-Dictionary-Lookup
Die Source-Lexika sind wertvoll, weil sie wissenschaftliche morphologische Evidenz enthalten; sie müssen jedoch nicht die Runtime-Repräsentation bleiben. Radixor destilliert dieses Wissen in Patch-Programme und einen reduzierten Trie.
99,92 MB lexikalische Evidenz werden zu 16,55 MB kompilierten Modelldaten
Gemessen an dekomprimierten Payloads ohne äußere GZip-Wrapper und Package-Metadaten. Über alle zwanzig Modelle verwenden die kompilierten v7-Streams 2,50 Byte pro evaluierter Form statt 15,12 Byte im Source-Payload.
Eine sichtbare Wissens–Qualitäts–Kosten-Hüllkurve
Ein zusätzliches englisches Experiment kompiliert Modelle absichtlich aus zunehmend kleineren deterministischen Ausschnitten der verfügbaren Lexikonzeilen und evaluiert sie anschließend gegen die vollständige Ressource. Ziel ist nicht eine „magische“ Wörterbuchgröße, sondern sichtbar zu machen, was verloren geht, wenn Wissen entfernt wird.
Drei Ankerpunkte
Für nicht spezialisierte Leser ist das oft anschaulicher als eine große Tabelle: weniger lexikalisches Wissen bringt nur begrenzte Runtime-Vorteile, während die Stemming-Qualität — besonders bei geänderten Formen — kontinuierlich sinkt.
| Verwendete Wörterbuchzeilen | Exact Agreement · alle Formen | Exact Agreement · geänderte Formen | Changed-Form Runtime |
|---|---|---|---|
| 100 % | 97,478 % | 97,197 % | 71,6 ns/token |
| 50 % | 95,262 % | 86,107 % | 61,1 ns/token |
| 10 % | 92,868 % | 76,516 % | 47,0 ns/token |
Absolute Latenz ist maschinen- und workloadabhängig. Die Kurve dient vor allem als Engineering-Illustration: Entfernen von lexikalischem Wissen schadet besonders Formen, die eine Transformation benötigen, während sich die Runtime moderater und nicht streng monoton verändert.
Zwanzig Default-Sprachen
Eine visuelle Übersicht des Standardsets macht die sprachliche Breite leichter erfassbar als eine reine kommaseparierte Liste.
Flaggen werden dort verwendet, wo sie die Orientierung unterstützen. Wo die Flagge eines souveränen Staates irreführend wäre, wird stattdessen ein Sprachbadge verwendet.
Forschungslinie und Reproduzierbarkeit
Radixor ist die heutige Vervollständigung einer Forschungslinie, die 2001 mit Egothor begann: kompakte Wort-zu-Stem-Editprogramme aus lexikalischen Beispielen ableiten, sie in einem Trie organisieren und das resultierende Modell in einem Suchsystem ausführen. Die moderne Arbeit ergänzt explizite semantische Reduktion, Uniform-Subtree-Kontraktion, immutable kompilierte Repräsentationen, evidenzgerankte Alternativen, Model Provenance, Java/Native-Interoperabilität und publikationsfähige Evaluierungsartefakte.
Die Evaluierung ist auditierbar angelegt. Modell-IDs und Descriptor-Hashes werden zusammen mit Ergebniszeilen gespeichert; der Quality Snapshot enthält rohe Confusion Counts und abgeleitete Metriken; erzeugte Tabellen und Abbildungen können aus maschinenlesbaren Daten rekonstruiert werden, statt manuell übertragen zu werden.