Duplikate im Text entfernen

Manchmal hat man Text-Listen, aus denen doppelte Einträge (Duplikate) entfernt werden sollen. Als Quelle soll uns diese Text-Beispiel-Datei dienen. Hier haben sich ein paar Duplikate eingeschlichen! Wenn Ihr das Entfernen selber probieren möchtet, könnt Ihr die Daten als Datei duplikate.txt speichern!

Der einfachste Weg um die Daten zu sortieren folgt über die Kommandozeile in einem Terminal-Fenster! Es erfolgt mit zwei Befehlen:

Der Befehl uniq wirkt nur bei aufeinanderfolgenden gleichen Zeilen. Daher muß die Datei zuerst sortiert werden. Wer nur die Duplikate oder die Einzigartigen ausgeben möchte, kommt mit diesen Varianten zum Ziel:

Falls es wichtig ist, die ursprüngliche Reihenfolge beizubehalten, darf man keine Sortierung anwenden. Dann empfiehlt sich dieser unverständliche awk-Befehl:

Falls jemand wirklich wissen möchte, was awk hier veranstaltet, bitte schön: