Moin Zusammen,

ich stehe vor einem Problem und komme mit dem Knoten im Kopf einfach nicht alleine klar...
Folgendes Szenario...
Aus einem Konvertierungsprogramm für ein Arzt Informationssystem erhalte ich eine "BDT"-Datei diese ist rein Text und muss verglichen werden.

Beispiel:
Textdatei 1 hat folgenden Inhalt:

Die Datei hat im Orignial jedoch ~45 MB und beinhaltet ~2,5 Mio. Zeilen

Nun gab es bei der ersten Konvertierung einen Fehler vom System und hat mir nicht alle Zeilen übernommen. Zwischen drin fehlen diverse Zeilen.
Es soll nun die neue Datei, die alle Daten beinhaltet mit der alten Datei verglichen werden.
Bei fehlenden Einträgen soll es "Blockweise" (Spoiler Beispiel 2) in eine neue Textdatei geschrieben werden.

Spoiler2


Der Start für einen Block ist immer Feldkennung 6200
danach können beliebig viele Zeilen folgen.
Somit muss von 6200 bis 7202 gesucht und kopiert werden.

Dieser Block muss dann mit der alten Textdatei verglichen werden. Ist dieser nicht vorhanden, soll er in eine Textdatei geschrieben werden.

Hat da jemand eine Idee wie ich das am sinnvollsten umsetzen kann?
Am besten Quick 'n Dirty Es muss kein "Kundenprogramm" sein, sondern soll einfach für mich als Ziel dienen.

Danke

Stefan

Moin @RodFromGermany,
im Grundsatz würde ich sage ja,... Gibt da aber ein kleiner Haken an der Sache.
Bei der Konvertierung ist es nicht aufgefallen, erst hinterher im Kundensystem.
Nun fehlt die Hälfte der Daten (Es sind die Patiententermine einer Arztpraxis)
Ich versuche es irgendwie grade zu biegen aber ein paar Millionen Zeilen einer BDT Datei zu lesen und zu vergleichen macht händisch auch kein sinn.
Kurzum: Der Hersteller des Konverters hat nachgebessert, nun muss die Differenz gefunden werden und nachgeschoben werden ins System.
Daher der riesen Aufwand.

@VaporiZed Ich kann es dir nicht wirklich beantworten.
Das Vorkommen der "Feldkennung" innerhalb des "Inhaltbereich" wäre denkbar.
Wenn mehr als einmal 7202 vorkommt, muss es markiert sein bis zum letzten vorkommen in der Gruppierung.

Zur Erklärung: Der augenscheinliche "Datenmüll" nennt sich BDT Format.

Rein von der Theorie wäre folgendes Szenario denkbar.
ReadAllLines (Menge Rechenleistung bei 4,5 Mio Zeilen und einer Dateigröße um die 44MB notwendig)
> Zeilenweise die ersten 3 Stellen ignorieren
> die nächsten 4 Stellen vergleichen bis 6200 kommt und Stelle merken
> weitersuchen bis das letzte Vorkommen 7202 gefunden wird und die Markierung von Position A bis Position B durchführen.

Bisher hat aber keiner meiner Ansätze funktioniert, habe das Projekt schon 4x gelöscht... Sitze gerade an Versuch 5.
(Bisher hab ich nur die OpenFileDialog stehen )

Grüße Stefan

@ErfinderDesRades Du hast es erfasst.
Jedoch soll er die Daten, die aus der ersten Konvertierung stammen mit der neuen Datei vergleichen.
Wenn dann etwas fehlt, was nur "Blockweise durch Anfang und Ende" vergleichbar ist, soll er dies in eine extra TextBox oder direkt in eine Datei schreiben.
ok, Ausgabe in TB oder File ist jetzt kein Hexenwerk, jedoch bekomm ich die beiden Dateien nicht verglichen.

@VaporiZed da wäre die Geschichte siehe Oben. Ich kann es nicht Zeilenweise vergleichen, das hätte ich schon längst gemacht, wäre einfach.
Ich muss erst den "Datensatzblock" herausfinden, diesen dann in der anderen Datei / Textbox suchen und dann prüfen ob vorhanden = ok oder schreiben

@VaporiZed Dein Pseudocodevorschlag ist gut, daran zweifel ich nicht. Ich zweifel gerade an mir selber... Ich bekomms gerade nicht mal gebacken die Textdatei auszulesen... Ich fass es nicht. Die Form friert mir ständig ein.
Ich glaub ich lass es bleiben... Bin nicht fit genug für sowas anscheinend.

Ich hab nochmal Datensätze erstellt.

Das wäre der Vergleich. Die 3 Blöcke würden fehlen... Ich bekomm den Marker jedoch einfach nicht gesetzt.
Das Laden der Textdatei dauert auch 15 Minuten, wenn ich bedenke das ich 2 Dateien laden muss, bin ich 30 Minuten mit Kaffee trinken beschäftig
Jemand eine Idee wie es schneller gehen könnte?

@ErfinderDesRades @VaporiZed @Dksksm
erst einmal vielen Dank für den ganzen Input.
In der Tat hat der Konverter-Hersteller die Software korrigiert, war seine Aufgabe, hat er gemacht.
Problem war einfach, die Praxis musste mit den Daten starten und damit wurde die Daten unvollständig importiert.
Nun haben wir 2 Dateien. Eine wo alle Termine drin sind, das war nach der Nachbesserung des Herstellers und eine die eben unvollständig ist.
Jetzt hat die Praxis aber schon 2-3 Wochen damit gearbeitet und Termine die bereits gelaufen sind und ggf. in der Zukunft liegen bearbeitet.
Daher kommt ein Löschen der Daten nicht mehr in Frage, sonst würden wir einfach den kompletten Kalender "leeren". Würde jedoch auch neue Termine entfernen die nicht in den konvertierten Daten sind.

@ErfinderDesRades
Vielen herzlichen Dank für deinen Code. Ich hab es auf die Schnelle mal kurz getestet. Er Spuckt mir eine Datei aus mit einer Größe um ca. 1MB
Es stehen auch viele Sachen drin, ob die korrekt sind, muss ich händisch prüfen.
Ich gebe dir heute Abend bescheid Muss jetzt los zum Kundentermin
Vielen Vielen Dank!

PS: Die Laufzeit waren 2 Sekunden

Grüße Stefan

@ErfinderDesRades Danke für den Hinweis.
Ich hab mir Quell und Zieldatei mal angesehen und festgestellt das die Zeichenkodierung hinüber ist.
Laut Windows Notepad und Notepad++ ist die Quelldatei eine ANSI Datei.
Da ich ehrlich gesagt deinen Code nicht ganz verstehe würde ich dich nochmal um Hilfe bitten, das wir die Zeichenkodierung anpassen können

funktioniert so ja leider nicht.

Nach etwas Würfeln an der Originaldatei kam heraus, das Ansi nicht gleich Ansi ist.
Hinter der Datei und dem Umlautproblem versteck sich OEM 852, Mit dieser Codierung findet man auch alle Umlaute wieder.

Viele Grüße,
Stefan