Wer kann dies csv in eine mysql-Datei umwandeln?

[[Mitglied Lars…]]

– und mir bitte zuschicken?:

 

lars.kaehler[at]ki.tng.de

 

Merci beaucoup!

 

Lars

 

 

tx_index_gekuerzt_und_geglaettet.csv.zip

[[Mitglied catf…]]

Diese Website kann das:

http://www.4webmaster.net/service_tools/csv_zu_mysql_konverter.htm

[[Mitglied Lars…]]

Hm … die verstehe ich nicht. Er sagt mir jetzt bereits zum fünften Mal, der Eingangscode sei falsch. Das war es nicht.

[[Mitglied c956…]]

jenes geht nicht?

https://code.dedu.ch/2011/07/csv-file-direkt-in-mysql-importieren/

[[Mitglied catf…]]

Ich habe jetzt einfach mal das gemacht, was ich bisher immer mit .csv-Dateien erfolgreich gemacht habe: in LibreOffice Calc öffnen.

 

Mit dieser Datei stürzt mir das Programm allerdings ab. Möglicherweise stemmt also tatsächlich was mit der .csv-Datei nicht?

 

EDIT: Die .csv-Datei ist tatsächlich fehlerhaft - ich habe die Datei halbiert, und dann die Hälften versucht zu öffnen. Die obere Hälfte ließ weiterhin mein Programm abstürzen, die untere Hälfte ließ sich jedoch problemlos öffnen, enthilt jedoch einzelne Zeilen, mit einen fehlerhaften, zusätzlichen Zeilenwechsel. Dies hatte ich von Hand korrigiert.

 

Die obere Hälfte habe ich danach erneut geteilt, mit dem gleichen Ergebnis, dedoch mit wesentlichg mehr Zeilen mit zusätzlichem Zeilenumbruch. So habe ich dann weiter gearbeitet...

[Ralf Herrmann]

Wo kommt die Datei her? Was hast du damit vor? Was hast du zwischenzeitlich damit angestellt?

Es sind jedenfalls tausende Umbruchfehler drin, die einen ordentlichen Import bzw. eine Konvertierung verhindern. Mir ist auch nicht klar, welche Kodierung benutzt wurde oder ob die Sonderzeichen nicht auch alle schon zerschossen sind. 

 

Empfehlung: die Datei wegschmeißen, neu aus der Originalquelle exportieren und einem Fachmann zur Weiterverarbeitung geben. 

[[Mitglied catf…]]

Ich bin zwar ganz und gar nicht der MySQL-Experte, aber ich habe ein paar Tricks und uralte Software (den HTML-Editor Phase5 von Ulli Meybohm, der ein tolles Suchen und Ersetzen-Tool enthält, das auch mehrzeilige Code-Schnipsel suchen und ersetzen kann).

 

Ich habe hiermit die Umbruchfehler ersetzt. Wurden Abschnitte der Datei im Windows-Editor bearbeitet, und war dabei der Zeilenumbruch eventuell eingeschaltet?

 

Auf alle Fälle hat Phase5’s „Dateiübergreifendes Ersetzen“ fast 10 Minuten an „;{zeilenumbruch}0“ ersetzte durch „;0“ gesucht, und damit die fehlerhaft getrennten Zeolen schön wieder zusammengefügt

 

Der nächste Schritt: Jetzt kam aktuelle Software zum Zug: Notepad++

Hier fand ich dann einige obskure Sonderzeichen, die beim Import in LibreOffice Calc zu seltsamen Fehlern führten. Oft waren die im Block der „manufacturer“-Spalte vor, und diese konnten, ohne den Sinn des Textes zu sehr zu entstellen, schlicht durch Leerzeichen ersetzt werden.

 

Notepad++ markierte dieses Sonderzeichen als VT - also „Vertical Tab“ oder U+000B, also letztlich auch ein Zeilenwechsel-Steuerzeichen, das innerhalb einer .csv-Zeile auch nicht verlohren hat. Möglicherweise ist dies aus einem ursprünglichen Datenbank-Format aus dem die .csv exportiert wurde da hinein geraten.

 

Aber das Öffnen klappte noch immer nicht problemlos. Das Problem identifizierte ich dann in den Tiefstrichen der Spaltentitel, denn entfernte ich diese erste Zeile, konnte ich die .csv schon mal ordentlich importieren.

 

Also habe ich die Tiefstriche durch „camelCase“-Schreibweise ersetzt - also z.B. bullets_vor_weights in bulletsVorWeights geändert. Und siehe da, ich kann die Datei endlich fehlerfrei importieren...

 

Hier jetzt meine „Putzarbeit“

 

tx_index_gekuerzt_und_geglaettet.zip

[[Mitglied Lars…]]

jenes geht nicht?

https://code.dedu.ch/2011/07/csv-file-direkt-in-mysql-importieren/

 

Empinde ich auf den ersten Blick als »nicht gerade einladend«.

[[Mitglied Lars…]]

Maxvonuid;Maxvonpid;tstamp;crdate;cruser_id;inspector_id;deleted;hidden;name;weight;bullet_nach_weights;leerzeichen_vor_weights;designer;year;manufacturer;classification;similar_to;medium;source

2;1;0;0;0;0;0;0;16th Century Venetian;;0;0;;;Linotype Type Foundry;;;B;0

 

Das hier sind die beiden ersten Zeilen Deiner Konvertierungsarbeit, und damit bis Du mein Retter, catfonts!

 

…

 

Ich erklär’s mal:

 

Wir konnten im Mai letzten Jahres einen Hack nicht 100 %-ig abwehren. Alle Bilder sind von der Website im alten Look herausgeflogen, die Texte waren immerhin noch zu retten. Das Teil, ein Trojaner, hatte sich jedoch längst in unser Backupsystem und damit in die Datenbank eingefressen.

 

Und nun die gute Nachricht:         

 

Die konvertierte Datei hat die richtige Anzahl an Zahlen, also ist meine Arbeit von vor zehn Jahren wieder herstellbar. 130.197 einzelne Schriften, nach Schnitten gezählt, ab 1990 nicht mehr so vollständig, bis dahin wahrscheinlich schon.

 

Also jetzt ein neu definierter Startpunkt, nämlich schlicht die komplette, eigentlich seit 2004 bestehende Ressource. Im neuen Gewand. Freuet Euch!

 

Da müssen jetzt nur noch die überflüssigen Felder weggelöscht werden. Nämlich ganz einfach alle außer name, weight, designer year, manufacturer, classification, similar_to.

 

Danke also für alle Eure Beiträge, alles ist hilfreich für mich, und für konkrete Unterstützung wie in diesem Fall oder beim CD bedanke ich mich erneut.

[[Mitglied catf…]]

Nun, da wär natürlich schön gewesen, hätte ich das mit den überflüssigen Spalten schon vorher gewusst. Aber ich hatte die Datzei ohnehin noch geöffnet, so habe ich diese überflüssigen Spalten dann gelöscht.

 

Dabei ist mir dann aufgefallen, das in der Spalte Designer Font-Namen auftreten. Ich kenne z.B. keinen Font-Designer mit namen Helvetica, Times, Eurostyle usw. Also habe ich die Datei nach der Spalte „designer“ sortieren lassen, und dort die Fontnamen, sofern ich diese eindeutig identifizieren konnte nach „similarTo“ verschoben. Dies betraf insbesondere Fonts der Anbieter OptiFont, HA AG ind Bitstream, sowie einige andere.

 

Abschließend habe ich versucht die teilweise fehlerhafte Codierung einiger Buchstaben zu korrigieren, wo ich den Namen auch erkennen konnte (ein paar sind noch drin, leider) und abschließend den Datensatz wieder nach Font-Namen sortiert.

 

 

new 2.zip

 

Eigentlich hab ich mir ja wohl damit verdient, dass auch meine Schriften in der liste stehen?

[[Mitglied Kath…]]

Schöne Idee!   Lars, kann Catfonts Dir nicht gleich eine Datei erstellen, in der seine Schriften ebenfalls enthalten sind? 

[[Mitglied catf…]]

Nun, ich glaube, diese Liste ist ohnehin eine ziemliche Sisyphusarbeit , denn so voele der hier besprochenen schönen Schriften sind da auch größtenteils nicht drin, und fast täglich kommt ja neues hinzu, mehr als ein einzelner da einpflegen kann.

 

Vielleicht sollte man ja eine leere Musterdatei mal einstellen? Zusammenführen geht ja immer.

[[Mitglied Kath…]]

Klingt für mich nach einer sehr schlauen Idee. 

[[Mitglied catf…]]

Eine weitere Idee, die mir im Zusammenhang zu dieser Liste kommt, wenn man die ohnehin überarbeitet und unwichtige Spalten heraus löscht.

 

Wie wäre es, wenn man dafür aber ein  paar zusätzliche, zum Teil „Ankeuz-Spalten“ (nichts oder 1) hinzufügt. ich denke da an Felder für Giyph-Covering:

 

Standard ANSI,

Westeuropa,

Osteuropa,

IPA,

Welt-Lateinisch (also auch Afrika-Alfabet und Vietnamesisch),

Griechisch (modern),

Griechisch (Phonetisch),

Kyrillisch Standardsatz,

Kyrillisch Erweiterter Satz,

weitere Schriftsysteme (mit Name eintragen),

OpenType-Funktionen,

Alternativ.-Buchstaben, Ligaturen.

 

Hierin unterscheiden sich ja oft Originalschriften und die Lookalikes, wobei dann soiwohl die Originalschrift als auch die Nachahmung besser ausgebaut sein kann, und so das eine echte Hilfe in der Entscheidung zur einen oder anderen sein kann.

[[Mitglied Vitr…]]

Ein kleiner Tip am Rande. Wer die CSV-Datei (unter Windows) ansehen möchte ohne erst die Tabellenkalkulation zu starten und ev. die Importparameter einzustellen, dem sei das kleine Programm CSVFileView von Nirsoft empfohlen. Das kostenlose Programm kann ohne Installation genutzt werden und unten auf der Seite kann man auch eine deutsche Sprachdatei laden.

 

 

Da man mit dem Programm auch markierte Einträge in XML speichern kann habe ich dies mal getan. Vielleicht hilft dies ja um die Daten in einer SQL-Datenbank zu nutzen (siehe hier)

GlobalType(xml).zip