Umlaute weg nach Datenimport aus Wordpress

[phileas]

Ich habe mein Wordpress-Blog in Serendipity importiert und war völlig begeistert, wie einfach das geht.
Die Umlaute wurden für die Blogeinträge auch problemlos übernommen, aber nicht für die Kommentare.
In der s9y-Datenbank stehen jetzt die HTML-Umschreibungen: ü und ß und so. Hat jemand einen Rat, wie man das Problem angehen kann?

[falk]

Scheinbar werden die Kommentare in Wordpress bereits mit Umlauten gespeichert. Das Einfachste wäre, du schreibst ein Skript was die Kommentare aus der Datenbank ausließt, die Umlaute umwandelt und wieder abspeichert. Reine Stapelverarbeitung

Nachtrag: Oder man fügt diese Funktion in den Importer hinzu.

[garvinhicking]

Hi!

Also die Kommentare und Eintragstexte vom WordPress Importer werden alle aus der WordPress Datenbank selber geholt und dann mit derselben Zeichenkonvertierungsfunktion (strtrRecursive) behandelt. Wenn also die Umlaute in Blogeinträgen anders gespeichert werden als in Kommentaren, dann liegen sie in der Datenbank von WordPress vermutlich anders vor.

Kannst Du einen Ausschnitt eines SQL Dumps für die Wordpress 'comments' hier posten, um mal zu sehen wie die Umlaute dort vorliegen? Ein SQL Dump eines Eintrages mit Umlaute parallel dazu könnte auch helfen.

Auf jeden Fall kann man die Kommentarzeichen recht einfach mit Suchen+Ersetzen umtauschen. Entweder per SQL Befehl

Code: Select all

UPDATE serendipity_comments SET body = replace(body, 'ü', 'ü');
UPDATE serendipity_comments SET body = replace(body, 'ä', 'ä');
...

oder indem Du die Tabelle serendipity_comments als SQL Dump speicherst, da mit nem Texteditor suchen+ersetzen drübermachst und dann den SQL-Dump reimportierst.

Die grundsätzliche Ursache dafür würde ich aber natürlich gerne erfahren, damit man sie beheben kann bzw. rausfindet wieso das überhaupt passierte. Meine Vermutung ist, dass WordPress nur in HTML Kommentaren Sonderzeichen einfügt, aber nicht in Beiträgen.

Beim WP import, hast Du da die Option "HTML Entities konvertieren" aktiviert oder deaktiviert?

Viele Grüße,
Garvin

[phileas]

Wenn das so einfach wäre mit dem Scripten... *hüstel*
Leider hab ich da nicht die nötige Ahnung für. Ich vermute aber, daß im Importscript von Serendipity der Fehler liegt, denn daß WP die Umlaute in den Kommentaren anders speichert als in den Einträgen, das wäre mir neu.[/quote]

[phileas]

Wenn das so einfach wäre mit dem Scripten... *hüstel*
Leider hab ich da nicht die nötige Ahnung für. Ich vermute aber, daß im Importscript von Serendipity der Fehler liegt, denn daß WP die Umlaute in den Kommentaren anders speichert als in den Einträgen, das wäre mir neu.

[phileas]

In der Mysql-DB sind sowohl bei den Einträgen als auch bei den Kommentaren die Umlaute oroginal deutsch gespeichert, also ü = ü und nicht ü
Beim Import habe ich die Option "HTML Entities konvertieren" aktiviert.

Danke für den Hinweis, wie ich die Umlaute dann wieder in lesbare umwandeln kann

[garvinhicking]

Phileas: Kein Problem, mit einem DB Dump (via phpMyAdmin) deiner WP-Tabelle 'comments' und eines Beispieleintrages aus 'posts' kann ich das nachvollziehen.

Meiner Meinung nach liegt es nämlich nicht am s9y Importscript.

Viele Grüße,
Garvin

[phileas]

Ok. Na dann...
hier ein Beispiel-Posting:

Code: Select all

INSERT INTO `wpc_posts` VALUES (1317, 2, '2004-05-16 09:50:22', '2004-05-16 07:50:22', 'Leider zu kühl und bedeckt, sogar drei Tropfen Regen in vier Reihen:  ein Grill-Abend mit Freunden am andern Ende der Stadt. Immerhin, draußen sitzen kann man, geschützt von einem Wellblechdach und 3 Holzwänden - nette Stimmung eigentlich, jedoch ziemlich unterbrochen von diesem albernen Grandprix-Geglotze.\r\nNein, ich kann dem nichts abgewinnen. Habe da nur dieses lakonische "Allemagne - douze points" im Ohr.\r\n\r\nRückfahrt auf dem Rad entlang der Leine, so dunkel, dass ich mit meinem Schnupfenkopf kaum was erkenne, um so erstaunter darüber bin, wieviel ich rieche. Flieder vor allem. Aber schon fast verblüht. So eine aus der Tiefe sich ausbreitende Leichtigkeit und Fröhlichkeit, Lust zu singen beinahe, wenn nicht gerade die Stille so schön wäre.\r\nEndlos könnte ich das haben. Das Leben überhaupt einfach eine einzige endlose Mainacht.', 'Mai-Abend', 0, '', NULL, NULL, 'publish', 'open', 'closed', '', 'mai-abend', '', '', '2004-05-16 09:50:22', '2004-05-16 07:50:22', '', 0, 'http://cyangui.de/archives/2004/05/16/mai-abend/', 0);

Und hier ein paar Comments:

Code: Select all

INSERT INTO `wpc_comments` VALUES (1540, 1456, 'phileas', 'phileas7@web.de', 'http://cyangui.de', '80.134.65.125', '2004-10-08 20:49:27', '2004-10-08 18:49:27', 'Danke vielmals!\r\nSchön, daß es Ihnen hier gefällt. Fühlen Sie sich doch bitte ganz zuhause!', 0, '1', 0, '', '', 0);
INSERT INTO `wpc_comments` VALUES (1541, 1456, 'kopfherz', 'xxx@gmx.de', 'http://kopfherz.blogger.de', '213.7.209.12', '2004-10-08 21:05:13', '2004-10-08 19:05:13', 'urlaubslektüre. brisant und aktuell ... hm.\r\nnaja, erstmal natürlich die *zeit* (oder kommen Sie unter der woche dazu?)\r\n\r\ndann peter handke - der ist ja immer brisant... vom casanova-buch hab ich bisher nur gutes gehört. werd es mir wohl selbst zulegen.\r\n\r\nvielleicht auch klemens renoldner: hagenwil-les-deux-eglises; gespräch mit nikolaus meienberg. hab ich selbst noch nicht gelesen, der titel hat aber den weg in mein moleskine gefunden, und DAS will was heißen.\r\n\r\nund vielleicht noch heinrich zankl: fälscher, schwindler, scharlatane; betrug in forschung und wissenschaft - ganz witzig zum teil.', 0, '1', 0, '', '', 0);
INSERT INTO `wpc_comments` VALUES (1542, 1456, 'kopfherz', 'xxx@gmx.de', 'http://kopfherz.blogger.de', '217.185.85.67', '2004-10-09 08:38:42', '2004-10-09 06:38:42', 'ich wünsche Ihnen einen schönen urlaub, herr phileas. kommen Sie gesund wieder.', 0, '1', 0, '', '', 0);
INSERT INTO `wpc_comments` VALUES (1543, 1456, 'phileas', 'phileas7@web.de', 'http://cyangui.de', '80.134.95.100', '2004-10-09 09:48:01', '2004-10-09 07:48:01', 'Herzlichen Dank für die guten Empfehlungen, werde gleich noch mal in die Buchhandlung meines Vertrauens eilen...\r\n\r\nUnd auf''s Wiederkommen freu ich mich auch schon!', 0, '1', 0, '', '', 0);
INSERT INTO `wpc_comments` VALUES (1544, 1458, 'pseudonym', 'pseudonym@gmx.de', 'http://pseudonym.blogger.de', '80.130.112.74', '2004-10-15 09:37:48', '2004-10-15 07:37:48', 'Ein wunderschönes Rot, Herr Phileas. Ich liebe Herbstfarben. Sie haben doch bestimmt noch ein paar schöne Bilder parat, oder?', 0, '1', 0, '', '', 0);
INSERT INTO `wpc_comments` VALUES (1545, 1454, 'Kristof', 'xxx@web.de', 'http://leicht.ykom.de', '213.157.7.143', '2004-10-18 23:46:25', '2004-10-18 21:46:25', 'Das gefällt.', 0, '1', 0, '', '', 0);
INSERT INTO `wpc_comments` VALUES (1560, 1459, 'kopfherz', 'xxx@web.de', 'http://kopfherz.blogger.de', '213.7.202.162', '2004-10-26 21:04:56', '2004-10-26 19:04:56', '... und auf weitere eindrücke bin ich sehr gespannt.\r\nschön, dass Sie wieder da sind - und offensichtlich gesund und munter :-))))', 0, '1', 0, '', '', 0);
INSERT INTO `wpc_comments` VALUES (1561, 1459, 'sophia', 'xxx@web.de', 'http://weblog.elementarteilchen.com', '217.232.28.237', '2004-10-27 09:19:21', '2004-10-27 07:19:21', 'fein, wieder von dir zu lesen..\r\nund lanzarote wird doch sicher noch mehr zu bieten haben als schutthäufen und beton.. na und sonne mag gar keine schlechte idee sein: die bäume sind herrlich bunt, ja, aber immer nur grau ist eben auch ganz schön grau.', 0, '1', 0, '', '', 0);
INSERT INTO `wpc_comments` VALUES (1562, 1460, 'Samadhi', 'xxx@web.de', '', '129.252.4.80', '2004-10-27 16:43:34', '2004-10-27 14:43:34', 'Wo sind Sie? Ich muess fuer eine Deutschklasse Ihrem blog lesen. Machen Sie eine Ferien? Sind Sie in der Naehe von Goettingen?', 0, '1', 0, '', '', 0);
INSERT INTO `wpc_comments` VALUES (1563, 1460, 'phileas', 'phileas7@web.de', 'http://cyangui.de', '194.149.247.16', '2004-10-27 17:00:29', '2004-10-27 15:00:29', 'Was?! Dieses Blog soll jetzt Gegenstand des Deutsch-Unterrichts sein? Das kann ja wohl nicht wahr sein!', 0, '1', 0, '', '', 0);
INSERT INTO `wpc_comments` VALUES (1564, 1461, 'pappnase', 'xxx@web.de', 'http://pappnase.de.tt', '82.83.71.111', '2004-10-28 21:32:29', '2004-10-28 19:32:29', 'das gefällt mir sehr gut.', 0, '1', 0, '', '', 0);
[quote][/quote]

[garvinhicking]

Okay, das sollte dann eigentlich kein Problem machen. Kannst Du noch meine andere Fragen meines Ursprungspostings beantworten ("Beim WP import, hast Du da die Option "HTML Entities konvertieren" aktiviert oder deaktiviert")?

Hast Du vor dem Wordpress Import spezielle Event-Plugins in Serendipity installiert?

Hast du auch noch einen DB Dump der serendipity_entries und serendipity_comments Tabellen mit den Einträgen, die Du gerade gepostet hast? Der direkte Vergleich würde mir da evtl. weiterhelfen.

Viele Grüße,
Garvin

[phileas]

Wie schon gesagt, die die Option "HTML Entities konvertieren" hatte ich aktiviert.
Vor dem Wordpress Import habe ich *keine* speziellen Event-Plugins in Serendipity installiert.

Und hier zuerst wieder das Posting:

Code: Select all

INSERT INTO `s9y_entries` VALUES (7, 'Mai-Abend', 1084693822, 'Leider zu kühl und bedeckt, sogar drei Tropfen Regen in vier Reihen:  ein Grill-Abend mit Freunden am andern Ende der Stadt. Immerhin, draußen sitzen kann man, geschützt von einem Wellblechdach und 3 Holzwänden - nette Stimmung eigentlich, jedoch ziemlich unterbrochen von diesem albernen Grandprix-Geglotze.\r\nNein, ich kann dem nichts abgewinnen. Habe da nur dieses lakonische "Allemagne - douze points" im Ohr.\r\n\r\nRückfahrt auf dem Rad entlang der Leine, so dunkel, dass ich mit meinem Schnupfenkopf kaum was erkenne, um so erstaunter darüber bin, wieviel ich rieche. Flieder vor allem. Aber schon fast verblüht. So eine aus der Tiefe sich ausbreitende Leichtigkeit und Fröhlichkeit, Lust zu singen beinahe, wenn nicht gerade die Stille so schön wäre.\r\nEndlos könnte ich das haben. Das Leben überhaupt einfach eine einzige endlose Mainacht.', 0, 0, NULL, 0, 'phileas', 3, 'false', 'true', 1133380258, 'false');

Und hier die Comments:

Code: Select all

INSERT INTO `s9y_comments` VALUES (323, 129, 0, 1097261367, NULL, 'phileas', 'phileas7@web.de', 'http://cyangui.de', '80.134.65.125', 'Danke vielmals!\r\nSchön, daß es Ihnen hier gefällt. Fühlen Sie sich doch bitte ganz zuhause!', 'NORMAL', 'false', 'approved', NULL);
INSERT INTO `s9y_comments` VALUES (324, 129, 0, 1097262313, NULL, 'kopfherz', 'xxx@web.de', 'http://kopfherz.blogger.de', '213.7.209.12', 'urlaubslektüre. brisant und aktuell ... hm.\r\nnaja, erstmal natürlich die *zeit* (oder kommen Sie unter der woche dazu?)\r\n\r\ndann peter handke - der ist ja immer brisant... vom casanova-buch hab ich bisher nur gutes gehört. werd es mir wohl selbst zulegen.\r\n\r\nvielleicht auch klemens renoldner: hagenwil-les-deux-eglises; gespräch mit nikolaus meienberg. hab ich selbst noch nicht gelesen, der titel hat aber den weg in mein moleskine gefunden, und DAS will was heißen.\r\n\r\nund vielleicht noch heinrich zankl: fälscher, schwindler, scharlatane; betrug in forschung und wissenschaft - ganz witzig zum teil.', 'NORMAL', 'false', 'approved', NULL);
INSERT INTO `s9y_comments` VALUES (325, 129, 0, 1097303922, NULL, 'kopfherz', 'xxx@web.de', 'http://kopfherz.blogger.de', '217.185.85.67', 'ich wünsche Ihnen einen schönen urlaub, herr phileas. kommen Sie gesund wieder.', 'NORMAL', 'false', 'approved', NULL);
INSERT INTO `s9y_comments` VALUES (326, 129, 0, 1097308081, NULL, 'phileas', 'phileas7@web.de', 'http://cyangui.de', '80.134.95.100', 'Herzlichen Dank für die guten Empfehlungen, werde gleich noch mal in die Buchhandlung meines Vertrauens eilen...\r\n\r\nUnd auf''s Wiederkommen freu ich mich auch schon!', 'NORMAL', 'false', 'approved', NULL);
INSERT INTO `s9y_comments` VALUES (327, 131, 0, 1097825868, NULL, 'pseudonym', 'pseudonym@gmx.de', 'http://pseudonym.blogger.de', '80.130.112.74', 'Ein wunderschönes Rot, Herr Phileas. Ich liebe Herbstfarben. Sie haben doch bestimmt noch ein paar schöne Bilder parat, oder?', 'NORMAL', 'false', 'approved', NULL);
INSERT INTO `s9y_comments` VALUES (328, 127, 0, 1098135985, NULL, 'Kristof', 'xxx@web.de', 'http://leicht.ykom.de', '213.157.7.143', 'Das gefällt.', 'NORMAL', 'false', 'approved', NULL);
INSERT INTO `s9y_comments` VALUES (329, 133, 0, 1098817496, NULL, 'kopfherz', 'xxx@web.de', 'http://kopfherz.blogger.de', '213.7.202.162', '... und auf weitere eindrücke bin ich sehr gespannt.\r\nschön, dass Sie wieder da sind - und offensichtlich gesund und munter :-))))', 'NORMAL', 'false', 'approved', NULL);
INSERT INTO `s9y_comments` VALUES (330, 133, 0, 1098861561, NULL, 'sophia', 'xxx@web.de', 'http://weblog.elementarteilchen.com', '217.232.28.237', 'fein, wieder von dir zu lesen..\r\nund lanzarote wird doch sicher noch mehr zu bieten haben als schutthäufen und beton.. na und sonne mag gar keine schlechte idee sein: die bäume sind herrlich bunt, ja, aber immer nur grau ist eben auch ganz schön grau.', 'NORMAL', 'false', 'approved', NULL);
INSERT INTO `s9y_comments` VALUES (331, 134, 0, 1098888214, NULL, 'Samadhi', 'xxx@web.de', '', '129.252.4.80', 'Wo sind Sie? Ich muess fuer eine Deutschklasse Ihrem blog lesen. Machen Sie eine Ferien? Sind Sie in der Naehe von Goettingen?', 'NORMAL', 'false', 'approved', NULL);
INSERT INTO `s9y_comments` VALUES (332, 134, 0, 1098889229, NULL, 'phileas', 'phileas7@web.de', 'http://cyangui.de', '194.149.247.16', 'Was?! Dieses Blog soll jetzt Gegenstand des Deutsch-Unterrichts sein? Das kann ja wohl nicht wahr sein!', 'NORMAL', 'false', 'approved', NULL);
INSERT INTO `s9y_comments` VALUES (333, 135, 0, 1098991949, NULL, 'pappnase', 'xxx@web.de', 'http://pappnase.de.tt', '82.83.71.111', 'das gefällt mir sehr gut.', 'NORMAL', 'false', 'approved', NULL);

[/b]

[garvinhicking]

Achso, okay. Hatte Dein Post überlesen weil ich wohl zeitgleich gepostet habe.

Beim aktivieren der "HTML Entities" ist das quasi der gewollte Effekt. Also würde ich nochmal neu importieren und diese Option deaktivieren - dann wird ein "ü" auch wieder als "ü" eingefügt.

Dass die Umlaute nur bei den Kommentaren "falsch" dargestellt werden liegt daran, dass in Einträgen HTML Code (und damit auch ü) erlaubt ist, aber in Kommentaren jegliches HTML verboten ist. Ein ü wird dann also zu ü und daher auch als solches dargestellt. Sprich, bei der Konvertierung von Kommentaren ist das HTML-Entity ersetzen ziemlich böse.

Ich werde mal überlegen, ob man die Option daher dort speziell deaktivieren kann, damit so eine Verwechslung nicht auftreten kann.

Viele Grüße,
Garvin

[phileas]

Nach dem Auslesen der Datenbank hab ich's ja schon fast geahnt...
Was muß ich denn alles löschen, um noch mal neu importieren zu können?

[garvinhicking]

Einfach nur folgendes, um alle Sachen zu löschen:

Code: Select all

TRUNCATE TABLE serendipity_entries;
TRUNCATE TABLE serendipity_comments;
TRUNCATE TABLE serendipity_exits;
TRUNCATE TABLE serendipity_references;
TRUNCATE TABLE serendipity_referrers;
TRUNCATE TABLE serendipity_category;
TRUNCATE TABLE serendipity_entrycat;
TRUNCATE TABLE serendipity_entryproperties;

DELETE FROM serendipity_authors where authorid > 1;

Evtl. wäre es daher in deinem Einzelfalle einfacher, die Suchen+Ersetzen-Methode im DB-Dump vorzunehmen -- ganz wie Du's einfacher fändest.

Viele Grüße,
Garvin

[phileas]

Schon erledigt.
Ganz herzlichen Dank!

Bin schwer beeindruckt. Auch von Serendipity. Den Konfigurationsmöglichkeiten. Wirklich eindrucksvoll.

Zu besichtigen jetzt hier: http://2.cyangui.de

[garvinhicking]

Supi, das freut mich doch sehr zu hören. Viel Spaß noch mit Serendipity, Du weißt ja, wo Du uns bei Problemen findest.

Viele Grüße,
Garvin