Welche Plugins speichern in Datenbank? Übersicht schaffen

Hier können Probleme und alles andere in Deutscher Sprache gelöst werden.
Czorneboh
Regular
Posts: 385
Joined: Tue Apr 08, 2008 7:17 pm
Location: Berlin
Contact:

Welche Plugins speichern in Datenbank? Übersicht schaffen

Post by Czorneboh »

Hallo miteinander,

habe wieder mal einen Vorschlag, für mehr Struktur zu sorgen für bessere Orientierung der Serendipity-Blogger.

Ich erkläre mich bereit, das notwendige zusammenzutragen.

Ich fände eine Übersicht/Tabelle praktikabel, die zeigt, welche s9y-Plugins bei Ihrer Nutzung einen oder sogar mehrere Datensätze in einer Datenbank anlegen ...
a) bei Einstellungen bestimmter Werte
b) bei Texten, die man in das Plugin-Backend in ein oder mehrere Felder reinschreibt.

Die Idee kam mir gerade jetzt beim Umzug meiner Website:
Weil nach dem ersten Installationsversuch das kopierte Blog Spammails versendet, hat der Supportmann vom neuen Hoster einen zweiten Versuch gemacht, dieses Mal ohne die (Kopien der) meisten der von mir zuvor installierten Plugins. Solche werden jetzt sowohl auf der Frontpage mit "Fehler" gekennzeichnet als auch im Adminbereich, wo sie sich in der Pluginübersicht nicht mehr anklicken lassen. (Ein paar event- und Seitenleisten-Plugins blieben aber unberührt.)

Beispiel html-nuggets, von denen ich mehrere in der Seitenleiste hatte: diese Widgets weisen jetzt Fehler aus.

Frage daher:
Soll ich diese als Fehler gezeigten Plugins zuerst deinstallieren, bevor ich sie frisch mit Spartacus wieder installiere?
Oder würde es genügen, gleich zu installieren ("drüberzubügeln")?
Ich will natürlich Überreste loswerden von früheren Installationen. Bloß nicht alter Müll in der neuen Installation!

Befürchtung:
Ich könnte Inhalte und Konfigurationen verlieren.

Ich habe jetzt z.B. schon einmal das event-Plugin To-do-Liste für den Admin deinstalliert und gleich wieder installiert.
Die von mir schon lange benutzte Liste ist nicht verloren. Die Aufgaben waren also in der Datenbank, die vom Deinstallieren der Plugins nicht betroffen ist.

Andere solcher Plugins sind z.B. der persönliche Kalender, von dem Daten bei mir in der Seitenleiste gezeigt werden unter "Events". Aber vor allem auch staticpage plugin.

Ich habe viele statische Seiten, z.B. Allgemeine Geschäftsbedingungen oder Seiten mit iframes, gefüllt mit code/Content von Drittanbietern.

So eine Übersicht hilft, den Umzug zu planen und durchzuführen (senkt bei mir auch die Angstschwelle, etwas zu verlieren) und fördert vielleicht auch die Erkenntnis für nicht technikversierte Blogger, sich um die regelmäßige Datenbanksicherung zu kümmern.


Ich bin in Sachen Datenbanken Newbi
Gerade habe ich mich beim neuen Hoster eingeloggt und sehe mir die Datenbank an, die mit dem letzten vorhandenen Dump vom verlassenen Hoster gefüllt worden ist. Ich erkenne auch einen Datensatz zu Keywords, die anscheinend vom event-Plugin freetag-Plugin angelegt wurde.
Das wird von mir jetzt aber nicht mehr benutzt und ist schon deinstalliert. Also könnte ich diesen Datensatz vermutlich löschen, im Interesse einer schlankeren Datenbank?

Bei solchen Überlegungen zur "Reinigung" des Blogs könnte diese Übersicht helfen.
bernd_d
Regular
Posts: 468
Joined: Thu Jun 03, 2010 9:28 am
Contact:

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by bernd_d »

Mal blöd gefragt: Kann es sein, dass ihr beim Umzug einfach nicht aufgepasst habt und ein paar Pfad-/Datenbankeinstellungen nicht geändert wurden? In http://s9y.org/11.html#A21 steht grundsätzlich beschrieben was zu tun ist. In http://s9y.org/198.html ist das auch nochmal mit Bildern beschrieben.

Prinzipiell tun die alten Einträge in der Datenbank m. W. nicht weh und verlangsamen das System nicht, solange man keine Abfragen darauf startet. Empfehlen könnte ich höchstens das Plugin DBClean, welches bestimmte Tabellen von überflüssigen Einträgen bereinigt.
Czorneboh
Regular
Posts: 385
Joined: Tue Apr 08, 2008 7:17 pm
Location: Berlin
Contact:

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by Czorneboh »

Mal blöd gefragt: Kann es sein, dass ihr beim Umzug einfach nicht aufgepasst habt und ein paar Pfad-/Datenbankeinstellungen nicht geändert wurden?
Worauf genau beziehst Du Deine Frage?
Um den Umzug hat sich ein Supportmann von einem Hoster gekümmert, der auf dieser Website als Serendipity-Hoster erwähnt/empfohlen ist.

Ich habe den Eindruck, dass sein Fach versteht.

DBClean will ich mir noch ansehen, ist schon auf meiner Liste.
Muss mir dazu die Dokumentation ansehen (falls vorhanden). Ich will nur kontrolliert was löschen. Frage ist dann, was genau kann man zum Löschen auswählen?
Sonst kann ich auch über PHPMyAdmin alte, nicht mehr benötigte logs (teilweise) löschen.

In Threads, in denen das Thema "lange Ladezeiten" ist, ist das Aufräumen der db empfohlen worden. Mein Blog ist jetzt langsam, nachdem der Varnish-Cacheserver nicht mehr davor steht.
bernd_d
Regular
Posts: 468
Joined: Thu Jun 03, 2010 9:28 am
Contact:

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by bernd_d »

Czorneboh wrote:
Mal blöd gefragt: Kann es sein, dass ihr beim Umzug einfach nicht aufgepasst habt und ein paar Pfad-/Datenbankeinstellungen nicht geändert wurden?
Worauf genau beziehst Du Deine Frage?
Auf deine Schilderung der vielen Dinge, die nicht mehr (richtig) gingen, nachdem du den Anbieter gewechselt hast.
Timbalu
Regular
Posts: 4598
Joined: Sun May 02, 2004 3:04 pm

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by Timbalu »

Wobei Jörgs Problem eher zuuuu viele Plugins waren. Ein db clean (visitors und spamblock logs leeren) kann man auch per Hand machen, ohne weitere Ressourcen zu verbrauchen.
Frage daher:
Soll ich diese als Fehler gezeigten Plugins zuerst deinstallieren, bevor ich sie frisch mit Spartacus wieder installiere?
Oder würde es genügen, gleich zu installieren ("drüberzubügeln")?
Ich will natürlich Überreste loswerden von früheren Installationen. Bloß nicht alter Müll in der neuen Installation!

Befürchtung:
Ich könnte Inhalte und Konfigurationen verlieren.
Wenn du ev. Überreste loswerden willst, (Blog backend nicht aufrufen!), per FTP alle selbst hinzugefügten Plugins löschen, sofort die frischen Versionen derselben Plugins ebenfalls mit FTP aufladen und dann erst nachschauen. Das könnte - mit etwas Glück - sofort mit den alten DB Einstellungen klappen, sofern diese und die Plugins aktuell waren, IMHO. Da ich solcherart Cleanup noch nicht wirklich selbst probiert habe, ist dies natürlich ohne Gewähr!

Seid ihr denn inzwischen fündig geworden, an der "Hacker-Front"?
In Threads, in denen das Thema "lange Ladezeiten" ist, ist das Aufräumen der db empfohlen worden. Mein Blog ist jetzt langsam, nachdem der Varnish-Cacheserver nicht mehr davor steht.
Wie gesagt, das experimentelle cachesimple und vielleicht vorher mal mit dem entryproperties cache probieren. Flaschenhals sind aber die 96 Plugins! Strikt vereinfachen bzw ins Template auslagern, solange nicht allzu dynamisch. Außerdem ist eine gezielte Spamabwehr nötig, um unnötige Latenzen zu vermindern. Da dürfen auch iptables und suhosin mitspielen!
Regards,
Ian

Serendipity Styx Edition and additional_plugins @ https://ophian.github.io/ @ https://github.com/ophian
Czorneboh
Regular
Posts: 385
Joined: Tue Apr 08, 2008 7:17 pm
Location: Berlin
Contact:

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by Czorneboh »

Danke Timbalu für die Tipps.

Die Datenbank ist in all den Jahren noch nicht aufgeräumt worden. Ich denke, hier liegt erhebliches Potential. Mein Supportmann schrieb eben gerade, da ständen fast 400.000 Verlinkungen drin und die sollte dann auch aufgeräumt werden.

Das Antivirenprogramm hat leider nichts gefunden.
Nachdem ich mich jetzt in der DB umgesehen habe:
Ich kann aber aus dem Log des Spamblock-Plugins in etwa erkennen, wo die Zahl der Besucher aus USA, Kanada, UK, Indonesien stark anwuchs (bzw. wo das erst begann). Dann ließe sich der Zeitpunkt viell. mit Glück abgleichen mit anderen Ereignissen (Plugininstallation oder Plugin-Update).
Ich sichere mir gerade viele Logs und Daten im cvs-Format.

Spamschutz (Bayes) habe ich jetzt mit aufgenommen (vorher nur Spamblock und die Biene). Da neu, muss ich mal sehen, wie konfigurieren.

(Es könnte auch sein, dass meine Benutzereinstellungen fehlerhaft sind, so dass deswegen die Hacker Zugriff bekamen? Aber das ist dann ein anderes Thema.)
Timbalu
Regular
Posts: 4598
Joined: Sun May 02, 2004 3:04 pm

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by Timbalu »

Das Antivirenprogramm hat leider nichts gefunden.
Das hatte ich, wie schon geschrieben, befürchtet.

Ich habe mit Verify für diese Fälle mal ein Plugin geschrieben, dass auf mögliche Verunreinigungen checken kann. (So etwas kann aber nie 100%-ige Sicherheit vermitteln!)
Besonders die Anzeige der Schlüsselwort Funde und des veränderte Dateien Arrays sind da interessant zu untersuchen. Ich habe das hier verlinkte Programm eben noch mal mit meinem letzten Stand von vor 8 Monaten aufgeladen. http://board.s9y.org/viewtopic.php?f=4& ... #p10425131
Nur mit Serendipity Release Versionen zu benutzen!
Regards,
Ian

Serendipity Styx Edition and additional_plugins @ https://ophian.github.io/ @ https://github.com/ophian
yellowled
Regular
Posts: 7111
Joined: Fri Jan 13, 2006 11:46 am
Location: Eutin, Germany
Contact:

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by yellowled »

Timbalu wrote:Flaschenhals sind aber die 96 Plugins!
Das ist kein Flaschenhals mehr, das ist ein Würgegriff.

YL
Timbalu
Regular
Posts: 4598
Joined: Sun May 02, 2004 3:04 pm

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by Timbalu »

:)
Nee, wir haben sogar noch viel mehr! (Einfach mal 78 SB Plugins und 176 EV Plugins zusammenzählen. Vielleicht sind aber schon die meisten Ersteren in den Letzteren enthalten)
Und einige davon kann man dann sogar mehrfach instanzieren! Damit potentiert sich das.
Leider haben wir nirgendwo eine Warnung für "John / Johanna", auf der steht: "Du sollst niemals.... Plugins installieren!" :mrgreen:
Ich erinnerte mich, dass Garvin das sogar irgendwo einmal vorgerechnet hatte; wenn ich richtig erinnere, waren das 10-15 MB pro Plugin an Ram Ressourcen Belegung. Wenn einer noch weiß, wo das ist, bitte verlinken. Angesichts der heutigen Web oder VPS Container schwimmt man da sehr schnell über der erlaubten Grenze und dann tröpfelts halt nur noch. ("Serepidianische Inkontinenz!" :wink: sozusagen)
Regards,
Ian

Serendipity Styx Edition and additional_plugins @ https://ophian.github.io/ @ https://github.com/ophian
yellowled
Regular
Posts: 7111
Joined: Fri Jan 13, 2006 11:46 am
Location: Eutin, Germany
Contact:

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by yellowled »

Timbalu wrote:Ich erinnerte mich, dass Garvin das sogar irgendwo einmal vorgerechnet hatte; wenn ich richtig erinnere, waren das 10-15 MB pro Plugin an Ram Ressourcen Belegung. Wenn einer noch weiß, wo das ist, bitte verlinken.
Ich bin mir einigermaßen sicher, dass das in einem S9y InfoCamp war.

YL
Czorneboh
Regular
Posts: 385
Joined: Tue Apr 08, 2008 7:17 pm
Location: Berlin
Contact:

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by Czorneboh »

Das von Spam hoffentlich befreite Blog (=2. Installation, installiert mit nur wenigen Plugins und mit solchen von mir benötigten wieder mit Spartacus ergänzt) läuft derzeit noch in einem geschützten Bereich, ist deutlich schneller als die erste, die online ist.

Jetzt habe ich dbclean-Plugin installiert und das Ergebnis liefert es mir:

spamblocklog: 73.754
spamblock_htaccess: 2.974
visitors: 1.345.613
referrers: 6451
exits: 0

Ich kann gerne auf die Daten vom Start des Blogs bis zum Umzug oder bis 30.06.2013 verzichten, würde schrittweise vorgehen:
1) visitors
2) referrers
3) spamlock_htaccess

Spamblocklog - muss ich noch sehen, wie ich das mir auf meinen PC sichere, denn ich kenne mich mit Datenbanken kaum aus und die Bedienung von PHPMyAdmin ist für mich neu.

Ist das soweit ok?

PS. Bin jetzt runter gekommen bis auf 59 Plugins.
Mal sehen, wie jetzt die Seite lädt, nach dem Aufräumen der Datenbank.
hagenroewer
Regular
Posts: 181
Joined: Mon Aug 14, 2006 12:41 am
Contact:

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by hagenroewer »

Moin,
Czorneboh wrote:
Jetzt habe ich dbclean-Plugin installiert und das Ergebnis liefert es mir:

spamblocklog: 73.754
spamblock_htaccess: 2.974
visitors: 1.345.613
referrers: 6451
exits: 0
Du hast das Zeug in der DB mitgeloggt?
Würde ich rauswerfen, und evtl. in Logdateien direkt auf dem Server legen.
Czorneboh wrote: Ich kann gerne auf die Daten vom Start des Blogs bis zum Umzug oder bis 30.06.2013 verzichten, würde schrittweise vorgehen:
1) visitors
2) referrers
3) spamlock_htaccess

Spamblocklog - muss ich noch sehen, wie ich das mir auf meinen PC sichere, denn ich kenne mich mit Datenbanken kaum aus und die Bedienung von PHPMyAdmin ist für mich neu.

Ist das soweit ok?

PS. Bin jetzt runter gekommen bis auf 59 Plugins.
Ich dachte, ich wäre schon ein Plugin-Junkie, aber das ist immer noch eindeutig zu viel.

1 und 2 könntest du über Piwik realisieren.
Spamblocklog, wenn es sein muss, dann eher als Textdatei bereitstellen lassen.

Versuche aber mal die Anzahl der Plugins zu reduzieren.

Gruß von der Ruhr,
Gruß von der Ruhr
Hagen Röwer Dienstlich | XING | LinkedIn
mattsches
Regular
Posts: 440
Joined: Sat Nov 05, 2005 9:35 pm
Location: Wiesbaden, Germany
Contact:

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by mattsches »

Etwas Offtopic: Ich erlaube mir mal, ein paar der in diesem Thread genannten Funktionalitäten/Anforderungen auf meine ToDo-Liste für Metatron zu schreiben :D

Für mich hört sich das nach einem ziemlich sinnvollen Einsatz-Szenario für das CLI-Tool an: Der Admin beim Hoster sollte ja die entsprechenden Rechte haben und dann mit ein paar Befehlen einen sauberen Umzug vorbereiten können, z.B.
  • DB exportieren (das macht er vermutlich lieber mit mysqldump, aber das könnte Metatron ja im Hintergrund aufrufen)
  • DB bereinigen/komprimieren: Logtabellen Backup und leeren, Plugin-Configs Backup und leeren, falls nicht mehr aktiv;
  • DB-Dump wieder einspielen mit Abfrage evtl. geänderter Pfade bzw. baseurls.
  • Bonus: Installierte Plugins auflisten/zählen/(deaktivieren?)
  • … über weitere Vorschläge würde ich mich freuen :wink:
Timbalu
Regular
Posts: 4598
Joined: Sun May 02, 2004 3:04 pm

Re: Welche Plugins speichern in Datenbank? Übersicht schaffe

Post by Timbalu »

hagenroewer wrote:Du hast das Zeug in der DB mitgeloggt?
Würde ich rauswerfen, und evtl. in Logdateien direkt auf dem Server legen.
1 und 2 könntest du über Piwik realisieren.
Spamblocklog, wenn es sein muss, dann eher als Textdatei bereitstellen lassen.
Ja, Piwik wäre da viel besser, vorallem in der Auswertung, loggt aber doch auch in die Datenbank.

Ich finde also , ...das kommt darauf an...!
Man bedenke, dass wir hier in einen Userspace-Bereich loggen, also "irgendwie gehackt" ist die Log-Datei dann schnell erreich- und verwertbar. In high-traffic websites Umgebungen und long-term-logging ist sicherlich das DB Logging vorzuziehen, ebenso dürfte dies in den meisten Fällen schneller sein als auf Disk Latenzen zu warten. Ich persönlich fände - wenn das security Problem gelöst ist - eine Mischung interessant. Log in Datei und setzte den Inhalt periodisch (bei geringer Last) in die Datenbank. Oder soetwas:
http://www.onlamp.com/pub/a/apache/2005 ... _logs.html

BTW, Nutzen wir - oder - warum nutzen wir nicht: "MySQL Insert Delay" :?: http://dev.mysql.com/doc/refman/5.1/en/ ... layed.html

@Czorneboh
Hast du das oben erwähnte "verify" Plugin mal ausprobiert?
Regards,
Ian

Serendipity Styx Edition and additional_plugins @ https://ophian.github.io/ @ https://github.com/ophian
Post Reply