Recorded Future aussperren

[Czorneboh]

Hallo miteinander.

seit vorgestern nacht wird mein Blog von Recorded Future belästigt. Von verschiedenen ip-Adressen aus, wobei ich aber sehe, dass einige mehrfach auftauchen.

In der Statistik-Übersicht der letzten 20 Besucher sieht das so aus:

"Letzte Besucher

2015-07-05 (14:00)ec2-54-197-88-226.compute-1.amazonaws.com
unknown
Recorded Future
2015-07-05 (14:00)ec2-54-146-132-61.compute-1.amazonaws.com
unknown
Recorded Future
2015-07-05 (14:00)ec2-54-197-88-226.compute-1.amazonaws.com
unknown
Recorded Future
2015-07-05 (14:00)117.167.110.221
http://blog.ost-impuls.de/
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0
2015-07-05 (14:00)ec2-54-162-141-97.compute-1.amazonaws.com
unknown
Recorded Future
2015-07-05 (13:59)183.160.102.155
unknown
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) )
2015-07-05 (13:59)ec2-54-196-147-114.compute-1.amazonaws.com
unknown
Recorded Future
2015-07-05 (13:59)ec2-54-144-159-117.compute-1.amazonaws.com
unknown
Recorded Future
2015-07-05 (13:58)ec2-54-159-154-140.compute-1.amazonaws.com
unknown
Recorded Future"

Live konnte ich in Google Analytics sehen, wie in gleichmäßigem Abstand von einigen Sekunden Seite für Seite meines Blogs aus Baltimore aufgerufen wurden.

Zu Recorded Future:
https://en.wikipedia.org/wiki/Recorded_Future

Arbeitet also mit Geheimdiensten zusammen.
Angeblich akzeptiert die Firma disallow in robots.txt.

Habe robots.txt mit recorded future ergänzt, sehe aber erst mal keinen Stop (Wie lange kann das dauern?)

Und seit 2-3 Monaten hat der Traffic aus USA um das 4 - 5-fache zugenommen, so dass USA in der Länderübersicht jetzt auf Platz 2 steht, vor Österreich, Schweiz und Russland: Ursache dafür liegt in Baltimore (laut Google Analytics), genauer vielleicht: Fort Meade.

Von dort möchte ich keine Besucher.
Ich fand zum Thema diess thread:

http://board.s9y.org/viewtopic.php?f=10 ... #p10427138

Kann der user agent in der robots.txt mehrere Wörter haben, mit einfachem Leerzeichen getrennt?
Oder müssen die Wörter (hier: Recorded Future) mit "_" verbunden werden?

in Bayes Anti-Spam trug ich unter Lernen die homepage von Recorded future ein. Vielleicht mache ich aber nicht die korrekten Eintragungen?!

Kann eines der Anti-Spam-Plugins ip-Adressen automatisch in die .htaccess-Datei schreiben?
Denn ich sehe jetzt in der gestern heruntergeladenen .htaccess.datei einen mit aktuellem Zeitstempel versehenen Deny-Eintrag ganz am Ende. Scheint so, als wenn die Liste stetig wächst:

#SPAMDENY
#IP count: 180, last update: 2015-07-04 02:16:07
Deny From 155.94.221.209 5.175.140.26 185.60.230.12 23.89.67.52 216.158.206.115 222.222.169.67 54.204.39.209 5.255.81.11 46.102.103.71 104.143.12.10 5.157.51.85 174.139.64.172 192.80.185.235 191.101.81.137 45.72.78.83 104.168.75.241 5.175.214.167 23.89.67.252 104.237.88.15 216.158.206.14 107.168.141.65 179.61.138.168 45.62.47.170 202.119.25.227 117.176.40.13 23.94.221.185 5.175.214.239 198.52.210.143 192.99.33.150 23.95.34.116 104.237.88.165 151.237.190.86 155.94.134.44 104.223.33.48 104.140.80.170 5.34.243.5 158.222.8.32 172.82.177.41 155.94.134.209 172.245.226.24 188.208.8.181 5.255.88.141 198.12.69.188 178.175.184.72 196.196.28.40 111.161.126.93 83.143.242.71 23.94.48.218 188.208.8.155 113.67.189.57 104.237.83.241 23.94.48.182 117.168.194.253 117.170.213.221 192.249.67.106 117.166.55.84 186.89.28.248 23.247.255.240 178.216.51.84 98.143.146.182 191.101.126.77 45.72.70.65 104.251.92.150 104.247.99.51 216.244.81.35 179.61.138.210 104.223.31.215 37.203.215.225 104.222.195.75 107.169.224.213 45.72.70.52 23.94.52.215 46.29.249.141 98.143.146.137 198.12.91.239 98.143.146.181 176.61.139.184 198.23.214.145 104.227.9.32 179.61.156.128 185.48.205.67 213.152.162.89 5.157.10.134 23.95.181.217 179.61.190.191 23.247.182.13 192.227.240.110 155.94.132.69 158.222.8.148 146.148.4.22 209.161.99.248 167.160.127.43 104.251.92.12 162.216.156.40 89.44.23.148 192.200.24.250 104.237.88.27 91.102.11.134 183.217.195.74 176.61.136.168 192.240.224.126 209.197.24.31 216.158.214.189 104.151.207.71 89.35.105.172 155.94.219.246 104.227.167.235 31.220.112.212 86.131.182.106 91.108.180.231 98.143.146.136 179.61.190.200 104.203.121.72 5.175.175.208 31.220.112.214 192.255.101.121 89.32.71.236 23.88.164.226 104.227.77.70 37.203.208.248 94.23.165.144 2.50.35.125 212.252.19.120 23.94.221.86 172.245.103.246 91.139.172.39 138.128.20.242 68.69.225.7 46.29.249.19 31.220.113.196 192.3.55.193 188.208.5.178 23.95.106.219 181.214.50.103 188.208.8.229 95.141.20.201 172.245.82.167 45.59.24.37 45.62.47.146 158.222.9.202 104.166.124.200 91.108.180.173 188.212.35.76 192.200.24.69 158.222.8.171 111.207.203.195 112.111.184.73 45.72.127.113 104.222.206.140 1.55.175.54 107.172.13.110 23.236.168.168 23.247.182.207 37.203.211.62 188.214.8.8 155.94.129.157 104.144.9.58 216.158.206.177 198.23.175.84 198.12.69.216 23.19.153.69 110.86.183.98 110.86.181.96 155.254.209.223 98.143.147.138 98.143.146.178 155.94.141.53 155.94.219.84 23.89.250.212 31.220.112.197 23.245.6.231 186.93.197.205 94.242.212.172 130.148.8.180 107.150.44.26 196.196.28.232 188.240.132.108
Deny From 94.249.241.73 112.45.126.245 104.227.167.242
#/SPAMDENY

Wo kommt das her?

Soweit mal fürs Erste.

Ratschläge?

[Timbalu]

Siehe selbst https://www.google.de/search?q=user+age ... robots.txt
Und macht ja außerdem nur Sinn bei Crawlern, die sich auch daran halten. Und diese sind dann eher die "Guten". Also eher "nutzlos", um damit unfreundliche Indexierung zu verhindern.

Bayes Anti-Spam ist doch eher ungeeignet dafür, denn es verhindert bzw filtert Form Zugriffe, also zb Kommentare. Es macht das per Wort wie ein Wortfilter und ist damit generell höchst ungeeignet, um damit an vorderster Front deiner SPAM Abwehrmaßnahmen zu stehen!

Das Core Spamblock Plugin hat diese Spamdeny Option. Ich denke, dass es dort auch nur sinnvoll sein kann zur Verhinderung von Kommentar / Form SPAM. Nichts sonst!

Du willst ja verhindern, dass ein bestimmter IP Range oder exakte IP generelll auf dein Blog zugreift, wenn ich dich richtig verstehe. Im Falle von "bösen" Diensten ist das wohl eher ein hoffnungsloses Unterfangen. Ansonsten muss solches wesentlich früher erfolgen, als dein Blog es einstellen könnte. Das geschieht auf Server Ebene und nennt sich zum Beispiel iptables. Dort kann man ganze IP Bereiche, Länder Blocks und/oder einzelne Adressen wesentlich effektiver, sozusagen beim Handshake "abwehren". Das hat die geringste Auslastung an Abwehrmaßnahmen, die allesamt etwas Performance und Rechenleistuing kosten.

[Czorneboh]

Das wäre also etwas, worüber ich mit meinem Hoster sprechen soll, verstehe ich.
Ich habe ihm auch schon eine E-Mail mit der Problembeschreibung "Blocken von Besuchern" aus bestimmten Ländern oder Regionen geschrieben. Fragte auch, ob er ein Tool kennt, welches man im rootverzeichnis der jeweiligen Seite des Kunden laden könnte, welches der Kunde bedienen könnte. Ich darf wohl nicht erwarten, dass ich solche Sonderwünsche vom Hoster erfüllt bekomme. Antwort fehlt noch.

iptabels ist ein brauchbarer Hinweis.
Dazu bedient man sich einer Firewall?

Die Einstellungen der Firewall für den Server hat mein Hoster in den Händen. Die Server meines Hosters sind virtualisiert (weiß nicht, inwiefern das für die Nutzung einer Firewall eine Rolle spielt)

Zum Mitlesen auch für andere im Forum: Z.B. Erklärungen dazu hier:
http://www.online-tutorials.net/interne ... 9-214.html

[Timbalu]

Ich denke normale Hosting Angebote geben keinen Zugriff auf diese Ebene. Erst ab VPS bis Root Server.
Ebenso wird wahrscheinlich auch kein Hoster soetwas für seine Kunden einstellen. Das macht u.U. sehr viel Arbeit, auch zB in Zusammenarbeit mit all deinen Logfiles und realtime Überwachung mit fail2ban.
Hast du aber einen solchen Hoster erwischt, der dies für dich tatsächlich machen sollte, ist das eine absolute EMPFEHLUNG!

[yellowled]

Ich denke normale Hosting Angebote geben keinen Zugriff auf diese Ebene. Erst ab VPS bis Root Server.

Man muss allerdings dringend davon abraten, dies als Emfpfehlung zu verstehen (Ian, ich weiß, dass Du es nicht so meintest, aber just for the record), mit gepflegtem Halbwissen (lies: ohne fundiertes Wissen, einen Linux-Server zu administrieren) auf einen Rootserver oder einen VPS umzuziehen, weil man dann mit iptables spielen darf.

YL

[bernd_d]

Macht es Sinn, hier ein "Wozu die Mühe?" in den Raum zu werfen? Du hast ein öffentliches Weblog, dass von jedem gelesen/archiviert/analysiert werden kann. Du sperrst diesen Anbieter aus, und? Neue IP bzw. anderer Server oder ein Proxy und jeder hat wieder auf deine Seite Zugriff.

Google lässt du zu und die analysieren deine Seite auch, du willst das ja sogar, da du Analytics nutzt. Laut Wikipedia ist Google übrigens auch bei Recorded Future involviert, die von dir beabsichtigte Sperre ist also vermutlich eh sinnlos.

Und wer weiß was sonst noch alles nicht geht, wenn du wirklich die Amazon-Web-Server sperrst (stehen zumindest in deinem Log), welche anderen Dienste dann sonst vielleicht noch nicht gehen, die du eigentlich haben möchtest.

Wenn du nicht willst, dass jemand deine Seite anschaut/analysiert, dann stell nix ins Internet.


Nachtrag: Wenn ich mir so https://www.ost-impuls.de/pages/impress ... chutz.html ansehe, sind das ja auch ganz schön schwere Geschütze, die du da an Tools/Datenspeicherung etc von zig Analyse-Anbietern auffährst (ja, auch Facebook, G+, etc...). Sicher, dass du nicht selbst bei der NSA arbeitest?

[Timbalu]

Unter Performancegesichtspunkten und wenn du mit deiner Site Geld verdienst, kann es sehr sinnvoll sein SPAMmer, Checker und DDOSer möglichst effektiv unterbinden zu lernen, besonders wenn sie in Massen kommen. Sie belegen einfach ab einer gewissen Menge zuviele Resourcen! Die Frage ist also berechtigt. Wenn ich allein daran denke wie viel Zeit und Mühe ich in den letzten anderthalb Jahrzehnten alleine in solche Abwehrmaßnahmen gesteckt habe ... um mein kleines Serverlein zu schützen - PUH! Und das hört nie auf und ist ein ewiges Katz und Maus Spiel.

Und jeder hat mal klein angefangen, denn linux server administrator mit Wissen, wird man nur durch (viel) ÜBUNG!

[Czorneboh]

Danke, Ian, Du hast meine Motivation verstanden.

Es gibt Entwicklungen, auf die man reagieren muss. Mit der Bereitschaft (stetig) zu lernen.

@Bernd.

Dass ein Weblog öffentlich ist, ist keine Gesetzmäßigkeit. Der Inhaber kann damit machen, was er will. Ich kann auch einen geschlossenen Weblog führen und nur bestimmte Leute mitlesen/mitbloggen lassen.

Den Zweck bestimme ich, kann auch die Zweckrichtung ändern. Keiner kann mir vorschreiben, dass alle von überall zu jeder Zeit darauf zugreifen können müssen. Ich kann auch dagegen was tun, dass mein Blog in der Wayback-Maschine (archive.org) archiviert wird. Geografisch ziele ich nur auf das deutschsprachige Mitteleuropa.

Die anderen Punkte sind technische Fragen, die sich mehr oder weniger aufwändig lösen lassen, nur nicht jetzt subjektiv von mir. Ich bin nicht auf dem Level, um mit iptables jonglieren zu können. Ich spreche meinen Hoster daraufhin noch mal an. Der antwortete heute, dass er kein Plugin kennt. Über die Firewall war noch nicht die Rede.

So viel habe ich seit Starten des Blogs auch schon gelernt, dass man nicht mit Rasenmähermethoden tunen sollte. Dass amazonaws nicht nur von "bösen" Unternehmen benutzt werden, ist schon bekannt. Ich kaufe regelmäßig die Zeitschrift "Websiteboosting", in der SEO ein Hauptthema ist, wo auch Websiteinhaber Fragen an Google stellen und beantwortet bekommen.

Dass ich nicht darauf reagieren soll, wenn ich sehe, dass meine Website von Bots und Scrapern von Schnüfflern und Dieben von Content besucht wird, weil es aussichtslos ist, sehe ich nicht ein.

Wenn du nicht willst, dass jemand deine Seite anschaut/analysiert, dann stell nix ins Internet.

Sorry, das ist primitiv, nach schwarz-weiß-Schema. Alle oder niemand.
Ich möchte mal zu bedenken geben, dass mit diesem Standpunkt wir freiwillig unsere Grundrechte aufgeben. Die Regierung will Vorratsdatenspeicherung für Jahre? - Müssen wir eben mit leben und in der Öffentlichkeit die Klappe halten und nicht mehr Korruption und Kriegstreiberei etc. kritisieren, sondern dulden, was von uns erwartet wird. So, wie die Troika von den Griechen erwartet, dass sie ihr Leben aufgeben wegen des Ruins, den nicht sie herbeigeführt haben. - Ist das Dein Demokratieverständnis?

Datenverschlüsselung wird für die Bürger verboten. Alle Software muss von der Polizei und vom Verfassungsschutz genehmigt werden und Geheimdiensten haben Anspruch auf Einbau von Hintertüren? Amerikanische Zustände, ja? - Wenn das der Terrorismusbekämpfung dient. Dann müssen wird das akzeptieren...

- Da bleibt von Meinungsfreiheit und Pressefreiheit und anderen Freiheiten nichts übrig. Als ob es nicht schon genug Beispiele von verfassungswidriger Verfolgung von Whistleblowern gibt.

Blogs sorgen für Vielfalt und Alternativen zu gleichgeschalteten Massenmedien. Sie haben Bürgerjournalismus erst richtig in der Breite möglich gemacht.

Wenn es technische Mittel gibt, dann will ich sie nutzen, soweit ich sie mir leisten kann, um mein Hausrecht im Blog auszuüben.

Meine Eingangsfrage zielte nach Vorschlägen für technische Lösungen.

Mein Hoster schrieb erst mal nur

Generell ist das aber möglich, es gibt frei zugängliche Listen, die IP-Adressen nach Ländern und Kontinenten ausgeben.

Allerdings würde ich davon abraten, Ihre Website für ganze Länder zu blocken. Darunter könnte auch das Suchmaschinenranking leiden.

Gut, nicht ganz USA derzeit, aber Baltimore und Fort Meade würde ich schon gern sperren. Und andere Orte, von denen unerwünschte Besucher kommen. Die ich in eine Liste aufnehmen, so, wie ich meine .htaccess-Liste und robots.txt Liste von Zeit zu Zeit erweitere, oder die Einträge in den Anti-Spam-Plugins für s9y.

[bernd_d]

Dass ein Weblog öffentlich ist, ist keine Gesetzmäßigkeit. Der Inhaber kann damit machen, was er will. Ich kann auch einen geschlossenen Weblog führen und nur bestimmte Leute mitlesen/mitbloggen lassen.

Ich habe nie behauptet, dass alle Artikel eines Weblogs frei zugänglich sein müssen. Allerdings ist es so, dass man in solchen Fällen mittels Zugangsdaten und Benutzer-/Gruppenrechten regelt, wer was lesen darf. Das ist in S9y integriert und erfordert keinerlei Bastelarbeit an irgendwelchen Servern oder Firewall-Regeln.

Den Zweck bestimme ich, kann auch die Zweckrichtung ändern. Keiner kann mir vorschreiben, dass alle von überall zu jeder Zeit darauf zugreifen können müssen.

Das hat auch niemand behauptet. Es ging nur darum, dass du rein gar nichts dagegen tun kannst, dass jemand öffentlich zugängliche Inhalte abruft.

Ich kann auch dagegen was tun, dass mein Blog in der Wayback-Maschine (archive.org) archiviert wird.

Nö, kannst du nicht, wenn der normale Crawler unbedingt an deine Seite kommen will. Von hochspezialisierten Firmen oder Geheimdiensten reden wir da gar nicht, die noch viel umfangreichere Möglichkeiten haben.

Die anderen Punkte sind technische Fragen, die sich mehr oder weniger aufwändig lösen lassen, nur nicht jetzt subjektiv von mir. Ich bin nicht auf dem Level, um mit iptables jonglieren zu können.

Weil es für im Internet öffentlich verfügbare Inhalte auch gar nicht nötig/angebracht ist. Bei der Meinung bleibe ich. Die IPtables bringen eben rein gar nichts. Einen Knopf im Browser gedrückt und jedes kleine Kind kann über einen Proxy aus einer anderen Region wieder auf deine Seite zugreifen. Dass die Methode quatsch ist, zeigt doch das Beispiel mit YouTube, die in Deutschland Videos sperren (müssen) wegen dem GEMA-Streit. Im Internet gibt es tausend Anleitungen, wie man das ganz einfach umgehen kann.

Wenn du nicht willst, dass jemand deine Seite anschaut/analysiert, dann stell nix ins Internet.

Sorry, das ist primitiv, nach schwarz-weiß-Schema. Alle oder niemand.

Nein, es ist einfach nur meine klare Meinung zu dem was du vor hast. Will man Zugriff beschränken, geht das nur über Gruppenregeln, anhand derer man klar festlegt, was öffentlich zugänglich sein darf.

Ich möchte mal zu bedenken geben, dass mit diesem Standpunkt wir freiwillig unsere Grundrechte aufgeben. Die Regierung will Vorratsdatenspeicherung für Jahre? - Müssen wir eben mit leben und in der Öffentlichkeit die Klappe halten und nicht mehr Korruption und Kriegstreiberei etc. kritisieren, sondern dulden, was von uns erwartet wird. So, wie die Troika von den Griechen erwartet, dass sie ihr Leben aufgeben wegen des Ruins, den nicht sie herbeigeführt haben. - Ist das Dein Demokratieverständnis?

Kann mich gar nicht daran erinnern, irgendwo geschrieben zu haben, dass man sich vom Staat oder staatlichen Einrichtungen zensieren lassen soll/muss. Es ist doch gerade das schöne, dass man mit einem eigenen Weblog frei seine Meinung sagen kann ohne direkt Angst haben zu müssen, dass der Artikel einfach gelöscht wird. Ausnahmefälle natürlich ausgenommen, in denen der Provider deine Seite sperrt wegen illegaler Inhalte.

Datenverschlüsselung wird für die Bürger verboten. Alle Software muss von der Polizei und vom Verfassungsschutz genehmigt werden und Geheimdiensten haben Anspruch auf Einbau von Hintertüren? Amerikanische Zustände, ja? - Wenn das der Terrorismusbekämpfung dient. Dann müssen wird das akzeptieren...

- Da bleibt von Meinungsfreiheit und Pressefreiheit und anderen Freiheiten nichts übrig. Als ob es nicht schon genug Beispiele von verfassungswidriger Verfolgung von Whistleblowern gibt.

Blogs sorgen für Vielfalt und Alternativen zu gleichgeschalteten Massenmedien. Sie haben Bürgerjournalismus erst richtig in der Breite möglich gemacht.

Wenn es technische Mittel gibt, dann will ich sie nutzen, soweit ich sie mir leisten kann, um mein Hausrecht im Blog auszuüben.

Dein Hausrecht ist zu bestimmen, was du schreibst, welche Software du nutzt, etc. Du hast vielleicht das Recht zu wollen, wer deine Seite ansehen darf, beeinflussen kannst du es nicht. Es ist wohl vergleichbar mit einem Schaufenster. Was von der Straße aus sehen ist, kann jeder anschauen, weil du nicht verbieten kannst, dass jeder daran vorbei geht und herein schaut. Was nicht jeder sehen soll, musst du hinter der verschlossenen Tür verstecken und gibst nur ausgewählten Leuten den Schlüssel.

Meine Eingangsfrage zielte nach Vorschlägen für technische Lösungen.

Die gibt es m.M.n. für regionale Begrenzungen einfach nicht.

Mein Hoster schrieb erst mal nur

Generell ist das aber möglich, es gibt frei zugängliche Listen, die IP-Adressen nach Ländern und Kontinenten ausgeben.

Allerdings würde ich davon abraten, Ihre Website für ganze Länder zu blocken. Darunter könnte auch das Suchmaschinenranking leiden.

Gut, nicht ganz USA derzeit, aber Baltimore und Fort Meade würde ich schon gern sperren. Und andere Orte, von denen unerwünschte Besucher kommen. Die ich in eine Liste aufnehmen, so, wie ich meine .htaccess-Liste und robots.txt Liste von Zeit zu Zeit erweitere, oder die Einträge in den Anti-Spam-Plugins für s9y.

Du läufst mit der .htaccess weiterhin nur hinterher, weil du den Crawler eh erst erkennst, wenn er schon da war. Oder du nimmst fertige dubiose Listen, von denen du nicht weißt was da alles drin steht.

M.W. bringen die Anti-Spam-Plugins nur etwas für die Prüfung von Kommentaren/Trackbacks, die sind dem Crawler auch vollkommen egal.

[onli]

Volle Zustimmung an Bernd. Czorneboh, du kannst da leider gar nichts gegen machen, das Internet funktioniert rein technisch so nicht, und ortsbasierte Zuordnungen sind nur grobe Schätzungen.

Einen besseren Schutz gegen Angreifer kannst du über Cloudflare bekommen. Kommt aber selbst aus den USA.