Allgemeines 21.980 Themen, 148.537 Beiträge

News: Allgemeines

Aktuelle Probleme auf Nickles - erneuter Angriff - Update

xafford / 17 Antworten / Baumansicht Nickles

Zur Information bezüglich der momentanen langsamen Antwortzeiten bei Nickles und sonstigen kleineren Unnanehmlichkeiten: Wir werden gerade von VIER Suchmaschinen-Bots "heimgesucht", wovon einer sich verhält wie ein dDoS und von zig IP-Adressen unheimlich schnell unheimlich viel Inhalt abzieht - leider scheint er sich nicht an die robots.txt zu halten und die vielen IP-Adressen machen ein Blockieren auch quasi unmöglich.

Ich hoffe, dass wir das schnell in den Griff bekommen.

UPDATE 19:50 Uhr

Im Moment scheint es (vorerst) im Griff zu sein. Zwar stehen wir immer noch stark unter Beschuss, aber der Server müsste jetzt damit umgehen können. Nachfolgend der Stand der Erkenntnisse (auch wenn diese noch extrem seltsam sind):

  • Zuallererst gab es heute im Laufe des Tages ein etwas unglückliches Zusammentreffen. Sowohl Google, als auch Bing und noch zwei andere echte Suchmaschinen indizierten gleichzeitig auf Nickles, was die Serverlast hochtrieb, aber das ist an sich noch kein Problem.
  • Zum Problem wurde das erst, als plötzlich aus aller Welt in rasender Geschwindigkeit von unzähligen IP-Adressen kontinuierlich Verbindungen zum Server aufgebaut wurden von mehreren "Diensten", die sich als Suchmaschine ausgeben, aber gnadenlos die Beschränkungen in der Robots.txt ignorieren und keinerlei Beschränkungen in den Anfragen vornehmen - das heißt, dass Tausende Rechner weltweit so viele Verbindungen zum "Ziel" aufbauen, bis es nicht mehr antworten kann.
  • Nachdem dies jetzt der zweite "seltsame" Vorfall innerhalb zwei Tagen ist glaube ich nicht an einen Zufall, zumal Recherchen im Internet dies zu bestätigen scheinen.
  • Ich gehe davon aus, dass dies nicht der letzte Vorfall war und ich habe auch eine Vermutung, aus welcher Ecke diese "Zufälle" kommen (und nein, ich werde diese Vermutungen nicht äußern!).

Danke für die Geduld.

Pauschalurteile sind immer falsch!!!
bei Antwort benachrichtigen
mi~we xafford „Aktuelle Probleme auf Nickles - erneuter Angriff - Update“
Optionen

Im Moment bauen sich die Seiten bei mir wieder flott auf - nur die Timeline fehlt!

"Es wäre dumm, sich über die Welt zu ärgern. Sie kümmert sich nicht darum." (Marc Aurel)
bei Antwort benachrichtigen
schoppes mi~we „Im Moment bauen sich die Seiten bei mir wieder flott auf - ...“
Optionen
Im Moment bauen sich die Seiten bei mir wieder flott auf - nur die Timeline fehlt!

Beides kann ich bestätigen.

edit: "Abschicken" dauert aber sehr lange

"Früher war alles besser. Sogar die Zukunft." (Karl Valentin)
bei Antwort benachrichtigen
xafford schoppes „Beides kann ich bestätigen. edit: Abschicken dauert aber ...“
Optionen

Ich hab gerade das meiste an interaktiven Inhalten die Last erzeugen könnten deaktiviert - so auch die Timeline. Im Moment sind es auch SIEBEN Bots - irgendwas ist da mega-faul.

Pauschalurteile sind immer falsch!!!
bei Antwort benachrichtigen
mi~we xafford „Ich hab gerade das meiste an interaktiven Inhalten die Last ...“
Optionen

Lass dich nicht unterkriegen. Das packt ihr schon - du und der Server. Toi, toi, toi!

"Es wäre dumm, sich über die Welt zu ärgern. Sie kümmert sich nicht darum." (Marc Aurel)
bei Antwort benachrichtigen
xafford mi~we „Lass dich nicht unterkriegen. Das packt ihr schon - du und ...“
Optionen

So, jetzt sind wir bei 9 Bots - und einer davon - der übelste - ist bekannt dafür Webseiten aus dem Netz zu kegeln und quasi nicht zu blocken zu sein.

Pauschalurteile sind immer falsch!!!
bei Antwort benachrichtigen
gelöscht_137978 mi~we „Im Moment bauen sich die Seiten bei mir wieder flott auf - ...“
Optionen

bei mir laufts relativ Lahmarschig, am anderen Rechner bekomme ich sogar zeitweise ein "nickles nicht erreichbar".

Bei dem Umstand aber muss man das hinnehmen.

Ich gehe allerdings nach dem Vorfall gestern eher von echten Angriffen aus. Das nun 7-9 Bots oder sogar mehr nun Nickles durchleuchten wollen ist doch eher unglaubwürdig. Ich glaube, da will ein "Feind" Nickles down halten.

 

 

bei Antwort benachrichtigen
xafford gelöscht_137978 „bei mir laufts relativ Lahmarschig, am anderen Rechner ...“
Optionen
Ich gehe allerdings nach dem Vorfall gestern eher von echten Angriffen aus. Das nun 7-9 Bots oder sogar mehr nun Nickles durchleuchten wollen ist doch eher unglaubwürdig. Ich glaube, da will ein "Feind" Nickles down halten.

Ja, dem dürfte so sein - nur weil sich etwas Search-Robot nennt heißt das nicht, dass es auch einer ist - mehr will ich zum jetzigen Zeitpunkt aber nicht sagen.

Pauschalurteile sind immer falsch!!!
bei Antwort benachrichtigen
Ma_neva xafford „Aktuelle Probleme auf Nickles - erneuter Angriff - Update“
Optionen

Hi Xaff,

habe mich gerade "belehren" lassen vom Junior, hat seinen Bruder hier besucht der ja 3 Wochen Urlaub bei uns macht. man, da habt ihr aber echte Probleme! Wußte ja gar nicht was mit diesen DoS Angriffen auf sich hatVerlegen. Aber eine Anzeige von MN wird wohl kaum Erfolg haben dann, aber rechtlich eigentlich erforderlich trotzdem.

die vielen IP-Adressen machen ein Blockieren auch quasi unmöglich.

hat man mir auch gerade so "verklickert"Stirnrunzelnd.  Echt viel Glück um den Schaden zu beheben. Was ich da so denke mit NSA sage ich lieber nix zu, denn wer nicht mitspielt kommt in die Schußlinie, da ist Frau Merkel ja super mit "Wir kennen das Internet doch kaum". Wir vertrauen unseren PartnernWeinend.

Viel Glück Xaff mit Behebung des Schadens.

Schönen Gruß

Manfred

Das Genie tut was es muß, das Talent tut was es kann
bei Antwort benachrichtigen
xafford Nachtrag zu: „Aktuelle Probleme auf Nickles - erneuter Angriff - Update“
Optionen

So, ich hoffe ich hab den Spuk vorerst in den Griff bekommen und die knapp 3000 Anfragen pro Minute abgewendet :(

Pauschalurteile sind immer falsch!!!
bei Antwort benachrichtigen
Hyperboreal xafford „So, ich hoffe ich hab den Spuk vorerst in den Griff bekommen ...“
Optionen

Hallo,

So, ich hoffe ich hab den Spuk vorerst in den Griff bekommen und die knapp 3000 Anfragen pro Minute abgewendet :(

Na herzlichen Glühstrumpf zum Kampf gegen den Drachen mit den 1000 Köpfen.

Kannst du nicht einen IP-Filter vorschalten, der alle IP-Anfragen, die nicht aus D kommen,
ignoriert? Oder sehe ich das etwas aus der naiven Ecke?

Gruss

Hyperboreal

 

 

 

bei Antwort benachrichtigen
Ma_neva Hyperboreal „Hallo, Na herzlichen Glühstrumpf zum Kampf gegen den ...“
Optionen

Hi,

Du bist doch auch schon länger hier

Kannst du nicht einen IP-Filter vorschalten, der alle IP-Anfragen, die nicht aus D kommen, ignoriert?

und weißt doch das hier auch Nickles User aus der Schweiz, Österreich, Mexiko usw. zugegen sind, sogar aus Thailand hier Stammgast. Ich denke das man Stammuser nicht einfach so blockieren kann oder sollte. Wenn dann leiden wir halt alle.

Gruß

Manfred

Das Genie tut was es muß, das Talent tut was es kann
bei Antwort benachrichtigen
Hyperboreal xafford „So, ich hoffe ich hab den Spuk vorerst in den Griff bekommen ...“
Optionen

Hallo,

möglich wäre ja auch eine Zwangspause von 0.5 Sekunden bis zur Beantwortung

einer Anfrage. Dann dauert das Durchindizieren der gesamten Datenbank Jahre.

Aber sonche Tricks und Kniffe kennst du bestimmt schon...

Gruss

Hyperboreal

bei Antwort benachrichtigen
Borlander Hyperboreal „Hallo, möglich wäre ja auch eine Zwangspause von 0.5 ...“
Optionen

Ganz so einfach ist das nicht: Durch langes Offen halten der Verbindungen blockierst Du auch erhebliche Ressourcen und vereinfachst einen DOS-Angriff schlimmstenfalls sogar noch weil der Server nun mit deutlich weniger Anfragen dauerhaft blockiert werden kann.

Für die normalen Nutzer hast es auch erhebliche Nachteile wenn insgesamt vielleicht 100 HTTP-Anfragen die notwendig sind um alle Elemente einer Seite zu laden jeweils um 0,5s verzögert werden.

bei Antwort benachrichtigen
torsten40 xafford „Aktuelle Probleme auf Nickles - erneuter Angriff - Update“
Optionen

Mal ne blöde Frage (jaja blöde Fragen gibt es nicht) aber nickles.de läuft doch bestimmt auf Rootservern. Kann man da keine iptables installieren (wobei ich aber davon ausgehe, dass die bereits installiert sind), und den Flood zurück schicken, oder zumindest die Anzahl der Aufrufe begrenzen?

Ihr macht das schon, viel Erfolg :)

Freigeist
bei Antwort benachrichtigen
Ma_neva torsten40 „Mal ne blöde Frage jaja blöde Fragen gibt es nicht aber ...“
Optionen

HiÜberrascht,

aber nickles.de läuft doch bestimmt auf Rootservern. Kann man da keine iptables installieren (wobei ich aber davon ausgehe, dass die bereits installiert sind), und den Flood zurück schicken

ich bin echt baffÜberrascht! Man was sich hier an Experten tummelnÜberrascht, ich kenne nicht einmal diese Ausdrücke geschweige denn das ich damit was anfangen kannVerlegen. Hoffe das man es mir nachsieht so dumm auch noch Selbstbekenntnis zu äußernUnentschlossen. Habe echt nix davon verstanden und ersehe wieder einmal wie blöd (unwissend) ich doch bin. Aber ich denke das Xaff echt schon alles mögliche machbare unternommen hat um Nickles am Laufen zu halten. Denke er mag dies Forum auch und tut es weniger aus finanzieller Lage heraus, eher aus dem Herzen heraus und da er auch inniger verbunden ist. Aber es tut mir echt weh, dies aber ohne Untertreibung, wenn ich daran denke das er relativ jung verheiratet ist, da hat die Frau und selbst man auch das Bedürfnis echte Auszeit zu haben! Bin zwar ein wenig älter doch (nicht nur) die Erinnerung lassen mich manchmal noch übel an Vergangenheit denkenStirnrunzelnd.

Schönen Restsonntag und Gruß

Manfred

Das Genie tut was es muß, das Talent tut was es kann
bei Antwort benachrichtigen
xafford torsten40 „Mal ne blöde Frage jaja blöde Fragen gibt es nicht aber ...“
Optionen

Nun, natürlich kann man auf einem Rootserver viel machen, aber nur Dinge, die technisch machbar sind. IP-Adressen aus dem Ausland sperren geht nur deswegen nicht, weil wir auch regelmäßige Besucher aus dem Ausland haben und auch die "normalen" Suchmaschinen meist von Außerhalb Deutschlands zugreifen, sondern auch weil eine IP-Adresse nicht sagt: Hallo, ich komme aus Deutschland. Jede Möglichkeit eine IP-Adresse zuerst einmal zu lokalisieren (was immer mit Ungenauigkeit und falschen Ergebnissen behaftet ist) kostet auf dem Server einiges an Rechenzeit und Netzwerk-Zugriffszeit - es wäre also die beste Möglichkeit, dass wir uns selbst DOS-en.

Auch per Filter-Regeln sperren bringt leider wenig bei einem DDOS, denn das erste D im Namen spricht  dagegen - so ein Angriff ist verteilt, also von unzähligen IP-Adressen, die an für sich auch noch ganz legale Anfragen stellen - anhand was sollte man da also filtern auf Netzwerkebene?

Schlussendlich wurde etwas gemacht um den Angriff in den Griff zu bekommen, aber es ist hoffentlich verständlich, dass ich dies nicht publik machen werde, wie wir genau vorgegangen sind.

Pauschalurteile sind immer falsch!!!
bei Antwort benachrichtigen
jueki xafford „Aktuelle Probleme auf Nickles - erneuter Angriff - Update“
Optionen

Angriffe mit 100GB/sec:

http://winfuture.de/news,78120.html

Gegen sowas scheinen sicher nur sehr wenige gefeit zu sein.
Einhundert Gigabyte pro Sekunde - das muß man sich mal vorstellen!

Jürgen

- Nichts ist schwerer und nichts erfordert mehr Charakter, als sich im offenem Gegensatz zu seiner Zeit zu befinden und laut zu sagen "NEIN!" Kurt Tucholsky
bei Antwort benachrichtigen