Hetzner

Allgemeines und Nachrichten zu Suchmaschinen-Themen

Hetzner

Beitragvon MikeS » Do Feb 02, 2012 9:30 pm

Mal ein Hinweis bzw. eine Warnung an alle: Hetzner hat mir heute einen Root-Server gesperrt, den ich als Webcrawler benutzt habe. Nicht Yacy, sondern meine eigene Technik. Zitat aus deren Antwort auf meine Support-Anfrage: "wir haben noch einmal mit unserer Netzwerkabteilung Rücksprache gehalten, dort wurde uns bestätigt das dieses Server Verhalten so nicht erlaubt ist".

Bisher hatte ich von Hetzner eigentlich eine sehr gute Meinung.

Zur Info: Der Crawler hat die 100mbit/s öfter mal voll ausgenutzt mit bis zu 1.000 gleichzeitigen Verbindungen (natürlich zu *unterschiedlichen* Servern!), und im Januar 7,8tb Traffic verursacht (Freitraffic ist 10tb). Gestern lag der Traffic bei 500gb, heute 300gb bis circa 14:00 Uhr als sie den Server gesperrt haben. Offenbar war das denen wohl zu viel des Guten.

Den Emails von Hetzner entnehme ich dass man dort einen Webcrawler wohl mit einem Netzwerkscan gleichsetzt. Meine Erklärungen, dass das natürlich nicht so ist, scheint man dort ignoriert zu haben. Ebenso wie den Hinweis, dass ich schon seit über 10 Jahren eine Suchmaschine betreibe und es bisher nie derartige Probleme gab. (Den Namen der Suchmaschine erwähne ich hier bewusst nicht. Will mir nicht vorwerfen lassen hier Werbung zu machen.)

Ich habe hier in älteren Messages gelesen, dass wohl einige bei Hetzner Server gemietet haben. Also Vorsicht!

Eigentlich hatte ich geplant in den nächsten Wochen weitere Server bei Hetzner anzumieten. Nun wird natürlich jemand anders mein Geld bekommen. :D
MikeS
 
Beiträge: 88
Registriert: Mo Feb 25, 2008 6:30 pm

Re: Hetzner

Beitragvon Low012 » Fr Feb 03, 2012 8:49 am

Ich bin auch schon seit Jahren bei Hetzner und hatte bis jetzt noch keine Probleme, aber mein Traffic bewegt sich auch ein paar Größenordnungen unter deinem (Incoming + Outgoing = ~50GB/Monat), was ja ein ziemlicher Witz ist bei der Anbindung.

Nach den 10TB wird (zumindest bei mir) ja angeblich auch nur die Geschwindigkeit gedrosselt. Ich fand das bisher immer recht beruhigend, aber wenn Hetzner scheinbar schon vor Erreichen der 10TB nervös wird, werde ich auch nervös. ;)
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Hetzner

Beitragvon bluumi » Fr Feb 03, 2012 2:11 pm

MikeS hat geschrieben:Den Emails von Hetzner entnehme ich dass man dort einen Webcrawler wohl mit einem Netzwerkscan gleichsetzt.

Leider kann ich mir gut vorstellen, dass Sie das so sehen. Was Dein Server machte, errinnert die Analysten wohl einfach an einen Bot, welcher was bööööses macht.
Ich vermute jedoch hinter der Sperre könnte auch eines Deiner "Ziele" stehen, von welchem Du einige hundert Gigabyte gezogen hast und das Verhalten Deines Crawlers als obszön empfunden hat. - vielleicht. 8-)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Hetzner

Beitragvon Quix0r » Fr Feb 03, 2012 3:15 pm

[ot]1.000 Verbindungen gleichzeitig soll dein Peer geoeffnet haben? Wie viele Loader hast du eingestellt? Mein Peer - ist gepatcht - kommt mit 10 Loadern klar.

Also wuerde ich dir 20-30 maximal empfehlen. Ich hatte das damals anders gesehen, man lernt halt nie aus. ;)[/ot]
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Hetzner

Beitragvon MikeS » Fr Feb 03, 2012 3:31 pm

Der Server wurde eben von Hetzner wieder entsperrt. :D

Woran man sich offenbar wirklich gestossen hat, war dass der Robot auch Connect-Versuche zu "internen" IP-Adressen gemacht halt. Also in die Subnetze 10.0.0.0/8, 172.16.0.0/12 und 192.168.0.0/16. Die habe ich auf der Maschine in der Firewall jetzt für ausgehende Connects gesperrt. Gibt offenbar Leute die in öffentlich zugänglichen DNS-Einträgen solche IP-Adressen für ihre Hosts eintragen. Kann ja auch sehr praktisch sein. Dumm nur wenn es dann im Web Links zu derartigen Hosts gibt.

Die eingesetzte Software ist NICHT Yacy. Ich habe das hier nur erwähnt, weil Yacy und meine Software beide Crawler sind und einige Yacy-Nutzer auch Server von Hetzner haben.

Und ja es sind bis zu 1.000 Connections gleichzeitig. Die Maschine crawlt in der Regel so 300-400 Seiten pro Sekunde.

Ich glaube nicht, dass ich von irgendeinem bestimmten Server mehrere hundert Gigabyte gezogen habe. Die Software verteilt da recht gleichmässig. Pro Tag sollten maximal circa 200 Connects pro Hostnamen erfolgen.

Ich bin mal gespannt wie die Sache weitergeht. Ich bin gerade dabei den Crawler wieder zu starten. Mal schauen, jetzt wo die Connects zu internen IP-Adressen nicht mehr da sind, ob es wieder Probleme mit Hetzner gibt oder ob das das Problem wirklich dauerhaft behoben hat.
MikeS
 
Beiträge: 88
Registriert: Mo Feb 25, 2008 6:30 pm


Zurück zu Suchmaschinen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast