URL DBs

Ideen und Vorschläge sind willkommen.

URL DBs

Beitragvon thq » So Apr 06, 2008 7:33 pm

Ich würde folgendes gut finden.

Man kann einstellen wie viele URL DBs es geben soll und wie viele Einträge in so eine DB passen. Also die jetzige Datumstruktur wird durch ein einfachen Zähler ersetzt.

Also sagen wir mal 24 DBs mit je 500.000 Einträgen, oder 12 mit 1.000.000 ... erst wenn die jeweils aktuelle DB voll ist wird die nächste erstellt und so weiter. Wurde das Limit der maximalen DBs erreicht wird die älteste DB nicht mehr benutzt und entweder direkt gelöscht, die Einträge zum ReCrawl ausgelesen oder für andere zum ReCrawlen angeboten.

Das hätte den Vorteil das sich jeder ein Limit setzen kann und die URLs Leichen verschwinden.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: URL DBs

Beitragvon daburna » So Apr 06, 2008 9:17 pm

Zum Thema URL-Leichen: Hab neulich alle URLS exportiert und dann manuell einen Recrawl über 2% der URLs gestartet. Dabei waren in jeder Datei (1000 URLs) mindestens 10% alte Links, die nicht mehr funktionieren.
daburna
 
Beiträge: 316
Registriert: Mi Jun 27, 2007 12:05 pm
Wohnort: Greifswald

Re: URL DBs

Beitragvon DanielR » So Apr 06, 2008 11:22 pm

Damit wäre auch eine Plattenplatz-Begrenzung möglich!?
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: URL DBs

Beitragvon thq » So Apr 06, 2008 11:42 pm

DanielR hat geschrieben:Damit wäre auch eine Plattenplatz-Begrenzung möglich!?
Das meinte ich mit
thq hat geschrieben:Das hätte den Vorteil das sich jeder ein Limit setzen kann...
Es gibt zwar noch ein paar DBs mehr, aber so hätten wir schon mal die URLs im Griff.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron