Googles Technik

Allgemeines und Nachrichten zu Suchmaschinen-Themen

Googles Technik

Beitragvon Low012 » Di Jun 24, 2008 2:27 pm

Über http://www.heise.de/newsticker/Google-fordert-Verbesserung-der-Energieeffizienz-bei-Servern--/meldung/109874 habe ich diesen Artikel über die Technik hinter Google gefunden: http://news.cnet.com/8301-10784_3-9955184-7.html

Der Artikel enthält wiederum ein paar interessante Links.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Googles Technik

Beitragvon ribbon » Di Jun 24, 2008 2:33 pm

ja sehr interessant.
wenn man mal mircosoft und yahoo und google vergleicht, z.b. einen bestimmten Begriff täglich sucht, dann stellt man fest, dass Google Nachrichten zu diesem Begriff superschnell gecrawlt hat.
Die haben einfach mehr Server und crawlen dadurch schneller. Innerhalb weniger Stunden sind sogar drei stunden frische Forenbeiträge in der Suchmaschine.

Das heisst für yacy dann nur: wir benötigen mehr Nodes.
Wie bekommen wir mehr nodes?

Vorschlag gefunden: -> http://kmeleon.sourceforge.net/forum/re ... 9907,69907
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: Googles Technik

Beitragvon datengrab » Di Jun 24, 2008 3:54 pm

Der Geschichte bin ich auch gefolgt. Unter http://backrub.c63.be/index.htm findet sich wie alles angefangen hat, teis auch mit interessanten technischen Hintergrundinformationen.
ribbon hat geschrieben:Die haben einfach mehr Server und crawlen dadurch schneller.

Die crawlern vor allem viel intelligenter. Ich beobachte es seit eingiger Zeit in den Logs meiner kleinen Seite. Während yahoo immer wieder die selben Seiten abruft geht google die Seiten systematisch durch. Dabei erkennt google auch recht gut, wo sich öfter was tut und besucht die entsprechenden Seiten öfter. Das yahoo nicht so tief geht könnte natürlich auch daran liegen, das es dennen einfach an Kapazitäten fehlt.

Den Vogel insgesammt schießt allerdings baidu ab. Der fragt teils im Stundentakt "/" ab und folgt dann aber nicht dem redirect auf index.rbx. Seit ich ihn auf IP-Ebene gesperrt habe kommt er allerdings nicht mehr wieder (anders als MS, die obwohl ich sie auf IP-Ebene geblockt habe fast täglich wieder kommen)
datengrab
 
Beiträge: 366
Registriert: Sa Aug 25, 2007 7:22 pm

Re: Googles Technik

Beitragvon ribbon » Di Jun 24, 2008 4:09 pm

naja, optimieren kann man immer, aber yacy läuft stabil und das sogar in realtime öffentlich in der metager, daher sollte man nun wirklich nur auf Masse gucken, nicht auf qualitative Verbesserungen. Lieber 10 neue Nodes als eine neue Version.
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm


Zurück zu Suchmaschinen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast