beim Crawling deaktiviert

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

beim Crawling deaktiviert

Beitragvon cnouvelle » Do Mär 08, 2012 1:57 am

Is there a special reason why index distribution is marked "disabled during crawling"? (See Admin console -> Network configuration, under Distributed Computing Network for Domain, Peer-to-Peer Mode, Index distribution (checked) -> disabled during crawling & enabled during indexing)

If I activate that, it seems that my crawls would get distributed faster, but I don't want to bung up a setting.


Gibt es einen besonderen Grund, warum Index-Verteilung gekennzeichnet ist "während kriechen deaktiviert"? (Siehe Admin-Konsole -> Netzwerk-Konfiguration, unter Distributed Computing Network for Domain, Peer-to-Peer-Modus, Index-Verteilung (geprüft) -> beim Crawling deaktiviert und aktiviert bei der Indizierung)

Wenn ich das aktivieren, so scheint es, dass meine kriecht würden schneller verteilt bekommen, aber ich möchte nicht in Unordnung zu bringen eine Einstellung.
cnouvelle
 
Beiträge: 32
Registriert: Mi Feb 29, 2012 12:42 pm

Re: beim Crawling deaktiviert

Beitragvon cnouvelle » Do Mär 08, 2012 5:17 am

My crawler has been very busy.

I decided to enable automated, DHT-ruled Index Transmission to other peers while crawling. Instantly I saw a lot of red lines in the YaCy Network live network picture.

I did a little experiment. I put YaCy on another computer in the house. I did a search, using terms I knew were on my workstation that has the main YaCy installation. But few matches came up. They should have come up, by virtue of being very close on the network. Not far to travel at all.

Then I enabled DHT transmission while crawling. After doing that, my searches on the second computer included matches from my database.

So if you have a busy crawler, enable DHT transmission while crawling. That's my conclusion.

---

Mein Crawler ist sehr beschäftigt.

Ich beschloss, automatisierte, DHT-Index ausgeschlossen Übermittlung an andere Peers zu ermöglichen, während kriechen. Sofort sah ich eine Menge von roten Linien im YaCy Netzwerk Live-Netzwerk Bild.

Ich habe ein wenig experimentieren. Ich legte YaCy auf einem anderen Computer im Haus. Ich habe eine Suche, mit Begriffen ich kannte, waren auf meinem Rechner, die den Hauptbereich YaCy-Installation hat. Aber nur wenige Treffer kam. Sie sollten gekommen sind, durch sehr nahe auf dem Netzwerk. Nicht weit, überhaupt zu reisen.

Dann habe ich aktiviert DHT Übertragung beim Kriechen. Danach werden sie wieder aufgenommen meinen Recherchen auf dem zweiten Computer Spiele aus meiner Datenbank.

Also, wenn Sie ein Besetztzeichen Crawler haben, aktivieren Sie DHT Übertragung beim Kriechen. Das ist meine Schlussfolgerung.
cnouvelle
 
Beiträge: 32
Registriert: Mi Feb 29, 2012 12:42 pm

Re: beim Crawling deaktiviert

Beitragvon iqualfragile » Fr Apr 20, 2012 11:27 pm

"They should have come up, by virtue of being very close on the network"
the distance in meters has nothing to do with the distance in network-terms
when you open the network-graph you can see a ring.
every word is mapped to three positions in the ring, to three different computers.
searching works by taking the word, computing the position and asking those peers for the results.
dht-transmission discribes the proces of getting your crawled words to the right positions so others can search for it.
if you dont enable it while crawling it will be done afterwards.

this is the whole point abour yacy
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron