YaCy-Peer auf Server lehnt Domains vom Server ab

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

YaCy-Peer auf Server lehnt Domains vom Server ab

Beitragvon Quix0r » Mi Feb 16, 2011 5:31 pm

Hallo zusammen,

ich habe nun YaCy auf meinem Server installiert. Er soll im freeworld taetig sein, aber nur von mir definierte URLs und RSS-Feeds abcrawlen. Zuerst habe ich 'freeworld' genutzt und ihn auf einen oeffentlichen Robinson-Peer gestellt. Leider aber lehnt er eigene Adressen ab:
Code: Alles auswählen
I 2011/02/16 16:52:46 Rejected URL http://mxchange.org/ - denied_(the host 'mxchange.org' is local, but local addresses are not accepted: 188.138.90.169

Ich wollte nicht gerne auf 'allip' wechseln, da ich dann befuerchte, die Anbindung an freeworld zu verlieren. Deswegen habe ich die Datei defaults/yacy.network.freeworld.unit genommen, nach defaults/yacy.network.sameserver-freeworld.unit kopiert, network.unit.domain = any, die Netzwerkbeschreibung angepasst und oben den Kommentarkopf geaendert, so dass es ersichtlich ist, wofuer die Datei da ist.

Anschliessend habe ich sie in defaults/yacy.networks eingetragen und den Peer auf diese umkonfiguiert (mit oeffentlichen Robinson-Peer). Den Crawl von meinen Hauptprojekten hat er bereits abgeschlossen und hat mal gerade >9.000 URLs im Index.

Eine andere Loesung konnte ich bis jetzt nicht finden. :? Vorschlaege sind immer Willkommen.

Und achso, Michael/Orbiter hat von mir eine Mail bekommen, eventuell wird meine Seed-Liste "offiziell" mit aufgenommen.

VG,
Roland

PS: Hier ist der Peer:
http://zulu289.yacy

Mit AMD 64-Bit Quad-Core 2.2 GHz, 8 GB DD3 RAM (2 GB YaCy zugewiesen) und einem Software RAID-1 (ist halt Billig-Server). Zudem habe ich den Kernel (war ein Standart-Debian-Kernel) optimiert (nur ein paar Einstellungen aendern und schon laeuft er besser auf Servern).
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: YaCy-Peer auf Server lehnt Domains vom Server ab

Beitragvon Orbiter » Mi Feb 16, 2011 5:37 pm

ich hab nicht ganz verstanden was du eigentlich erreichen wolltest
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy-Peer auf Server lehnt Domains vom Server ab

Beitragvon Quix0r » Mi Feb 16, 2011 5:58 pm

Mittlerweile zwei Dinge:
- YaCy mit einem weiteren (bald hardcodierten) Principal-Peer unterstuetzen, von dem sich die Peers die Seed-Liste laden koennen
- Ein eigenes Suchportal aufsetzen, dass die auf dem eigenem Server vorhandenen Adressen (meine Web-Adressen halt) crawlt und den freeworld zur Verfuegung stellt, aber nichts von aussen annimmt.

Lezteres klappt nun auch, aber erst nachdem ich wie oben beschrieben eine eigene Netzwerkdefintionsdatei erzeugt hatte.

Das Problem was ohne der eigenen Datei auftaucht, ist oben im Code-Block zu sehen: Vom Peer ausgesehen "lokale" Adressen werden abgelehnt, sie sind aber ueber eine oeffentliche IP erreichbar.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: YaCy-Peer auf Server lehnt Domains vom Server ab

Beitragvon Copro » So Feb 27, 2011 12:58 pm

Selbes Problem habe ich aktuell auch wieder ...
Ich habe YaCy auf einem neuen Server als Robinson Peer installiert der neben der Suchmaschine auch ein paar Domains per NameVirtualHost per Apache2 hostet.
Will ich nun meine eigenen Domains die der Server selber hostet auch mit in den Index aufnehmen bekomme ich immer eine Ablehnung weil die ja auf die lokale (öffentliche) IP Adresse auflösen.

- YaCy auf Server mit öffentlicher IP im Robinson Modus
- Crawl auf fremde Webseiten: OK
- Crawl auf Webseiten die der Server selber hostet - z.B. example.com: Rejected URL http://example.com/ - denied_(the host 'example.com' is local, but local addresses are not accepted

Könnte mit der Überprüfung auf lokale Adressen nach der Einführung der Intranet Option gekommen sein und halte ich auch für einen Bug.
Copro
 
Beiträge: 207
Registriert: Do Dez 13, 2007 3:37 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast