I2P+Yacy

Ideen und Vorschläge sind willkommen.

I2P+Yacy

Beitragvon welterde » Sa Dez 15, 2007 11:32 pm

Ich würde gerne mit yacy das i2p-netz indexen, dies geht jedoch nicht, da yacy immer die aufgelöste ip an den http-proxy schickt anstatt den unaufgelösten(was nötig wäre)
gibt es da irgendetwas was man dagegen machen kann?(ohne den code zu patchen)
welterde
 
Beiträge: 10
Registriert: Do Jun 28, 2007 3:47 pm

Re: I2P+Yacy

Beitragvon Orbiter » So Dez 16, 2007 12:31 am

yacy akzeptiert zur Zeit nur 'normale' http-URLs, und im öffentlichen Netz auch nur öffentliche IPs. Grund: da die Links geshart werden, müssen es auch nur Links sein die jeder öffnen kann.

Aber es gibt ja nun die neue Netzdefinition, da kann man ein Netz von Indexierern anlegen und diese das Indexieren von Intranet-URLs erlauben. Das gleiche müsste man für i2p-Adressen implementieren.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: I2P+Yacy

Beitragvon welterde » So Dez 16, 2007 2:00 am

Wäre dies bereits mit der aktuellen Version möglich?
welterde
 
Beiträge: 10
Registriert: Do Jun 28, 2007 3:47 pm

Re: I2P+Yacy

Beitragvon Orbiter » So Dez 16, 2007 2:47 pm

netzdefinition und Intranetlinks: ja
Akzeptieren von nicht-http-URLs: nein
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: I2P+Yacy

Beitragvon welterde » So Dez 16, 2007 4:05 pm

du meinst wohl eher von der .i2p TLD ;-)
könnte man das nicht als eine art filter implementieren, denn man dann umstellen könnte?
welterde
 
Beiträge: 10
Registriert: Do Jun 28, 2007 3:47 pm

Re: I2P+Yacy

Beitragvon Orbiter » So Dez 16, 2007 4:20 pm

ah, ok das wäre vielleicht sogar 'nur' der local-domain - Fall. Allerdings muss der DNS lookup dann funktionieren, und das wird er wohl damit nicht. D.h. man braucht keinen Domain-Filter, sondern eine Erweiterung des local-ip Check.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: I2P+Yacy

Beitragvon welterde » Fr Mai 23, 2008 10:46 pm

werd mich wohl ans patchen vom code machen müssen, oder?
kann yacy denn schon die seiten über ne http-proxy laden?

ahh... super!
mit ein bisschen rumkonfigurieren liefs dann unter i2p :)
(also auf local setzen, proxy konfigurieren, etc.)
welterde
 
Beiträge: 10
Registriert: Do Jun 28, 2007 3:47 pm

Re: I2P+Yacy

Beitragvon Orbiter » Fr Mai 23, 2008 11:35 pm

hallo welterbe, cool das du wieder da bist. Ich muss sagen das ich beim Lesen oben nicht mehr genau weiss wo der Schuh gedrückt hat:

I2P gegenüber müsste YaCy einfach meinen, das es sich um Intranet-Links handelt. Mit der aktuellen dev-Version musst du in der config nur auf Intranet-Indexierung schalten, den proxy definieren, und das sollte gehen. Was passiert?
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: I2P+Yacy

Beitragvon welterde » Fr Mai 23, 2008 11:48 pm

i2p stürzt mit OOM ab, weil yacy zu schnell rum sucht :D
kann ich yacy dazu bringen, etwas mehr pause zu machen?
(zb. Loader-Queue verkleinern, etc.)

aber ansonsten... tut :)
müsste yacy nur noch IP's abgewöhnen(also für mehr als einen node in i2p)

edit:
scheinbar hats auch die robots.txt ignoriert?
welterde
 
Beiträge: 10
Registriert: Do Jun 28, 2007 3:47 pm

Re: I2P+Yacy

Beitragvon Orbiter » Sa Mai 24, 2008 12:03 am

welterde hat geschrieben:i2p stürzt mit OOM ab, weil yacy zu schnell rum sucht :D
kann ich yacy dazu bringen, etwas mehr pause zu machen?
(zb. Loader-Queue verkleinern, etc.)

kein Problem:
PerformanceQueues_p.html (Admin Console -> Queues Perfomance Setting), da dann in Zeile 'Local Crawl' in 'Delay between busy loops' eine gewünschte Wartezeit deiner Wahl setzten. Weil YaCy ein Localhost-Crawling macht ist dort keine Begrenzung auf 3 Seiten/Sekunde drin. Wenn du nur eine Seite pro Sekunde haben willst schreibst du da eine 1000 rein.

welterde hat geschrieben:aber ansonsten... tut :)

ei super!

welterde hat geschrieben:müsste yacy nur noch IP's abgewöhnen(also für mehr als einen node in i2p)

das habe ich nicht verstanden. Du möchtest nicht das YaCy IPs an I2P schickt? Wie kommen die denn da rein? Durch normales Surfen oder Links zu nicht-I2P-Seiten? Dann bräuchten wir sowas wie eine Weiche: I2P-Adressen an den I2P Proxy, andere ohne Proxy laden?
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: I2P+Yacy

Beitragvon welterde » Sa Mai 24, 2008 12:12 am

ne... dachte mehr ans seeden, DHT, etc.(das yacy keine verbindungen über normales tcp macht)
welterde
 
Beiträge: 10
Registriert: Do Jun 28, 2007 3:47 pm

Re: I2P+Yacy

Beitragvon Orbiter » Sa Mai 24, 2008 12:20 am

hast du das Intranet-Netz aktiviert? dann macht der eh kein DHT weil er keine anderen Peers finden sollte. Hast du Peers in der Peertabelle?
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: I2P+Yacy

Beitragvon welterde » Sa Mai 24, 2008 12:28 am

nein... allerdings wollen wir das bei i2p ned alles so zentralisiert haben, daher wäre der nächste schritt wohl ein netz von yacy-peers innerhalb von i2p aufzuziehen
welterde
 
Beiträge: 10
Registriert: Do Jun 28, 2007 3:47 pm

Re: I2P+Yacy

Beitragvon Orbiter » Sa Mai 24, 2008 1:10 am

ich denke das sollte funktionieren, dazu ist eigentlich alles da, ein intranet-YaCy-Netz müsste kein Problem sein .. und das ist es ja dann auch aus Sicht von YaCy in I2P.

Dazu bräuchten wir folgendes:
- Du machst aus deinem Intranet-Peer einen Intranet-Principle, d.h. du sagst deinem Peer er soll die Seedlist (erst mal nur dich) irgendwo abspeichern, und du bestimmst die I2P-Adresse zu dieser Lokation und trägst diese als Seedlist-Adresse ein (alles in /Settings_p.html?page=seed).
- Dann nimmst du die yacy.network.intranet.unit und benennst sie nach yacy.network.welterde-i2p.unit (oder wie du denkst) und trägst dort die Adresse deiner Seedlist-Adresse ein, so wie es in yacy.network.freeworld.unit mit den Seedlisten drin ist.
- jetzt wirds spannend: entweder legen wir die yacy.network.welterde-i2p.unit ins Release, und schreiben in defaults/yacy.networks die Zeile defaults/yacy.network.welterde-i2p.unit, oder du lädst sie ebenfalls irgendwo hoch und wird definieren das I2P-Netz mit dieser Adresse. Bessere Alternative: angenommen du lädst die Datei nach http://meinedomain.de/yacy.network.welterde-i2p.unit, dann definierst du damit immer das Netz unabhängig vom YaCy-Release, dort kommt nur http://meinedomain.de/yacy.network.welterde-i2p.unit nach defaults/yacy.networks
- Ergebnis: jetzt ist das YaCy-Release für i2p vorkonfiguriert, und wer im i2p-Netz mitmachen will muss das nur noch im ConfigNetwork.html auswählen.

Ich hoffe das war nicht zu komplex. Der prozess ist auch im Wiki beschrieben:
http://yacy-websuche.de/wiki/index.php/ ... definition
das oben ist aber die 'Abkürzung'
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: I2P+Yacy

Beitragvon welterde » Sa Mai 24, 2008 12:14 pm

da steht aber auch was über IP's...
was ungünstig ist, wenn er nur über I2P kommunizieren soll(also auch DHT, etc.)
welterde
 
Beiträge: 10
Registriert: Do Jun 28, 2007 3:47 pm

Re: I2P+Yacy

Beitragvon Orbiter » Sa Mai 24, 2008 12:35 pm

weiss nicht, das Zeug im Wiki könnte auch überholt sein. Probier mal so wie oben steht, sollte alles mit den I2P-Links funktionieren, eigentlich.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: I2P+Yacy

Beitragvon welterde » Sa Mai 24, 2008 2:59 pm

wenn ich jetzt versuche seeding auf file zu stellen krieg ich eine "We have no valid IP address until now" Fehlermeldung.
(habe als statische IP welterde.i2cy.i2p eingetragen, was wohl falsch war, aber wo soll ich das sonst eintragen?)
welterde
 
Beiträge: 10
Registriert: Do Jun 28, 2007 3:47 pm

Re: I2P+Yacy

Beitragvon welterde » Sa Mai 31, 2008 2:41 pm

hat niemand ne idee, woran das liegen könnte?

*bump* ;)
welterde
 
Beiträge: 10
Registriert: Do Jun 28, 2007 3:47 pm


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron