Netzlaufwerk und yacy?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Netzlaufwerk und yacy?

Beitragvon robme » So Mai 31, 2009 5:55 pm

hallo, ist es irgendwie möglich yacy ein netzlaufwerk durchsuchen zu lassen?

oder müssen diese dateien/verzeichnisse alle über einen http server verfügbar gemacht werden?


vielen dank
robme
 

Re: Netzlaufwerk und yacy?

Beitragvon Orbiter » So Mai 31, 2009 6:29 pm

das geht seit einiger Zeit (wird vielleicht hier ein paar Leute überraschen, ich glaube ich hab das nirgendswo dokumentiert), allerdings nur mit einem kleinen Trick: alle Dokumente werden dann über den http Server zur Verfügung gestellt. Dazu wird der Root des Laufwerks, das du erfassen willst, nach http://localhost:8080/repository gemappt, und dieses muss dann beim Crawl-Start als Start-URL ausgewählt werden. Bei einer Einstellung für Intranet-Indexierung ist dieser Pfad aber schon per default eingestellt, so dass der Crawl start einfach zu konfigurieren ist.

Nun musst du nur noch wissen, wie man den Pfad im Filesystem nach localhost:8080/repository mappt, auch das ist ganz einfach: wenn du bei der Eingangskonfiguration auf http://localhost:8080/ConfigBasic.html die Option Intranet-Indexing auswählst, so siehst du etwas unten drunter, unter dem Haus-Icon einen Button für die Auswahl eines Pfades; hier wählst du das Verzeichnis aus, das als Root ausgewählt werden soll.

Aber Achtung: dann sind alle deine Dateien über den root über den Port 8080 auf localhost zu erreichen. Das ist also ein Sicherheitsproblem, ausser du bist eh hinter einer Firewall. Wenn du also eine direkte Verbindung zum Internet hast und keine Firewall aktiv, dann solltest du das hier besser nicht machen.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Netzlaufwerk und yacy?

Beitragvon robme » So Mai 31, 2009 8:14 pm

jo, das ist natürlich ein sicherheitsproblem, auch ein internes. werde mal abklären wie sich dass trotz benutzerrechte trotzdem bewerkstelligen lassen kann!

wie kann man yacy denn zu erneuter indexierung bewegen? zb. jede stunde neuen crawl starten?
robme
 

Re: Netzlaufwerk und yacy?

Beitragvon robme » So Mai 31, 2009 9:22 pm

In dem Auswahlfeld habe ich aber nicht die möglichkeit einen ordner zu bestimmen sondern eine datei, es ist mir auch nicht möglich den pfad dahingehend abzuändern. oder habe ich jetzt einen schritt verpasst?
robme
 

Re: Netzlaufwerk und yacy?

Beitragvon Orbiter » Mo Jun 01, 2009 1:16 am

eije, da habe ich doch das Feature nicht richtig zuende gebaut. Man konnte zwar mit dem File-Feld einen Pfad auswählen, aber das war wie du schon schreibst quatsch und darüber hinaus wurde dann mit dem Wert gar nichts gemacht. Das habe ich nun gefixt, svn 6002

Da hast du nun keinen Auswahlknopf mehr, aber dafür kannst du einfach den Pfad rein schreiben. Wenn der Pfad nach der Eingabe nicht angenommen wird, hast du entweder
- nicht intranet als Netz definiert, und/oder
- der Pfad existiert nicht oder zeigt nicht auf ein Verzeichnis.

Alles andere sollte funktionieren wie oben beschrieben.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Netzlaufwerk und yacy?

Beitragvon robme » Mo Jun 01, 2009 11:14 am

blöde frage... wie läuft das mit svn? und wo bekomme ich das her? ..ich mach hier nur ein praktikum... :(
robme
 

Re: Netzlaufwerk und yacy?

Beitragvon Lotus » Mo Jun 01, 2009 11:18 am

SVN ist unsere Versionsverwaltung in die wir Änderungen einchecken.
Die daraus kompilieren aktuellen Versionen bekommst du am einfachsten über das Webinterface unter "System Update".
Ansonsten http://www.yacy-websuche.de/wiki/index. ... fixSources
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Netzlaufwerk und yacy?

Beitragvon robme » Mo Jun 01, 2009 11:47 am

hmm.. er akzeptiert nur pfade innerhalb des /yacy verzeichniss. aber ich möchte in dem pfad irgendwie sagen, "benutze T:\Doku" oder "Z:\". muss ich die dateien in den yacy ordner kopieren?

intranet indexing ist ausgewählt und der pfad existiert auch. wenn ich auf konfiguration speichern klicke verwirft er meine einstellung und schreibt wieder /DATA/HTDOCS rein.
robme
 

Re: Netzlaufwerk und yacy?

Beitragvon Orbiter » Mo Jun 01, 2009 11:57 am

ah, Mist, der nimmt momentan nur relative Pfade. Hab da einen patch gemacht, SVN 6004
ist aber vielleicht nicht ganz elegant, wer weiss wie man das besser macht kann es ja einchecken.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Netzlaufwerk und yacy?

Beitragvon robme » Mo Jun 01, 2009 1:14 pm

wow, es geht. wahnsinn... und schnell! ich bin total vom hocker! vielen dank, dass du es solange mit mir ausgehalten hast :)

in der ausschluss liste habe ich ein paar fehler:

cannot load: load error - REJECTED URL http://localhost:8080/repository/..datei.abc because file size '522542' exceeds max

jedoch finde ich die datei trotzdem. was soll der fehler bedeuten?
robme
 

Re: Netzlaufwerk und yacy?

Beitragvon lulabad » Mo Jun 01, 2009 1:18 pm

robme hat geschrieben:cannot load: load error - REJECTED URL http://localhost:8080/repository/..datei.abc because file size '522542' exceeds max

Die Datei ist zu gross und wird nicht indexiert. Ist ein Schutz damit nicht Gigabytegrosse iso / Archive geladen und in den Arbeitsspeicher gepackt werden.
Kann man Einstellen:
http://localhost:8000/Settings_p.html?page=crawler
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns

Re: Netzlaufwerk und yacy?

Beitragvon robme » Mo Jun 01, 2009 1:35 pm

also ist es nicht möglich IN diesen dateien zu suchen, oder wie muss ich das verstehen?
robme
 

Re: Netzlaufwerk und yacy?

Beitragvon Phiber » Mo Jun 01, 2009 1:44 pm

robme hat geschrieben:also ist es nicht möglich IN diesen dateien zu suchen, oder wie muss ich das verstehen?

Doch wenn du die maximal zugelassen Grösse erhöhst und das ganze nochmals crawlst, kannst du dort auch in den Dateien suchen.

Das ganze ist wirklich nur ein Schutz wenn man vorallem im Internet was crawlt, wenn mir da einer ein künstlich aufgeblasenes 20GB Archiv in den Weg stellt, Videos oder ähnliches.
Phiber
 
Beiträge: 96
Registriert: So Okt 05, 2008 9:04 pm

Re: Netzlaufwerk und yacy?

Beitragvon ralf » Mo Jun 15, 2009 1:15 pm

hallo, ich hätte eine frage zur einbindung der nightly builds.
ich habe die windows version von yacy auf meinem rechner installiert und kann aus sicherheitsgründen von diesem rechner nicht über die "system-aktualisieren" funktion zurückgreifen.
wie binde ich manuell die neue version ein?

muss ich einfach die dateien aus der tar.gz von http://yacystats.de/yacybuild/ in mein yacy verzeichnis kopieren/diese überschreiben?

vielen dank

tolles projekt!!
ralf
 

Re: Netzlaufwerk und yacy?

Beitragvon PCA42 » Mo Jun 15, 2009 1:35 pm

ralf hat geschrieben:muss ich einfach die dateien aus der tar.gz von http://yacystats.de/yacybuild/ in mein yacy verzeichnis kopieren/diese überschreiben?


Ja, das funktioniert. Einfach die aktuelle tar.gz herunterladen und entpacken. Nichts anderes macht auch die Funktion, die über das Interface aufgerufen wird.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Netzlaufwerk und yacy?

Beitragvon mrks » Fr Aug 21, 2009 1:45 pm

Gibt es auch die Möglichkeit mehrere Netzlaufwerke auf das repository zu mappen? Oder ist es auf eine Instanz beschränkt?
mrks
 
Beiträge: 13
Registriert: Do Mai 28, 2009 6:10 pm

Re: Netzlaufwerk und yacy?

Beitragvon mrks » Mo Aug 24, 2009 9:00 am

Hat jemand dazu eine Antwort? :-|
mrks
 
Beiträge: 13
Registriert: Do Mai 28, 2009 6:10 pm

Re: Netzlaufwerk und yacy?

Beitragvon Orbiter » Mo Aug 24, 2009 11:48 am

wie soll 'mehrere Laufwerke mappen' denn dann aussehen? Ich würde ansonsten vorschlagen diese alle in ein Verzeichnis mit OS-Mitteln zu linken und dieses dann zum repository hin zu mappen.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Netzlaufwerk und yacy?

Beitragvon mrks » Mo Aug 24, 2009 12:00 pm

Ja stimmt, da habe ich mich nicht ganz präzise ausgedrückt. natürlich sollen die quellen nicht in einen topf geschmissen werden. ich suche nur nach einer möglichkeit mittels yacy mehrere netzlaufwerke zu durchsuchen. andere möglichkeit wäre natürlich dann die beiden verzeichnisse per webserver für yacy zugänglich zu machen. das funktioniert doch, oder?

danke für deine hilfe
mrks
 
Beiträge: 13
Registriert: Do Mai 28, 2009 6:10 pm

Re: Netzlaufwerk und yacy?

Beitragvon Orbiter » Mo Aug 24, 2009 1:44 pm

per webserver geht das sowieso, ich würde das auch als die bessere Möglichkeit ansehen. Einfach ein apache drüber setzen. Das Mapping nach repository sollte eigentlich auch nur ein 'guck-mal-so-geht-das' sein, keine richtige Profilösung. Wenn du die Files mit einem 'richtigen' Webserver hostest, ist das sicherlich besser als mit dem YaCy-httpd
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast