Intranet/ Fileserver

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Intranet/ Fileserver

Beitragvon CiscoKid » Mi Dez 07, 2011 4:10 pm

Hallo,

Wenn ich richtig verstanden habe, es ist möglich, YaCy als Suchmaschine für Fileserver/ Intranet zu verwenden. Ich habe "Intranet Indexing" im Grundkonfiguration gesetzt und versucht, verschiedene Pfade in "Site Crawl"
angegeben ohne Erfolg. Ich suche jemand, der dies schon erfolgreich gemacht hat, und mir dabei helfen könnte.

Beste Grüsse
CiscoKid
 
Beiträge: 1
Registriert: Mi Dez 07, 2011 4:00 pm

Re: Intranet/ Fileserver

Beitragvon grassu » Mi Jan 18, 2012 1:25 pm

Leider habe ich es bisher auch noch nicht geschafft das lokale Crawling funktionsfähig einzurichten, daher schliesse ich mich dem Hilfegesuch an.

Sowohl bei file als auch smb Shares erscheint nach hinzufügen des Crawl Eintrags immer die Fehlermeldung:
Code: Alles auswählen
Fehler mit URL Eingabe "smb://192.168.1.44/Kunden/": -UNRESOLVED_PATTERN-
Fehler mit URL Eingabe "file://home/shares/Kunden/": -UNRESOLVED_PATTERN-


Installiert ist die Version 1.01/9217.

Hier ein Auszug aus dem yacy00.log:
Code: Alles auswählen
..
Session: Session_192.168.1.40:62568#0_GET /api/getpageinfo_p.xml?actions=title,robots&url=file://home/shares/transfer/ HTTP/1.1
Query:   /api/getpageinfo_p.xml
Client:  192.168.1.40
Reason:  null
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1380)
        at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:929)
        at de.anomic.http.server.HTTPDFileHandler.doGet(HTTPDFileHandler.java:245)
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:397)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:757)
        at de.anomic.server.serverCore$Session.run(serverCore.java:651)
Caused by: java.lang.NullPointerException
        at net.yacy.repository.LoaderDispatcher.loadInternal(LoaderDispatcher.java:195)
        at net.yacy.repository.LoaderDispatcher.load(LoaderDispatcher.java:167)
        at net.yacy.repository.LoaderDispatcher.load(LoaderDispatcher.java:153)
        at net.yacy.repository.LoaderDispatcher.parseResource(LoaderDispatcher.java:357)
        at getpageinfo_p.respond(getpageinfo_p.java:73)
        ... 14 more
E 2012/01/18 12:54:45 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/shares/transfer/yacy/htroot/api/getpageinfo_p.class: java.lang.NullPointerException:null
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1380)
        at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:929)
        at de.anomic.http.server.HTTPDFileHandler.doGet(HTTPDFileHandler.java:245)
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:397)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:757)
        at de.anomic.server.serverCore$Session.run(serverCore.java:651)
Caused by: java.lang.NullPointerException
        at net.yacy.repository.LoaderDispatcher.loadInternal(LoaderDispatcher.java:195)
        at net.yacy.repository.LoaderDispatcher.load(LoaderDispatcher.java:167)
        at net.yacy.repository.LoaderDispatcher.load(LoaderDispatcher.java:153)
        at net.yacy.repository.LoaderDispatcher.parseResource(LoaderDispatcher.java:357)
        at getpageinfo_p.respond(getpageinfo_p.java:73)
        ... 14 more
W 2012/01/18 12:54:45 FILEHANDLER Unexpected error while processing query.
Session: Session_192.168.1.40:62569#0_GET /api/getpageinfo_p.xml?actions=title,robots&url=file://home/shares/transfer HTTP/1.1
Query:   /api/getpageinfo_p.xml
Client:  192.168.1.40
Reason:  null
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1380)
        at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:929)
        at de.anomic.http.server.HTTPDFileHandler.doGet(HTTPDFileHandler.java:245)
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:397)
...


Hat jemand eine Idee was da falsch läuft?

Danke vorab,
grassu
grassu
 
Beiträge: 6
Registriert: Mi Jan 18, 2012 12:40 pm

Re: Intranet/ Fileserver

Beitragvon grassu » Do Jan 19, 2012 6:30 pm

Habe hierzu einen Eintrag im Bugtracker angelegt:
http://bugs.yacy.net/view.php?id=132
grassu
 
Beiträge: 6
Registriert: Mi Jan 18, 2012 12:40 pm

Re: Intranet/ Fileserver

Beitragvon Orbiter » Fr Jan 20, 2012 12:02 am

habs gefixt, gehts bei euch?
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Intranet/ Fileserver

Beitragvon grassu » Fr Jan 20, 2012 11:14 am

Hallo Orbiter,

bei neuen SMB crawls erscheint nun keine Syntaxfehlermeldung allerdings liefert der Crawl immer noch keine Ergebnisse. Im Log wird die Meldung "Loader No parser available in SMB crawler" ausgegeben. Was könnte da noch Falsch sein?
Den File Crawler hast du nicht korrigiert, oder? Dort erscheint immer noch die Meldung "unresolved pattern".

Danke für die Hilfe,
grassu

Hier das Log:
Code: Alles auswählen
tail -f DATA/LOG/yacy00.log
at de.anomic.server.serverCore$Session.run(serverCore.java:651)
I 2012/01/20 11:04:31 LOADER No parser available in SMB crawler: 'no parser found' for URL smb://192.168.1.44/Kunden: parsing only metadata
I 2012/01/20 11:04:31 HTCACHE storing content of url smb://192.168.1.44/Kunden, 47 bytes
I 2012/01/20 11:05:01 LOADER No parser available in SMB crawler: 'no parser found' for URL smb://192.168.1.44/Intern: parsing only metadata
I 2012/01/20 11:05:01 HTCACHE storing content of url smb://192.168.1.44/Intern, 47 bytes
I 2012/01/20 11:05:31 LOADER No parser available in SMB crawler: 'no parser found' for URL smb://192.168.1.44/Intern/: parsing only metadata
I 2012/01/20 11:05:31 HTCACHE storing content of url smb://192.168.1.44/Intern/, 48 bytes
D 2012/01/20 11:06:47 YACY_SEARCH Cleaning Incoming News, 0 entries on stack
I 2012/01/20 11:06:47 YACY rulebasedUpdateInfo: too early for a lookup for a new release (timeLookup = 1327053570612, cycle = 604800000, now = 1327054007004)
I 2012/01/20 11:06:47 RESOURCE OBSERVER resources ok
I 2012/01/20 11:07:06 APICALL /Crawler_p.html?xsstopw=on&crawlingDomMaxPages=10000&intention=&range=subpath&indexMedia=on&recrawl=nodoubles&xdstopw=off&storeHTCache=on&sitemapURL=&repeat_time=7&cachePolicy=iffresh&indexText=on&crawlingMode=url&crawlingURL=smb://192.168.1.44/Intern/&bookmarkTitle=&mustnotmatch=&crawlingDomFilterDepth=1&crawlingDomFilterCheck=off&crawlingstart=Starte%20neuen%20Crawl&xpstopw=off&repeat_unit=seldays&crawlingDepth=99
I 2012/01/20 11:07:06 LOADER No parser available in SMB crawler: 'no parser found' for URL smb://192.168.1.44/Intern/: parsing only metadata
I 2012/01/20 11:07:06 HTCACHE storing content of url smb://192.168.1.44/Intern/, 48 bytes
W 2012/01/20 11:07:06 StackTrace host too short: 'smb', url = http://smb/192.168.1.44/Intern/
java.net.MalformedURLException: host too short: 'smb', url = http://smb/192.168.1.44/Intern/
at net.yacy.cora.document.MultiProtocolURI.<init>(MultiProtocolURI.java:176)
at net.yacy.kelondro.data.meta.DigestURI.<init>(DigestURI.java:129)
at net.yacy.kelondro.data.meta.DigestURI.<init>(DigestURI.java:119)
at de.anomic.data.BookmarksDB$Bookmark.<init>(BookmarksDB.java:516)
at de.anomic.data.BookmarksDB.getBookmark(BookmarksDB.java:160)
at de.anomic.data.BookmarksDB$Bookmark.<init>(BookmarksDB.java:498)
at de.anomic.data.BookmarksDB$Bookmark.<init>(BookmarksDB.java:512)
at de.anomic.data.BookmarksDB.createBookmark(BookmarksDB.java:130)
at Crawler_p.respond(Crawler_p.java:371)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1380)
at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:929)
at de.anomic.http.server.HTTPDFileHandler.doPost(HTTPDFileHandler.java:253)
at de.anomic.http.server.HTTPDemon.POST(HTTPDemon.java:530)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:757)
at de.anomic.server.serverCore$Session.run(serverCore.java:651)
W 2012/01/20 11:07:06 StackTrace host too short: 'smb', url = http://smb/192.168.1.44/Intern/
java.net.MalformedURLException: host too short: 'smb', url = http://smb/192.168.1.44/Intern/
at net.yacy.cora.document.MultiProtocolURI.<init>(MultiProtocolURI.java:176)
at net.yacy.kelondro.data.meta.DigestURI.<init>(DigestURI.java:129)
at net.yacy.kelondro.data.meta.DigestURI.<init>(DigestURI.java:119)
at de.anomic.data.BookmarksDB$Bookmark.<init>(BookmarksDB.java:516)
at de.anomic.data.BookmarksDB.getBookmark(BookmarksDB.java:160)
at de.anomic.data.BookmarksDB.removeBookmark(BookmarksDB.java:174)
at de.anomic.data.BookmarksDB$Bookmark.<init>(BookmarksDB.java:508)
at de.anomic.data.BookmarksDB$Bookmark.<init>(BookmarksDB.java:512)
at de.anomic.data.BookmarksDB.createBookmark(BookmarksDB.java:130)
at Crawler_p.respond(Crawler_p.java:371)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.http.server.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1380)
at de.anomic.http.server.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:929)
at de.anomic.http.server.HTTPDFileHandler.doPost(HTTPDFileHandler.java:253)
at de.anomic.http.server.HTTPDemon.POST(HTTPDemon.java:530)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at de.anomic.server.serverCore$Session.listen(serverCore.java:757)
at de.anomic.server.serverCore$Session.run(serverCore.java:651)
I 2012/01/20 11:07:06 LOADER No parser available in SMB crawler: 'no parser found' for URL smb://192.168.1.44/Intern/: parsing only metadata
I 2012/01/20 11:07:06 HTCACHE storing content of url smb://192.168.1.44/Intern/, 48 bytes
I 2012/01/20 11:07:06 BALANCER re-fill of domain stacks; fileIndex.size() = 1, domainStacks.size = 1, collection time = 4 ms
I 2012/01/20 11:07:06 LOADER No parser available in SMB crawler: 'no parser found' for URL smb://192.168.1.44/Intern/: parsing only metadata
D 2012/01/20 11:07:06 YACY_SEARCH deQueue: passing to indexing queue: smb://192.168.1.44/Intern/
D 2012/01/20 11:07:06 YACY_SEARCH PARSE de.anomic.crawler.retrieval.Response@71b493c6
D 2012/01/20 11:07:06 YACY_SEARCH processResourceStack processCase=LOCAL_CRAWLING, depth=0, maxDepth=99, must-match=smb://192.168.1.44/Intern/.*, must-not-match=, initiatorHash=t1qmi3zco-mS, url=smb://192.168.1.44/Intern/
I 2012/01/20 11:07:06 YACY_SEARCH CRAWL: ADDED 1 LINKS FROM smb://192.168.1.44/Intern/, STACKING TIME = 4, PARSING TIME = 12
D 2012/01/20 11:07:06 YACY_SEARCH Condensing for 'smb://192.168.1.44/Intern/'
W 2012/01/20 11:07:06 STACKCRAWL CrawlStacker.stackCrawl of URL smb://192.168.1.44/Intern/ - not pushed: double occurrence in double_push_check
I 2012/01/20 11:07:07 YACY_SEARCH Excluded 0 words in URL smb://192.168.1.44/Intern/
I 2012/01/20 11:07:07 YACY_SEARCH *Indexed 5 words in URL smb://192.168.1.44/Intern/ [4ElWE_tYSqf8]
Description:
MimeType: text/plain | Charset: null | Size: 49 bytes | Anchors: 1
LinkStorageTime: 12 ms | indexStorageTime: 8 ms
I 2012/01/20 11:07:09 IODispatcher appended dump job for file text.index.20120120100709561.blob
I 2012/01/20 11:07:09 indexContainerRAMHeap creating rwi heap dump 'text.index.20120120100709561.blob', 5 rwi's
I 2012/01/20 11:07:09 kelondroBLOBHeapWriter wrote a dump for the 5 index entries of text.index.20120120100709561.blob in 15 milliseconds.
I 2012/01/20 11:07:09 indexContainerRAMHeap finished rwi heap dump: 5 words, 0 word/URL relations in 17 milliseconds
I 2012/01/20 11:07:09 HeapReader saturation of text.index.20120120100709561.blob.becJ36eIPiTq.idx: keylength = 0, vallength = 2, possible saving: 0 MB
I 2012/01/20 11:07:09 HeapReader using a dump of the index of /home/shares/transfer/yacy/DATA/INDEX/intranet/SEGMENTS/default/text.index.20120120100709561.blob.
I 2012/01/20 11:07:45 HeapReader close HeapFile text.index.20120120100709561.blob; trace: net.yacy.kelondro.blob.HeapModifier.close(HeapModifier.java:82) -> net.yacy.kelondro.blob.ArrayStack.unmountBLOB(ArrayStack.java:264) -> net.yacy.kelondro.blob.ArrayStack.unmountBestMatch(ArrayStack.java:308) -> net.yacy.kelondro.rwi.ReferenceContainerArray.shrinkBestSmallFiles(ReferenceContainerArray.java:403) -> net.yacy.kelondro.rwi.IndexCell.shrink(IndexCell.java:183) -> net.yacy.kelondro.rwi.IndexCell$CleanupThread.cleanCache(IndexCell.java:164) -> net.yacy.kelondro.rwi.IndexCell$CleanupThread.run(IndexCell.java:114)
I 2012/01/20 11:07:45 HeapReader close HeapFile text.index.20120120095002079.blob; trace: net.yacy.kelondro.blob.HeapModifier.close(HeapModifier.java:82) -> net.yacy.kelondro.blob.ArrayStack.unmountBLOB(ArrayStack.java:264) -> net.yacy.kelondro.blob.ArrayStack.unmountBestMatch(ArrayStack.java:309) -> net.yacy.kelondro.rwi.ReferenceContainerArray.shrinkBestSmallFiles(ReferenceContainerArray.java:403) -> net.yacy.kelondro.rwi.IndexCell.shrink(IndexCell.java:183) -> net.yacy.kelondro.rwi.IndexCell$CleanupThread.cleanCache(IndexCell.java:164) -> net.yacy.kelondro.rwi.IndexCell$CleanupThread.run(IndexCell.java:114)
I 2012/01/20 11:07:45 RICELL-shrink1 unmountBestMatch(2.0, 268435456)
I 2012/01/20 11:07:45 IODispatcher appended merge job of files text.index.20120120095002079.blob, text.index.20120120100709561.blob to text.index.20120120100745565.blob
I 2012/01/20 11:07:45 BLOBArray merging text.index.20120120095002079.blob with text.index.20120120100709561.blob
I 2012/01/20 11:07:45 kelondroBLOBHeapWriter wrote a dump for the 7 index entries of text.index.20120120100745565.blob in 15 milliseconds.
I 2012/01/20 11:07:45 HeapReader saturation of text.index.20120120100745565.blob.G1lixCYQoAnv.idx: keylength = 0, vallength = 2, possible saving: 0 MB
I 2012/01/20 11:07:45 HeapReader using a dump of the index of /home/shares/transfer/yacy/DATA/INDEX/intranet/SEGMENTS/default/text.index.20120120100745565.blob.
I 2012/01/20 11:07:45 BLOBArray merged text.index.20120120095002079.blob with text.index.20120120100709561.blob into /home/shares/transfer/yacy/DATA/INDEX/intranet/SEGMENTS/default/text.index.20120120100745565.blob
grassu
 
Beiträge: 6
Registriert: Mi Jan 18, 2012 12:40 pm

Re: Intranet/ Fileserver

Beitragvon Marek » Fr Feb 03, 2012 12:07 pm

Hallo,

bei mir geht Crawl lokaler bzw. per Filesystem zugägnlicher Verzeichnisse bisher auch nur über das Yacy-Repository. Ansonsten kommt es bei mir mit der gestrigen Yacy-Version zu folgendem Verhalten:

beim "Seiten Crawl Start" führt die Angabe von file://yacy-test/ zu einem Häckchen, also hat zumindest der erste Test das Verzeichnis als gültiges Ziel erkannt. Aber es werden nicht die Inhalte dieses Verzeichnisses gecrawlt sondern unter "Ergebnisse des lokalen Crawlens" für dieses Verzeichnis ein Eintrag mit dem Titel "no title" vom 1.1.1970 mit 3 Wörtern angezeigt.

Trage ich bei "Seiten Crawl Start" den vollen Pfad (also drei Slashes) ein, also file:///yacy-test/ ist nicht nur ein Häckchen zu sehen, sondern im Bereich "Seite" noch vor dem Start diese Vorschau einiger betroffener Filenamen und Unterverzeichnisse. Der Crawl selbst funktioniert aber nicht. Unter "Abgelehnte URLs" ist der Eintrag zu dieser URL mit der Fehlermeldung "denied by document-attached noindexing rule" eingetragen.

Gruss,
Marek
Marek
 
Beiträge: 27
Registriert: Mi Jan 25, 2012 1:27 am
Wohnort: Berlin

Re: Intranet/ Fileserver

Beitragvon Quix0r » Fr Feb 03, 2012 3:07 pm

Hallo ihr beiden,

was ist unter /ConfigBasic.html eingestellt? Ist auch unter /ConfigNetwork_p.html eingestellt? Dies beides muss meines Wissens nach auf Intranet stehen, dann aber koennen keine Internet-URLs gecrawlt werden. Letzteres wuerde wenig Sinn machen (ausser ihr wollt es wirklich), da sich dann Suchergebnisse aus dem Intranet (unerreichbar aus dem Internet weiterhin) und dem Internet vermischen. Auch sollte DHT aus sein (wegen Unerreichbarkeit durch fremde Peers).

VG,
Roland
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Intranet/ Fileserver

Beitragvon Marek » Fr Feb 03, 2012 3:30 pm

Hallo,

beide Einstellungen sind "Intranet". Hier nochmals genauere Angaben:


Zu SMB:

In meinem Fall funktioniert ein Crawl über SMB wie z.B. smb://localhost/yacy-test/ wenn ich
- bei "Erweiterte Einstellungen > Crawler Einstellungen > SMB Maximale Dateigröße" nicht! mit -1 abschalte. Falls ich die Begrenzung abschalte, wird das meiste nicht eingelesen.
- das Verzeichnis mit abschliessemden / angegeben wird (Laien werden evtl. nicht immer einen abschliessenden Slash verwenden - im Falle eines Verzeichnisses statt einer URL wäre das für viele nämlich das gleiche).


zu File:

Nur file: scheint hier nicht wirklich zu crawlen. Auch nicht eine Fileliste als Crawlerinput. Evtl. hängen die Probleme ja miteinander zusammen. Habe das eben in den Bugtracker eingefügt: http://bugs.yacy.net/view.php?id=148


Crawling lokaler Daten (z.B. über Repository), wie in Doku für Fileserver vorgeschlagen:

Es kommt ab und zu Exceptions (load error), weil gerade wenn alle auf localhost laufen und daher eine recht schnelle Verbindung exisitiert der SMB-Server oder alternativ auch Yacys Repository-Server nicht nachkommt (oder der Crawler?) und dann landet die URL unter "abgelehnte URLs" obwohl das File eigentlich (vielleicht kurz danach wieder) erreichbar ist und indiziert werden sollte.

Nach Load error fände ich wichtig, dass das Laden nochmal versucht würde statt das File zu behandeln wie nicht zu indizierende weil externe URLs. Habe das auch in den Bugtracker eingefügt: http://bugs.yacy.net/view.php?id=147

Gruss,
Marek
Marek
 
Beiträge: 27
Registriert: Mi Jan 25, 2012 1:27 am
Wohnort: Berlin

Re: Intranet/ Fileserver

Beitragvon tomas » Mo Apr 23, 2012 9:25 am

Hallo Leute!

so, jetzt schreib ich direkt mal was ins Forum, nicht das ich wieder "gelöscht" werde ;-)

Also, auch ich versuche YaCy im eigenen Test-Netzt als Intranetsuchmaschine zu nutzen.

Wenn ich einen Crawl starte erhalte ich immer die gleiche Fehlermeldung:
Crawling von "http://xxx" schlug fehl. Grund: denied_(the host 'xxx' is global, but global addresses are not accepted: ip adresse xxx)

Mein System sind über VMWare zwei virtuelle Linux Rechner (RedHat)
Die Grundkonfig von YaCy ist "Intranet"

Danke für einen Tip oder einer Hilfestellung

Gruss
tomas.
tomas
 
Beiträge: 7
Registriert: Mo Apr 23, 2012 9:12 am
Wohnort: Unterfranken

Re: Intranet/ Fileserver

Beitragvon Orbiter » Mo Apr 23, 2012 10:20 am

Du hast wahrscheinlich in /ConfigBasic.html auf Intranetmodus gestellt? Dann werden globale Adressen abgelehnt.
Jetzt willst du ja das Intranet indexieren. Wenn du da Adressen drin hast die im Inranet so aussehen als wären sie im Internet ist was falsch.
Der macht folgendes: 'xxx' wird versucht per dns-lookup aufzulösen. Wenn die IP dann eine 'öffntliche' ist, gilt sie als global und wird deswegen abgelehnt.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Intranet/ Fileserver

Beitragvon tomas » Mo Apr 23, 2012 10:47 am

Danke.

Habe jetzt in der Eingangskonfig:
Such-Portal für Ihre eigene Internetseiten
anstatt Intranet Indexierung gewählt
und nun beginnt der Crawl ohne oben genannte Fehlermeldung.

dachte nur das ich in meinem eigenen Netz auf Intranet Indexierung gehen sollte...

Gruss
Tomas.
tomas
 
Beiträge: 7
Registriert: Mo Apr 23, 2012 9:12 am
Wohnort: Unterfranken


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste