WARC-Import

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

WARC-Import

Beitragvon LA_FORGE » Di Mai 16, 2017 8:47 pm

Hi,

ich habe mein erstes WARC-Archiv erstellt und wollte es in einen meiner Peers importieren mit der neuen Funktion die ihr eingebaut habt. Irgendwo hängt es noch. Hier mein WARC:

https://archive.org/details/commandlinefu.warc

Auszug aus dem Log:

Code: Alles auswählen
I 2017/05/16 15:22:10 REJECTED http://www.commandlinefu.com/commands/using/cd/rss - Denied_(pragma_no_cache)

I 2017/05/16 15:22:10 REJECTED http://www.commandlinefu.com/commands/view/11186/bytebeat - Denied_(pragma_no_cache)

I 2017/05/16 15:22:10 REJECTED http://www.commandlinefu.com/commands/tagged/2292/bytebeat - Denied_(pragma_no_cache)

I 2017/05/16 15:22:10 REJECTED http://www.commandlinefu.com/commands/using/cc/rss - Denied_(pragma_no_cache)

I 2017/05/16 15:22:10 REJECTED http://www.commandlinefu.com/commands/using/cat/425 - Denied_(pragma_no_cache)

I 2017/05/16 15:22:10 REJECTED http://www.commandlinefu.com/commands/using/cat/50 - Denied_(pragma_no_cache)

I 2017/05/16 15:22:10 REJECTED http://www.commandlinefu.com/commands/using/cat/25 - Denied_(pragma_no_cache)

I 2017/05/16 15:22:10 REJECTED http://www.commandlinefu.com/commands/view/13653/search-system-log-for-spamassassin-score-and-list-only-15th-column - Denied_(pragma_no_cache)



Viele Grüße

LA_FORGE
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: WARC-Import

Beitragvon luc » Fr Mai 19, 2017 10:12 am

Hi LA_FORGE,
it looks like this is because currently Warc Import is using the same indexing rules as YaCy proxy. I am not sure this was the intention of reger. I asked him on GItHub for more details (see commit 510f11d comment).

Best regards
luc
 
Beiträge: 276
Registriert: Mi Aug 26, 2015 1:04 am

Re: WARC-Import

Beitragvon reger » Mo Mai 22, 2017 2:03 am

teste nach letztem commit (mit den von @luc empfohlenen Korrekturen) Dein
https://archive.org/download/commandlin ... fu.warc.gz

.... läuft.
reger
 
Beiträge: 45
Registriert: Mi Jan 02, 2013 9:23 am

Re: WARC-Import

Beitragvon LA_FORGE » Mo Mai 22, 2017 7:53 am

Thank you very much / Vielen Dank
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste