Importieren von Wikimedia-Dumps

Ereignisse, Vorschläge und Aktionen

Importieren von Wikimedia-Dumps

Beitragvon Quix0r » Do Mär 18, 2010 3:44 pm

Ich habe mir mal den Wikimedia-Importer/-Umwandler vorgenommen und einen ganzen Haufen ausprobiert. Hier nun - nach mehr als 12 Stunden testens mit Revision 6746 (6747 hat nur Aenderungen in der YaCy-Bar):

Welche annaehernd fehlerfrei liefen:
Code: Alles auswählen
-rw-r--r-- 1 quix0r quix0r   237131 2010-03-18 03:44 abwiki-20100318-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r 20997509 2010-03-18 03:46 afwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r 12766548 2010-03-18 03:47 alswiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  1383728 2010-03-18 03:48 crhwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   156593 2010-03-18 03:48 crwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  7002411 2010-03-18 03:48 cvwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  1988262 2010-03-18 03:48 diqwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   145886 2010-03-18 03:48 dzwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   301389 2010-03-18 03:48 eewiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  1109317 2010-03-18 03:48 emlwiki-20100316-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  2249534 2010-03-18 04:58 furwiki-20100316-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   300510 2010-03-18 04:58 gotwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  4042171 2010-03-18 04:59 gvwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   298322 2010-03-18 04:59 hawiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r     2547 2010-03-18 05:02 krwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r 12747451 2010-03-18 05:03 kshwiki-20100316-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  1938632 2010-03-18 05:12 mgwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  4527663 2010-03-18 05:19 mtwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  4513066 2010-03-18 05:20 mywiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  3381636 2010-03-18 05:20 nahwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  4120156 2010-03-18 05:20 napwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   410753 2010-03-18 05:20 nawiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r 13387683 2010-03-18 05:22 ndswiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  2341577 2010-03-18 05:22 newiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   377300 2010-03-18 05:23 omwiki-20100316-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   272816 2010-03-18 05:23 orwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  1170165 2010-03-18 05:23 pawiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   458660 2010-03-18 07:03 srnwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  1914259 2010-03-18 07:04 stqwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  2626097 2010-03-18 07:04 szlwiki-20100318-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  4079373 2010-03-18 01:48 tgwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r    98673 2010-03-18 07:04 tiwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  1648615 2010-03-18 07:04 tkwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   956720 2010-03-18 07:06 tpiwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  1920530 2010-03-18 07:06 ugwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   199317 2010-03-18 07:42 zuwiki-20100317-pages-articles.xml.bz2

Dazu eine Anmerkung: Mit "annaehernd" meine ich, dass ein Neustart des Imports erst zum korrekten&vollstaendigen Import fuehrte.

Welche nicht klappen bzw. nicht getestet sind:
Code: Alles auswählen
-rw-r--r-- 1 quix0r quix0r 1799318990 2010-03-16 15:34 dewiki-20100117-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r 6117881141 2010-03-18 15:22 enwiki-20100312-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  264425240 2010-03-18 04:58 fiwiki-20100315-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   34994424 2010-03-18 05:02 hiwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r     256810 2010-03-18 05:03 kswiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   22146790 2010-03-18 05:04 lbwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   82710083 2010-03-18 05:12 ltwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   37331281 2010-03-18 05:15 mkwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   59544431 2010-03-18 05:19 mswiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   16647962 2010-03-18 05:23 ocwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  661824949 2010-03-18 06:19 plwiki-20100315-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  533518091 2010-03-18 07:03 ptwiki-20100316-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   17295119 2010-03-18 07:06 tlwiki-20100317-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r  416674702 2010-03-18 07:40 zhwiki-20100316-pages-articles.xml.bz2
-rw-r--r-- 1 quix0r quix0r   14029238 2010-03-18 07:42 zh_yuewiki-20100318-pages-articles.xml.bz2

Dazu auch Anmerkungen: dewiki-xxxx.xml.bz2 verursacht NPEs, die hier dokumentiert sind. enwiki-foo.xml.bz2 ist noch nicht getestet. Die anderen hoeren einfach waehrend des Umwandelns (CONSUME/INJECT-Zeilen) einfach auf und sind dan auch nicht mit einem Restart der Node und erneutem Import komplett importierbar.

Ich habe alle von http://download.wikimedia.org/backup-index.html gezogen.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast