HDD läuft voll -> Umzug auf eine größere HDD?

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon Palulukas » Sa Feb 04, 2017 12:14 am

Hallo liebe Yacy-Gemeinde,

meine Yacy-Instanz läuft auf einer VM mit 350GB Speicherplatz. So langsam füllt sich die physische Platte mit 500GB aber, deswegen wollte ich auf eine größere Festplatte umsatteln.
Auf dem Server ist Proxmox als Hypervisor installiert, Yacy läuft in einer Debian-VM.

Wie kann ich den Umzug auf die größere Platte am besten gestalten. Habt ihr da eine Ahnung? Bin kein Linux-Neuling aber sowas habe ich noch nie gemacht - auch unter Windows nicht.


Mit freundlichem Gruß

Palulukas
Palulukas
 
Beiträge: 14
Registriert: So Okt 23, 2016 5:54 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon promocore » So Feb 05, 2017 1:24 am

Über die Import /Export Funktion kann der Yacy Index gesichert und importiert werden. Das funktioniert sehr zuverlässig.
Alternativ müsste es evt. auch reichen den Data Ordner in dem Yacy Ordner zu sicher.
Diesen kann man später bei einer Yacy Neuinstallation auf einer größeren Platte drüber kopieren.
promocore
 
Beiträge: 71
Registriert: Mo Feb 08, 2016 8:50 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon Palulukas » So Feb 05, 2017 5:57 pm

Hallo promocore,

danke für deine Antwort. Ich habe bereits mal eine xml-Sicherung des Indexes erstellen lassen.
Leider hatte der anschließende Import des Indexes nicht mehr geklappt. Das ganze hatte unter Version 1.90 stattgefunden.

Hat es da evtl. einen Bug gegeben?

EDIT: Verdammt! Export funktioniert nicht mehr. Kann mir jemand helfen?

Bild


Liebe Grüße

Palulukas
Palulukas
 
Beiträge: 14
Registriert: So Okt 23, 2016 5:54 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon promocore » So Feb 05, 2017 7:39 pm

Ich tippe mal auf die Java Version.
Welches BS und welches Java?

Unter 1.9 und 1.92 funktioniert bei mir import und export
promocore
 
Beiträge: 71
Registriert: Mo Feb 08, 2016 8:50 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon Palulukas » Mo Feb 06, 2017 11:36 am

Hallo promocore,

danke für deine Antwort.
Auf der VM läuft ein Debian 8.7.1 und Java als build 1.8.0_121-b13.


Liebe Grüße

Palulukas
Palulukas
 
Beiträge: 14
Registriert: So Okt 23, 2016 5:54 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon promocore » Mo Feb 06, 2017 8:24 pm

Ich habe auch Debian 8 in einer VM, allerdings mit Java 1.7.0_111. Sowohl der Export wie auch der Import funzen prima. Der Rest sowieso.
Auf der Yacy Seite steht auch für den Linux Download folgendes:
Code: Alles auswählen
YaCy 1.92 für GNU/Linux

Generisches Package fü alle Systeme. nur auspacken und das Startscript starten, dann die Seite http://localhost:8090 öffnen. Benötigt OpenJDK7. Schau dir das Linux Installation Tutorial Video an!
Es gibt auch ein Debian-Package: YaCy für Debian


Von daher habe ich mal dran gehalten, auch wenn unter Windows Yacy mit Java 8 geht.
promocore
 
Beiträge: 71
Registriert: Mo Feb 08, 2016 8:50 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon Vertux » Di Feb 07, 2017 8:05 am

@promocore
Hatte gerade das gleiche Problem, Yacy "frisst" in einem tag rund 20GB, das ist schon ein wenig beängstigend. Ich nutze ja VMWare ESXi, aber ich habe es folgendermaßen gemacht. VM runterfahren, dann die Festplattengröße in VMware erhöhen. gparted live Image als CD
einbinden und davon starten. Partition mit gparted auf Maximum vergrößern. VM normal neu starten.
Das gilt allerdings nur, wenn du Linux ohne LVM Unterstützung in der VM installiert hast.

Edit: Hatte überlesen, dass du komplett auf eine neue Platte umziehen willst, bei mir ist es etwas einfacher, da alle VMs auf einen RAID Pool zugreifen und (noch) genügend Platz vorhanden ist.
Vertux
 
Beiträge: 5
Registriert: So Feb 05, 2017 11:02 am

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon Palulukas » Di Feb 07, 2017 1:15 pm

Hallo promocore, hallo Vertux,

danke für eure Antworten.
Ich weiß jetzt nicht genau, was ich mit deiner Aussage anfangen soll, promocore. Ich habe Yacy über eigebundene Paketquellen installiert und nicht als heruntergeladenes Archiv.
Allerdings werde ich mir den Abschnitt und vielleicht auch das Video nochmal genauer anschauen.
Bezüglich Java 8: Also ich noch das OpenJDK mit einer früheren VM und Yacy genutzt habe stand in Yacy immer die Warnung, dass ich noch Java 7 verwende und Yacy bald auf Java 8 setzen wird.
Daher habe ich dann mit einer neuen VM den Wechsel vollzogen.

Leider sind alle meine VMs mit LVM eingerichtet. Die GParted-Methode wird daher wohl kaum funktionieren. Es wäre mir nur wichtig, alle VMs zu sichern, damit sie mir beim Plattentausch nicht verloren gehen.
Ich wäre sogar bereit, den Hypervisor neu zu installieren, solange ich mit der neuen Instanz meine VMs wieder benutzen kann.

Trotzdem bin ich auch an einer Lösung des Yacy-Export Problemes interessiert.


Liebe Grüße

Palulukas
Palulukas
 
Beiträge: 14
Registriert: So Okt 23, 2016 5:54 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon Vertux » Mi Feb 08, 2017 7:22 pm

Palulukas hat geschrieben:Leider sind alle meine VMs mit LVM eingerichtet. Die GParted-Methode wird daher wohl kaum funktionieren. Es wäre mir nur wichtig, alle VMs zu sichern, damit sie mir beim Plattentausch nicht verloren gehen.
Ich wäre sogar bereit, den Hypervisor neu zu installieren, solange ich mit der neuen Instanz meine VMs wieder benutzen kann.

Wenn du ohnehin LVM benutzt, dann könntest du einfach eine neue Festplatte installieren und z.B. das LVM Volume deiner Yacy VM damit [url=https://www.thomas-krenn.com/de/wiki/LVM_vergrößern]vergrößern[/url], darin liegt gerade der Vorteil von LVM.
Vertux
 
Beiträge: 5
Registriert: So Feb 05, 2017 11:02 am

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon promocore » Mi Feb 08, 2017 7:29 pm

Andere Möglichkeit ist noch mit einer LIve CD zu booten und ein HDD-Image aus der VM heraus zu machen.
Danach eine Virtuelle HDD mit neuer Größer anlegen und das Image drüberbügeln und der Yacy VM austauschen.
promocore
 
Beiträge: 71
Registriert: Mo Feb 08, 2016 8:50 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon Palulukas » Mo Feb 13, 2017 2:17 pm

Hallo promocore, halo Vertux,

danke für eure Antworten. Das klingt nach einer guten Lösung für mich.
Jedoch würde es mich jetzt auch interessieren, die Export-Funktion wieder zum laufen zu bekommen.


Liebe Grüße

Palulukas
Palulukas
 
Beiträge: 14
Registriert: So Okt 23, 2016 5:54 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon promocore » Di Feb 14, 2017 12:35 am

Ich vermute, dass es an der Java Version liegt.
Unter debian lief mit yacy 1.92 und Java 8 auch nicht richtig. Daher bin ich auf nun Java 7 zurück,.... und nun ist alles bestens.
promocore
 
Beiträge: 71
Registriert: Mo Feb 08, 2016 8:50 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon Palulukas » Do Feb 16, 2017 12:15 am

Hallo promocore,

denkst du, es ist nur eine temporäre Inkompatibilität, welche die Yacy-Entwickler später fixen können?
Oder meinst du, dass es noch ewig dauern könnte?
Ich könnte mir vorstellen, dies Festplatte von Yacy auf mein NFS Storage auszulagern, dann den Hypervisor mit neuen Platten aufzuspielen und dann die VM vom NFS zurückholen und anschließend über LVM-Befehle vergrößern.


Liebe Grüße

Palulukas
Palulukas
 
Beiträge: 14
Registriert: So Okt 23, 2016 5:54 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon luc » Do Feb 16, 2017 8:00 am

Hi, sorry to post in English but my German is still too poor...
I just wanted to say I also reproduced this Index Export bug on Debian 8 with both Java 7 and 8, so definitely there are chances for it to be fixed. Just a matter of time!
Best regards
luc
 
Beiträge: 301
Registriert: Mi Aug 26, 2015 1:04 am

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon luc » Fr Feb 17, 2017 11:24 am

@Palulukas, does your Index Export also fail when setting a value in the "maximum age" field? On my own peer this workaround works, as the cause of the issue is that some documents on my index have an empty load_date_dt field.

Another possibility that worked for me : using "Delete by Solr Query" in /IndexDeletion_p.html with the following query : -load_date_dt:*
Then all documents with empty "load_date_dt" where deleted and export could successfully run without maximum age restriction.

By the way I also pushed a fix on GitHub to solve this Export failure case.
luc
 
Beiträge: 301
Registriert: Mi Aug 26, 2015 1:04 am

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon Palulukas » Mi Apr 12, 2017 11:56 am

Hello luc,

sorry for my late reply. Thank you very much for your help but your workarounds didn't work for me.
I hope that this... bug will be fixed in the near future.


Best regards

Palulukas
Palulukas
 
Beiträge: 14
Registriert: So Okt 23, 2016 5:54 pm

Re: HDD läuft voll -> Umzug auf eine größere HDD?

Beitragvon luc » Sa Apr 15, 2017 8:38 am

Ok Palulukas,
some other people also have issues with the Export feature (see https://github.com/yacy/yacy_search_server/issues/116 and http://mantis.tokeek.de/view.php?id=682).

Could you check your YaCy logs to see if you have a similar error message ("java.lang.IllegalStateException: unexpected docvalues type NONE for field 'load_date_dt' (expected=NUMERIC). Use UninvertingReader or index with docvalues.") or any another one?
luc
 
Beiträge: 301
Registriert: Mi Aug 26, 2015 1:04 am


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste

cron