Seite 1 von 1

HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Sa Feb 04, 2017 12:14 am
von Palulukas
Hallo liebe Yacy-Gemeinde,

meine Yacy-Instanz läuft auf einer VM mit 350GB Speicherplatz. So langsam füllt sich die physische Platte mit 500GB aber, deswegen wollte ich auf eine größere Festplatte umsatteln.
Auf dem Server ist Proxmox als Hypervisor installiert, Yacy läuft in einer Debian-VM.

Wie kann ich den Umzug auf die größere Platte am besten gestalten. Habt ihr da eine Ahnung? Bin kein Linux-Neuling aber sowas habe ich noch nie gemacht - auch unter Windows nicht.


Mit freundlichem Gruß

Palulukas

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: So Feb 05, 2017 1:24 am
von promocore
Über die Import /Export Funktion kann der Yacy Index gesichert und importiert werden. Das funktioniert sehr zuverlässig.
Alternativ müsste es evt. auch reichen den Data Ordner in dem Yacy Ordner zu sicher.
Diesen kann man später bei einer Yacy Neuinstallation auf einer größeren Platte drüber kopieren.

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: So Feb 05, 2017 5:57 pm
von Palulukas
Hallo promocore,

danke für deine Antwort. Ich habe bereits mal eine xml-Sicherung des Indexes erstellen lassen.
Leider hatte der anschließende Import des Indexes nicht mehr geklappt. Das ganze hatte unter Version 1.90 stattgefunden.

Hat es da evtl. einen Bug gegeben?

EDIT: Verdammt! Export funktioniert nicht mehr. Kann mir jemand helfen?

Bild


Liebe Grüße

Palulukas

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: So Feb 05, 2017 7:39 pm
von promocore
Ich tippe mal auf die Java Version.
Welches BS und welches Java?

Unter 1.9 und 1.92 funktioniert bei mir import und export

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Mo Feb 06, 2017 11:36 am
von Palulukas
Hallo promocore,

danke für deine Antwort.
Auf der VM läuft ein Debian 8.7.1 und Java als build 1.8.0_121-b13.


Liebe Grüße

Palulukas

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Mo Feb 06, 2017 8:24 pm
von promocore
Ich habe auch Debian 8 in einer VM, allerdings mit Java 1.7.0_111. Sowohl der Export wie auch der Import funzen prima. Der Rest sowieso.
Auf der Yacy Seite steht auch für den Linux Download folgendes:
Code: Alles auswählen
YaCy 1.92 für GNU/Linux

Generisches Package fü alle Systeme. nur auspacken und das Startscript starten, dann die Seite http://localhost:8090 öffnen. Benötigt OpenJDK7. Schau dir das Linux Installation Tutorial Video an!
Es gibt auch ein Debian-Package: YaCy für Debian


Von daher habe ich mal dran gehalten, auch wenn unter Windows Yacy mit Java 8 geht.

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Di Feb 07, 2017 8:05 am
von Vertux
@promocore
Hatte gerade das gleiche Problem, Yacy "frisst" in einem tag rund 20GB, das ist schon ein wenig beängstigend. Ich nutze ja VMWare ESXi, aber ich habe es folgendermaßen gemacht. VM runterfahren, dann die Festplattengröße in VMware erhöhen. gparted live Image als CD
einbinden und davon starten. Partition mit gparted auf Maximum vergrößern. VM normal neu starten.
Das gilt allerdings nur, wenn du Linux ohne LVM Unterstützung in der VM installiert hast.

Edit: Hatte überlesen, dass du komplett auf eine neue Platte umziehen willst, bei mir ist es etwas einfacher, da alle VMs auf einen RAID Pool zugreifen und (noch) genügend Platz vorhanden ist.

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Di Feb 07, 2017 1:15 pm
von Palulukas
Hallo promocore, hallo Vertux,

danke für eure Antworten.
Ich weiß jetzt nicht genau, was ich mit deiner Aussage anfangen soll, promocore. Ich habe Yacy über eigebundene Paketquellen installiert und nicht als heruntergeladenes Archiv.
Allerdings werde ich mir den Abschnitt und vielleicht auch das Video nochmal genauer anschauen.
Bezüglich Java 8: Also ich noch das OpenJDK mit einer früheren VM und Yacy genutzt habe stand in Yacy immer die Warnung, dass ich noch Java 7 verwende und Yacy bald auf Java 8 setzen wird.
Daher habe ich dann mit einer neuen VM den Wechsel vollzogen.

Leider sind alle meine VMs mit LVM eingerichtet. Die GParted-Methode wird daher wohl kaum funktionieren. Es wäre mir nur wichtig, alle VMs zu sichern, damit sie mir beim Plattentausch nicht verloren gehen.
Ich wäre sogar bereit, den Hypervisor neu zu installieren, solange ich mit der neuen Instanz meine VMs wieder benutzen kann.

Trotzdem bin ich auch an einer Lösung des Yacy-Export Problemes interessiert.


Liebe Grüße

Palulukas

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Mi Feb 08, 2017 7:22 pm
von Vertux
Palulukas hat geschrieben:Leider sind alle meine VMs mit LVM eingerichtet. Die GParted-Methode wird daher wohl kaum funktionieren. Es wäre mir nur wichtig, alle VMs zu sichern, damit sie mir beim Plattentausch nicht verloren gehen.
Ich wäre sogar bereit, den Hypervisor neu zu installieren, solange ich mit der neuen Instanz meine VMs wieder benutzen kann.

Wenn du ohnehin LVM benutzt, dann könntest du einfach eine neue Festplatte installieren und z.B. das LVM Volume deiner Yacy VM damit [url=https://www.thomas-krenn.com/de/wiki/LVM_vergrößern]vergrößern[/url], darin liegt gerade der Vorteil von LVM.

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Mi Feb 08, 2017 7:29 pm
von promocore
Andere Möglichkeit ist noch mit einer LIve CD zu booten und ein HDD-Image aus der VM heraus zu machen.
Danach eine Virtuelle HDD mit neuer Größer anlegen und das Image drüberbügeln und der Yacy VM austauschen.

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Mo Feb 13, 2017 2:17 pm
von Palulukas
Hallo promocore, halo Vertux,

danke für eure Antworten. Das klingt nach einer guten Lösung für mich.
Jedoch würde es mich jetzt auch interessieren, die Export-Funktion wieder zum laufen zu bekommen.


Liebe Grüße

Palulukas

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Di Feb 14, 2017 12:35 am
von promocore
Ich vermute, dass es an der Java Version liegt.
Unter debian lief mit yacy 1.92 und Java 8 auch nicht richtig. Daher bin ich auf nun Java 7 zurück,.... und nun ist alles bestens.

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Do Feb 16, 2017 12:15 am
von Palulukas
Hallo promocore,

denkst du, es ist nur eine temporäre Inkompatibilität, welche die Yacy-Entwickler später fixen können?
Oder meinst du, dass es noch ewig dauern könnte?
Ich könnte mir vorstellen, dies Festplatte von Yacy auf mein NFS Storage auszulagern, dann den Hypervisor mit neuen Platten aufzuspielen und dann die VM vom NFS zurückholen und anschließend über LVM-Befehle vergrößern.


Liebe Grüße

Palulukas

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Do Feb 16, 2017 8:00 am
von luc
Hi, sorry to post in English but my German is still too poor...
I just wanted to say I also reproduced this Index Export bug on Debian 8 with both Java 7 and 8, so definitely there are chances for it to be fixed. Just a matter of time!
Best regards

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Fr Feb 17, 2017 11:24 am
von luc
@Palulukas, does your Index Export also fail when setting a value in the "maximum age" field? On my own peer this workaround works, as the cause of the issue is that some documents on my index have an empty load_date_dt field.

Another possibility that worked for me : using "Delete by Solr Query" in /IndexDeletion_p.html with the following query : -load_date_dt:*
Then all documents with empty "load_date_dt" where deleted and export could successfully run without maximum age restriction.

By the way I also pushed a fix on GitHub to solve this Export failure case.

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Mi Apr 12, 2017 11:56 am
von Palulukas
Hello luc,

sorry for my late reply. Thank you very much for your help but your workarounds didn't work for me.
I hope that this... bug will be fixed in the near future.


Best regards

Palulukas

Re: HDD läuft voll -> Umzug auf eine größere HDD?

BeitragVerfasst: Sa Apr 15, 2017 8:38 am
von luc
Ok Palulukas,
some other people also have issues with the Export feature (see https://github.com/yacy/yacy_search_server/issues/116 and http://mantis.tokeek.de/view.php?id=682).

Could you check your YaCy logs to see if you have a similar error message ("java.lang.IllegalStateException: unexpected docvalues type NONE for field 'load_date_dt' (expected=NUMERIC). Use UninvertingReader or index with docvalues.") or any another one?