CloneDB out of memory

[Paaatrick]

Hallo zusammen,

leider habe ich ein Problem bei der Migration von meiner Windows Installation auf die Appliance (siehe Anhang).

Unser OTRS läuft derzeit auf einer x86 Win7 Maschine mit 3GB Arbeitsspeicher. Habe das OTRS bereits auf eine x64 Test Win-Maschine mit 16GB RAM umgezogen, hier allerdings der gleiche Fehler.

Kann hier jemand weiterhelfen?

[Woody]

hi zusammen,

selbes Problem hier. Win 7 Maschine läuft auf einer virtuellen Umgebung mit 4 Kernen und 8 GB Ram mit OTRS 3.3.9
Ich kann mir den Fehler nicht erklären, wenn ich den Task-Manager verfolge während das Skript läuft, dann dreht er hoch bis 2 GB und bricht dann ab, hätte also eigentlich noch genug Luft nach oben?

Die Datenbank selbst ist nicht groß, besitzt nur knapp 3,5 k rows und ist um die 1,8 GB groß.

[reneeb]

Ungetestet:

Aus

Code: Select all

"DBI:mysql:database=$Param{TargetDatabase};host=$Param{TargetDatabaseHost};"

in https://github.com/OTRS/OTRSCloneDB/blo ... sql.pm#L58 einfach mal

Code: Select all

"DBI:mysql:database=$Param{TargetDatabase};host=$Param{TargetDatabaseHost};mysql_use_result=1"

machen.

[Woody]

Guten Morgen,

habe ich gerade ausprobiert, leider kommt dann folgende Fehlermeldung.

Ich habe noch einen Screenshot angehängt, wie meine mysql.pm aussieht.

[reneeb]

Da fehlt ein Semikolon ganz am Ende der neuen Zeile.

[Woody]

sorry, mein Fehler ... habe ich korrigiert, hat leider dennoch nicht funktioniert

[stoepsel2k]

Habe auch das Problem. Meine DB ist aber knapp 70 GB groß bei den attatchments.

[stoepsel2k]

Tja nun habe ich den ganzen Tag versucht das Problem zu lösen und bin leider zu keinem Ergebnis gekommen. Sehr gern würde ich das System auf die Appliance heben.

Aber meine Fehlermeldung ist den der obrigen gleich.

Ich habe nochmal nachgeschaut, also unsere

article_attachment = 19.4 GiB
article_plain = 25.7 GiB

Das sind die Größen. Ich denke es liegt an der großen Datenbank.

Vielen Dank für die Hilfe vorab !

[Rooobaaat]

zieh dochmal die attachments + article in das FS (Stichwort ArticleStorageSwitch.pl) und probier es nochmal.

[stoepsel2k]

Das Workaround habe ich mir auch schon gedacht, jedoch bei ca. 5000 Tickets bricht er ab mit einer Meldung, dass er nicht ins Filesystem schreiben kann. Warum auch immer. Ich konnte den Fehler nicht finden. Ich bin schon etwas verzweifelt

[Rooobaaat]

Poste mal die genaue Fehlermeldung

[stoepsel2k]

Ich habe mir gedacht, dass du das sagst

Aber ich will jetzt nicht wieder nen Snapshot machen und das so vorbereiten.

Aber den Fehler hat auch jemand anders

viewtopic.php?t=27819

Das ist der selbe Fehler bei mir.

Das Update von OTRS 3.2 auf 3.3 habe ich mit dieser Anleitung gemacht:

https://tecnobalam.wordpress.com/2012/1 ... n-windows/

Das noch als Hinweis, einfach weil ich keine vernünftige Windows Updateanleitung gefunden habe.

[stoepsel2k]

Hi zusammen.

Leider habe ich das Problem bisher nicht lösen können.

Gibt es noch andere Ansätze ? Das auf windows basierende OTRS ist einfach kein Zustand mehr und ich würde gern die Migration auf Linux durchführen. Kann doch nicht sein das es an so seltsamen Fehlern hängt und ich weder die Datenbank übertragen noch die Dateien ins Filesystem bekomme.

Ich hoffe weiterhin auf Hilfe.

Vielen Dank.

[jacke_parkmann]

Habe exakt das gleiche Problem. Versuche von einem Win7 x64 System auf die Appliance zu wechseln. Beim Ausführen von otrs.CloneDB.pl lacht mich auch dieser Fehler aus. Meine DB hat knappe 6GB.

Gibt es dazu mittlerweile Lösungen?

[stoepsel2k]

Leider nicht, ich habe keine gefunden und hier scheint auch keiner eine Lösung zu haben. Ich überlege ob ich mir professionelle Hilfe einkaufen soll.

[jacke_parkmann]

Ich hab es mal mit den Einstellungen aus der my-huge.ini probiert. Das hat leider nicht funktioniert, dabei hatte ich gedacht das es an den mysql Limitierungen liegt.

[stoepsel2k]

War auch meine Idee und habe hier sehr viel mehr Speicher etc frei gegeben, sogar in der Virtualisierung mehr freigegeben, aber daran liegt es nicht. Wirklich sehr schade, dass keiner helfen kann.

[jacke_parkmann]

Dann werden wir noch so lange warten bis es eine Lösung gibt. Wir scheinen ja nicht die Einzigen zu sein die es betrifft.

[stoepsel2k]

Ein ganz anderer Ansatz wäre es, die Daten aus der MySQL Datenbank manuell zu exportieren und dann in die Postgres zu ballern.

Ich weiß jedoch nocht nicht wie.

[jacke_parkmann]

Problem dabei ist, das man nicht weiß was für DB Änderungen mit dem Skript ausgeführt werden.

[stoepsel2k]

Ja, schon, aber ich habe alles versucht, wir haben entwickler im Haus und die habe ich gefragt. Doch die müssten sich damit lange auseinander setzen um den Fehler zu analysieren. Zur Not muss ich die Jungs fragen, die entwickeln jedoch nur JAVA und kein PEARL.

Schrecklich .

[jojo]

Du könntest das Script auch auf einem Linux laufen lassen....

Oder gleich auf ein eigenes Linux System mit einer MySQL DB migrieren und nicht auf die Appliance

[stoepsel2k]

Nunja, die Appliance ist aber eine "sexy" Sache mit dem Autoupdate und der einfachen usability. Aber eine Idee wäre ja, wenn wir die Datenbank auf Linux kopieren und von da aus in die Appliance laufen lassen, denn viellleicht ist es ein Windows Problem.

Quasi Datenbank export und in Linux import, dann in die Appliance.

Meine Datenbank ist so riesig, dass das bei mir ewig dauern würde. Aber ein Versuch wäre es wert. Vielleicht versucht das der Kollege jacke mal ?

[jacke_parkmann]

Ehrlich gesagt fehlt mir dafür die Zeit. Das Update auf 4.x ist für uns auch nicht so dringend, das es sofort passieren muss.

[stoepsel2k]

OK, es reicht, wem muss ich Geld zur Lösung geben ? Wenn sich jemand meldet der eine Rechnung ausstellen kann bin ich dabei.


Anbei ein aktuelles Fehlerbild:

remoerr1.png

remoerr.png

[Rooobaaat]

lager halt die Attachments aufs FS aus....

Oder wende dich direkt an die xxx unter sales@otrs.com

[stoepsel2k]

Das Auslagern habe ich bereits versucht und schlägt leider auch fehl nach fast 5000 Einträgen.

OTRS möchte viel viel viel zu viel Geld haben und direkt einen Vertrag über ein Jahr abschließen.

[Rooobaaat]

Welche Fehlermeldung erhälst du denn beim auslagern?

Und... Wenn man die weiteren Vorteile eines Service-Vertrages bei der xxx beachtet (Service-Anfragen pro Vertragsjahr, Vergünstigungen auf Trainings, Consulting-Leistungen, Zugang zu weiteren OTRS-Erweiterungen), ist das im Endeffekt pro Jahr günstiger als wenn man (angenommen) selber ein haufen Zeit "verbrät".

[jacke_parkmann]

Das Auslagern der Attachments werde ich demnächst auch mal durchführen.
Weiß jemand ob sich das performancetechnisch auswirkt im Frontend?

[pmontesd]

Sorry, unfortunately I can't speak German.


I got the same problem with StrawberryPerl 5.16.3. Problem was solved after upgrading this Perl interpreter.


I tried with 5.22.0.1 / 32bit and just got some warnings about deprecated expressions. You could try other versions on http://strawberryperl.com/releases.html. I installed in the same directory where previous version lived.

Luck

[marcotis]

Guten Morgen, sry für das Ausgraben dieses Uraltthreads. Ich bin weder Perl, noch OTRS Experte. Ich habe nur beobachtet, dass der "ran out of memory" Fehler ungefähr (etwas mehr) bei 3,5GB RAM Auslastung passiert und dachte mir, dass aus XP 32Bit Zeiten bekannt, 3,5GB eine gewisse magische Grenze darstellt. Bei mir ist in der Version 3.3.1 eine 32bit Perl Version dabei, was mich zu dem Schluss kommen ließ, dass es vielleicht mit 32bit/64bit zutun haben könnte. Evtl. ist aber auch nur ein Bug in der mit OTRS ausgelieferten Perl Version. Ich habe dann dieselbe Strawberry Perl Version runtergeladen, wie sie auch bei OTRS dabei ist, allerdings in der x64 Variante. Habe dann den Ordner Strawberry Perl Ordner ausgetauscht (paar Abhängigkeiten konnten damit gelöst werden) und der Out Of Memory Fehler war verschwunden. Damit OTRS danach wieder gestartet werden kann, habe ich den "32Bit Ordner" wiederhergestellt.

ENGLISH: I used the x64 Strawberry Perl Version and it helped!