Import von CSV dauert Stunden

[vincenz]

Hallo,

wir nutzen OTRS 4.0.6 und möchten in der CMDB unsere Daten aus dem Tool GestíoIP importieren. Ich habe dafür ein Script geschrieben, dass von der Software GestíoIP alle Daten in eine CSV-Datei packt und OTRS zur Verfügung stellt. Anschließend habe ich einen Importer gebaut, der die Spalten entsprechend zuweist. Mit Putty kann ich dann mit folgendem Befehl den Import starten:

Code: Select all

perl otrs.ImportExport.pl -n 000009 -a import -i /tmp/gestioip_export.csv

Der Import während meiner Tests dauerte bei ca. 3.500 Datensätzen nur ca. 1-2 Minuten. Das ist völlig akzeptabel. Von einem Moment auf den Anderen dauert der Import von den 3.500 Datensätzen nun fast 3 Stunden. Jeder Datensatz dauert mehr als 5 Sekunden bis OTRS diesen verarbeitet hat. Der Server an sich ist zu dieser Zeit nicht ausgelastet oder dergleichen. In Putty wird mit während des Imports auch kein Fehler ausgespuckt und im Protokoll in OTRS selbst auch nicht. Nach mehreren Stunden erhalte ich dann das Resultat, z.B. 0 failed, 3500 succeeded, 3 skipped

Hat jemand eine Idee, was den Import dermaßen ausbremst?
Betrieben wird das System mit Ubuntu 13.04.5 LTS

Würde mich über hilfreiche Tipps freuen und danke im Voraus!

[vincenz]

Wir haben leider immer noch keine Lösung gefunden dafür und werden wohl in Kürze mal ein OTRS-Update auf Version 5 vornehmen in der Hoffnung, dass das Problem dann beseitigt ist...

[Hazet]

Nur eine Vermutung:
Der Import läuft regelmässig und ihr habt dadurch irre viele Versionen der ConfigItems drin, oder?
Da macht die DB dann schlapp (hatte ich auch schon mal).

Ich habe damals alle CIs exportiert, Klasse geleert, und wieder importiert. DB noch optimiert. Danach war's wieder gut. Nicht ideal, aber bei mir hat's geholfen.

Schau Dir mal Deine DB an, evtl. mysqltuner nutzen.

[vincenz]

Hallo Hazet,

vielen Dank für deine Antwort.

Wir haben vor dem Import mal die Tabellen der DB geleert und die gesamte DB optimiert. Leider hat das nichts gebracht. Miese performance.

Folgende Tabellen haben wir in der DB geleert:

configitem
configitem_history
configitem_version

Fehlt da noch eine Tabelle, die wir übersehen haben?

Danke!

[Hazet]

Ich habe das nicht über die DB sondern mit $OTRS_HOME/bin/otrs.ITSMConfigItemDelete.pl gemacht.

Wie geht's denn Deiner DB? Evtl. hilft Dir mysqltuner, falls Du keine oder nur wenig mysql-Kenntnisse hast...

[vincenz]

Ich habe das nicht über die DB sondern mit $OTRS_HOME/bin/otrs.ITSMConfigItemDelete.pl gemacht.

Wie geht's denn Deiner DB? Evtl. hilft Dir mysqltuner, falls Du keine oder nur wenig mysql-Kenntnisse hast...

Ah, da gibt es extra etwas für...
Das Script werde ich einmal ausprobieren. Vielleicht habe ich nicht alle Tabellen richtig geleert oder eine übersehen, weshalb er da immer so stark ins Grübeln kommt
Danke für den Hinweis! Wenn ich es getestet habe, melde ich mich noch einmal

[vincenz]

kurze Rückmeldung: Habe das damit einmal geleert und neu importiert. Nun ist die Geschwindigkeit wieder super!
Der Import dauert nach dem Ausführen von

Code: Select all

otrs.ITSMConfigItemDelete.pl --all

innerhalb von 10 - 15 Minuten durch!

Danke für den Tipp, Problem gelöst!

[vincenz]

Guten Morgen,

kann mir jemand sagen, wo ich die Datei bei OTRS 5 finden kann?

Oder läuft das nun auch über die otrs.Console.pl?



Edit: Habe es doch selbst gefunden.

Folgender Befehl:

Code: Select all

./otrs.Console.pl Admin::ITSM::Configitem::Delete --all

Danke trotzdem![/color]