Import von CSV dauert Stunden

Hilfe zu OTRS Problemen aller Art
Post Reply
vincenz
OTRS expert
Posts: 59
Joined: 05 Aug 2014, 11:07
OTRS Version?: 4.0.6

Import von CSV dauert Stunden

Post by vincenz » 17 Mar 2016, 09:56

Hallo,

wir nutzen OTRS 4.0.6 und möchten in der CMDB unsere Daten aus dem Tool GestíoIP importieren. Ich habe dafür ein Script geschrieben, dass von der Software GestíoIP alle Daten in eine CSV-Datei packt und OTRS zur Verfügung stellt. Anschließend habe ich einen Importer gebaut, der die Spalten entsprechend zuweist. Mit Putty kann ich dann mit folgendem Befehl den Import starten:

Code: Select all

perl otrs.ImportExport.pl -n 000009 -a import -i /tmp/gestioip_export.csv
Der Import während meiner Tests dauerte bei ca. 3.500 Datensätzen nur ca. 1-2 Minuten. Das ist völlig akzeptabel. Von einem Moment auf den Anderen dauert der Import von den 3.500 Datensätzen nun fast 3 Stunden. Jeder Datensatz dauert mehr als 5 Sekunden bis OTRS diesen verarbeitet hat. Der Server an sich ist zu dieser Zeit nicht ausgelastet oder dergleichen. In Putty wird mit während des Imports auch kein Fehler ausgespuckt und im Protokoll in OTRS selbst auch nicht. Nach mehreren Stunden erhalte ich dann das Resultat, z.B. 0 failed, 3500 succeeded, 3 skipped

Hat jemand eine Idee, was den Import dermaßen ausbremst?
Betrieben wird das System mit Ubuntu 13.04.5 LTS

Würde mich über hilfreiche Tipps freuen und danke im Voraus!

vincenz
OTRS expert
Posts: 59
Joined: 05 Aug 2014, 11:07
OTRS Version?: 4.0.6

Re: Import von CSV dauert Stunden

Post by vincenz » 21 Apr 2016, 12:31

Wir haben leider immer noch keine Lösung gefunden dafür und werden wohl in Kürze mal ein OTRS-Update auf Version 5 vornehmen in der Hoffnung, dass das Problem dann beseitigt ist...

Hazet
OTRS superhero
Posts: 386
Joined: 19 Feb 2009, 12:05
OTRS Version?: 5.0.9
Real Name: Harald Zahn
Company: Klinikum Augsburg
Location: Augsburg

Re: Import von CSV dauert Stunden

Post by Hazet » 22 Apr 2016, 11:03

Nur eine Vermutung:
Der Import läuft regelmässig und ihr habt dadurch irre viele Versionen der ConfigItems drin, oder?
Da macht die DB dann schlapp (hatte ich auch schon mal).

Ich habe damals alle CIs exportiert, Klasse geleert, und wieder importiert. DB noch optimiert. Danach war's wieder gut. Nicht ideal, aber bei mir hat's geholfen.

Schau Dir mal Deine DB an, evtl. mysqltuner nutzen.
Produktiv: OTRS 5.0.9 , (ITSM 5.0.10) unter Ubuntu 14.04, mysql 5.5
Test: OTRS 5.0.8 , (ITSM 5.0.8), KIX unter Ubuntu 14.04, mysql 5.5

vincenz
OTRS expert
Posts: 59
Joined: 05 Aug 2014, 11:07
OTRS Version?: 4.0.6

Re: Import von CSV dauert Stunden

Post by vincenz » 28 Apr 2016, 15:24

Hallo Hazet,

vielen Dank für deine Antwort.

Wir haben vor dem Import mal die Tabellen der DB geleert und die gesamte DB optimiert. Leider hat das nichts gebracht. Miese performance.

Folgende Tabellen haben wir in der DB geleert:

configitem
configitem_history
configitem_version

Fehlt da noch eine Tabelle, die wir übersehen haben?

Danke!

Hazet
OTRS superhero
Posts: 386
Joined: 19 Feb 2009, 12:05
OTRS Version?: 5.0.9
Real Name: Harald Zahn
Company: Klinikum Augsburg
Location: Augsburg

Re: Import von CSV dauert Stunden

Post by Hazet » 29 Apr 2016, 08:38

Ich habe das nicht über die DB sondern mit $OTRS_HOME/bin/otrs.ITSMConfigItemDelete.pl gemacht.

Wie geht's denn Deiner DB? Evtl. hilft Dir mysqltuner, falls Du keine oder nur wenig mysql-Kenntnisse hast...
Produktiv: OTRS 5.0.9 , (ITSM 5.0.10) unter Ubuntu 14.04, mysql 5.5
Test: OTRS 5.0.8 , (ITSM 5.0.8), KIX unter Ubuntu 14.04, mysql 5.5

vincenz
OTRS expert
Posts: 59
Joined: 05 Aug 2014, 11:07
OTRS Version?: 4.0.6

Re: Import von CSV dauert Stunden

Post by vincenz » 04 May 2016, 12:23

Hazet wrote:Ich habe das nicht über die DB sondern mit $OTRS_HOME/bin/otrs.ITSMConfigItemDelete.pl gemacht.

Wie geht's denn Deiner DB? Evtl. hilft Dir mysqltuner, falls Du keine oder nur wenig mysql-Kenntnisse hast...
Ah, da gibt es extra etwas für...
Das Script werde ich einmal ausprobieren. Vielleicht habe ich nicht alle Tabellen richtig geleert oder eine übersehen, weshalb er da immer so stark ins Grübeln kommt :)
Danke für den Hinweis! Wenn ich es getestet habe, melde ich mich noch einmal :)

vincenz
OTRS expert
Posts: 59
Joined: 05 Aug 2014, 11:07
OTRS Version?: 4.0.6

Re: Import von CSV dauert Stunden

Post by vincenz » 04 May 2016, 13:26

kurze Rückmeldung: Habe das damit einmal geleert und neu importiert. Nun ist die Geschwindigkeit wieder super!
Der Import dauert nach dem Ausführen von

Code: Select all

otrs.ITSMConfigItemDelete.pl --all
innerhalb von 10 - 15 Minuten durch!

Danke für den Tipp, Problem gelöst!

vincenz
OTRS expert
Posts: 59
Joined: 05 Aug 2014, 11:07
OTRS Version?: 4.0.6

Re: Import von CSV dauert Stunden

Post by vincenz » 01 Sep 2016, 09:02

Guten Morgen,

kann mir jemand sagen, wo ich die Datei bei OTRS 5 finden kann?

Oder läuft das nun auch über die otrs.Console.pl?



Edit: Habe es doch selbst gefunden.

Folgender Befehl:

Code: Select all

./otrs.Console.pl Admin::ITSM::Configitem::Delete --all
Danke trotzdem![/color]

Post Reply