Import von 6 Millionen Produktdaten in Shopify – Erfahrungen und Best Practices?

[Gab81]

Hallo zusammen,

ich stehe vor der Herausforderung, eine grosse Menge an Produktdaten in unseren Shopify-Shop zu importieren und hoffe auf eure Unterstützung und Erfahrungen.

Hintergrund:
Wir erhalten täglich aktualisierte Update-Dateien im XML-Format, die dem weltweiten Standard Onix Version 2.1 für den Buchhandel entsprechen. Der Zugriff erfolgt über einen FTP-Server. Hier sind die Details:

• Katalogdaten im XML-Format:
  • Erstlieferung des Gesamtstamms (Urladung)
  • Tägliche Mutationen (inkl. Neuerfassungen)
• Annotationen (Klappentexte, Cover-Bilder):
  • Erstlieferung (Urladung)
  • Tägliche Updates
• Bestandesdaten: alle 2 Stunden aktualisiert

Der Katalog umfasst etwa 6 Millionen Produktdaten.

Fragen:

1. Hat jemand Erfahrung mit dem Import einer so grossen Menge an Produktdaten in Shopify? Ist das überhaupt machbar?
2. Welche Tools oder Apps könnt ihr empfehlen, um den Importprozess zu erleichtern?
3. Gibt es Best Practices, die wir beachten sollten, um die Performance des Shops nicht zu beeinträchtigen?
4. Wie handhabt ihr die regelmässigen Updates und Bestandsanpassungen effizient?

Ich freue mich auf eure Tipps und Ratschläge!

Vielen Dank im Voraus!

[Ben310]

Puh, das ist viel und wird ggf. Shopify Plus verlangen! 

Ein Community User wollte 124 Mille digitale Produkte importieren, was durchaus möglich ist, jedoch mit Performance-Einbußen und es wurde empfohlen, die Produkte in Batches zu importieren um die API-Ratenlimits zu berücksichtigen. Mit dem Shopify Basic plan sind 2 API-Aufrufe pro Sekunde möglich über dem Shopify GraphQL API, mit dem Plus-Plan bis zu 10 API-Aufrufe pro Sekunde. Mehr dazu hier und zum "leaky bucket algorithmus".

Die Apps die dafür empfohlen wurden:

• Matrixify App unterstützt den Import und Export großer Datenmengen und ermöglicht die Verarbeitung von CSV- und XML-Dateien. Bietet Massenimporte und Aktualisierung von Produktdaten.

• Feeds Bridge erlaubt mehrere Katalog-Feeds gleichzeitig importiert und aktualisiert  und die Verarbeitung verschiedener Dateiformate sowie Zuordnung von Feldern zu Shopify-Produktfeldern. Zitat: "You can synchronize catalog feeds from FTP/SFTP/HTTP servers or import file manually into Feeds Bridge app".

• Prism – Product Importer - Import von Produkten von Drittanbietern und unterstützt CSV-, Excel- und XML-Feeds samt automatische Synchronisation von Lagerbeständen und Produktdaten.

Delta-Updates: nur geänderte oder neue Daten importieren, anstatt gesamten Katalog zu aktualisieren, um Ressourcen zu schonen.

[Nordalux]

Matrixify nehmen. Die können solche Datenmengen ab. Intern in der App splitten sie die XML auf, um unter den Accesslimit zu bleiben.

Inwiefern sind bei Euch regelmäßige Updates geplant? Sollen die Produkte alle 2 Stunden aktualisiert werden? Alle 24 Stunden? Alle 5 Tage? Bei der Menge an Daten empfehle ich alle paar Tage mittels XML-Dateien. Shopify Plus gibt an der Stelle keinen großen Mehrwert; lediglich die Verarbeitung täte etwas schneller funktionieren.

Um hier effektiv zu bleiben, musst du dir folgende Gedanken machen:
1. Möchtest du alle Produkte importieren?
2. Update-XML: In welchem Rhythmus soll diese eingespielt werden?
3. Soll das Update Automatisch oder per Automatismus eingespielt werden?
4. Ist Shopify für dich das richtige System?

Zu viertens ist das eine berechtigte Frage: Wenn du 2-3 Jobs gleichzeitig am Laufen hast, wird auch Shopify selbst irgendwann dicht machen. Was möchtest du mit den Updates bezwecken? Lediglich Bestandsänderungen? Ggf. wäre es sinnvoller, auf ein Script auszuweichen, welches nur relevante Änderungen zu Shopify überträgt.