Import von 6 Millionen Produktdaten in Shopify – Erfahrungen und Best Practices?

Topic summary

Ein Nutzer plant den Import von 6 Millionen Produktdaten (Buchhandel, Onix 2.1 XML-Format) in Shopify mit täglichen Updates über FTP. Die zentrale Frage: Ist das machbar und welche Tools eignen sich?

Empfohlene Lösungen:

  • Matrixify App: Unterstützt Massenimporte von CSV/XML, splittet Daten intern zur Einhaltung der API-Limits
  • Feeds Bridge: Synchronisiert Katalog-Feeds von FTP/SFTP-Servern
  • Prism – Product Importer: Automatische Synchronisation von Lagerbeständen

Wichtige Hinweise:

  • API-Limits beachten: Basic-Plan erlaubt 2 Aufrufe/Sekunde, Plus-Plan bis zu 10
  • Delta-Updates nutzen (nur geänderte Daten importieren)
  • Batch-Import empfohlen zur Performance-Schonung

Aktuelle Überlegungen:
Der Fragesteller erwägt nun einen Start mit 200.000 Artikeln statt 6 Millionen. Tägliche Bestandsaktualisierungen geplant. Offene Frage: Ist Shopify das richtige System für diese Datenmenge? Bei mehreren gleichzeitigen Jobs könnte Shopify an Grenzen stoßen.

Eine CSV-Importvorlage ist über Matrixify als Demo-Datei verfügbar.

Summarized with AI on November 2. AI used: claude-sonnet-4-5-20250929.

Hallo zusammen,

ich stehe vor der Herausforderung, eine grosse Menge an Produktdaten in unseren Shopify-Shop zu importieren und hoffe auf eure Unterstützung und Erfahrungen.

Hintergrund:
Wir erhalten täglich aktualisierte Update-Dateien im XML-Format, die dem weltweiten Standard Onix Version 2.1 für den Buchhandel entsprechen. Der Zugriff erfolgt über einen FTP-Server. Hier sind die Details:

  • Katalogdaten im XML-Format:
    • Erstlieferung des Gesamtstamms (Urladung)
    • Tägliche Mutationen (inkl. Neuerfassungen)
  • Annotationen (Klappentexte, Cover-Bilder):
    • Erstlieferung (Urladung)
    • Tägliche Updates
  • Bestandesdaten: alle 2 Stunden aktualisiert

Der Katalog umfasst etwa 6 Millionen Produktdaten.

Fragen:

  1. Hat jemand Erfahrung mit dem Import einer so grossen Menge an Produktdaten in Shopify? Ist das überhaupt machbar?
  2. Welche Tools oder Apps könnt ihr empfehlen, um den Importprozess zu erleichtern?
  3. Gibt es Best Practices, die wir beachten sollten, um die Performance des Shops nicht zu beeinträchtigen?
  4. Wie handhabt ihr die regelmässigen Updates und Bestandsanpassungen effizient?

Ich freue mich auf eure Tipps und Ratschläge!

Vielen Dank im Voraus!

Puh, das ist viel und wird ggf. Shopify Plus verlangen!

Ein Community User wollte 124 Mille digitale Produkte importieren, was durchaus möglich ist, jedoch mit Performance-Einbußen und es wurde empfohlen, die Produkte in Batches zu importieren um die API-Ratenlimits zu berücksichtigen. Mit dem Shopify Basic plan sind 2 API-Aufrufe pro Sekunde möglich über dem Shopify GraphQL API, mit dem Plus-Plan bis zu 10 API-Aufrufe pro Sekunde. Mehr dazu hier und zum “leaky bucket algorithmus”.

Die Apps die dafür empfohlen wurden:

  • Matrixify App unterstützt den Import und Export großer Datenmengen und ermöglicht die Verarbeitung von CSV- und XML-Dateien. Bietet Massenimporte und Aktualisierung von Produktdaten.

  • Feeds Bridge erlaubt mehrere Katalog-Feeds gleichzeitig _importiert und aktualisiert _und die Verarbeitung verschiedener Dateiformate sowie Zuordnung von Feldern zu Shopify-Produktfeldern. Zitat: “You can synchronize catalog feeds from FTP/SFTP/HTTP servers or import file manually into Feeds Bridge app”.

  • Prism – Product Importer - Import von Produkten von Drittanbietern und unterstützt CSV-, Excel- und XML-Feeds samt automatische Synchronisation von Lagerbeständen und Produktdaten.

Delta-Updates: nur geänderte oder neue Daten importieren, anstatt gesamten Katalog zu aktualisieren, um Ressourcen zu schonen.

1 Like

Matrixify nehmen. Die können solche Datenmengen ab. Intern in der App splitten sie die XML auf, um unter den Accesslimit zu bleiben.

Inwiefern sind bei Euch regelmäßige Updates geplant? Sollen die Produkte alle 2 Stunden aktualisiert werden? Alle 24 Stunden? Alle 5 Tage? Bei der Menge an Daten empfehle ich alle paar Tage mittels XML-Dateien. Shopify Plus gibt an der Stelle keinen großen Mehrwert; lediglich die Verarbeitung täte etwas schneller funktionieren.

Um hier effektiv zu bleiben, musst du dir folgende Gedanken machen:

  1. Möchtest du alle Produkte importieren?
  2. Update-XML: In welchem Rhythmus soll diese eingespielt werden?
  3. Soll das Update Automatisch oder per Automatismus eingespielt werden?
  4. Ist Shopify für dich das richtige System?

Zu viertens ist das eine berechtigte Frage: Wenn du 2-3 Jobs gleichzeitig am Laufen hast, wird auch Shopify selbst irgendwann dicht machen. Was möchtest du mit den Updates bezwecken? Lediglich Bestandsänderungen? Ggf. wäre es sinnvoller, auf ein Script auszuweichen, welches nur relevante Änderungen zu Shopify überträgt.

Hallo Tobias

Da würde bedeuten, ich müsste die Enterprise Version der Matrixify App nehmen für 200$ pro Monat?

Ich überlege mir ob es Sinn macht, zuerst mal mit 200’000 Artikeln zu starten. Muss nur einmalig alle 200’000 Artikeln importieren, Das Bestandesfile wird täglich geliefert um die Lagerbestände zu aktualisieren.

Gibt es eine CSV Shopify Importvorlage irgendwo zu downloaden?

Ich möchte mal selber versuchen anhand des Lieferanten Katalogdaten File XML in das CSV Shopify File zu konvertieren.

Danke für dein Feedback.

Viele Grüsse

Wenn du dir Matrixify runterlädst, kannst du dort eine Demodatei downloaden.