Metafields and Tamil

We normally create Metafields programmatically, each night pushing data to various Shopify stores via the API. However, any data containing Tamil script silently fails to create.

Here is the trace from the method we post, slightly redacted, to create the product, variant and metafields record. The product gets created OK, but not the metafields in this case (all other products are persisting just fine, meaning it’s the data not the code that’s the problem). It’s all books with Tamil script in the metafields, not a one-off.

Any thoughts most welcome.

irb(main):008:0> connection.update_products([Shopify::Product.new(product: Book.find(book_id), shop: shop)])

=> [#<Shopify::Product:0x000056130a997348
@product=#<Book id: 111, isbn: "xxx", prefix: nil, title: "தென்னிந்தியாவில் சமூக ஊடகங்கள்">, 
@shop=#<Shop id: x etc>, 
@to_h={
:title=>"தென்னிந்தியாவில் சமூக ஊடகங்கள்", 
:handle=>"111", 
:product_type=>"Open PDF", 
:published_scope=>"global", 
:published=>true, 
:body_html=>"<p>தென்னிந்தியாவில் சமூக ஊடகங்கள், தமிழ்நாட்டு மக்களின் அன்றாட வாழ்வில் சமூக ஊடகங்களின் பயன்பாடு பற்றிய புரிதலை தீவிர மாற்றமடைந்து வரும் ஒரு பிராந்தியத்தில் நடத்தப்பட்ட முதல் மக்கள் இன அமைப்பியல் ஆய்வின் மூலம் நமக்களித்திருக்கிறது. கடந்த பத்தாண்டுகளில் ஐடி நிறுவனங்களின் வருகை, முன்பு விவசாய பகுதியாக இருந்த ஒரு இடத்தை வளர்ந்து கொண்டேயிருக்கும் அறிவார்ந்த பொருளாதாரம் மற்றும் பாரம்பரிய கிராம வாழ்வு ஆகியவற்றின் பக்க அணிமை நிலையாக ஆக்கியிருக்கிறது. இந்த பக்க அணிமை நிலையால் ஒருசில வர்க்க பேதங்கள் காணப்பட்டபோதும், இந்த பிராந்தியத்தில் நடத்தப்பட்ட சமூக ஊடக ஆய்வு, ஒற்றுமைகளும் இருந்திருப்பதற்கான சான்றளிக்கிறது. குறிப்பாக பழைய மற்றும் புதிய குடியிருப்பாளர்களிடையே பணி மற்றும் வாழ்வின் இடையேயான தேய்ந்து வரும் எல்லைகளில் இது காணப்படுகிறது.</p><p>வெங்கட்ராமன், வீடுகள், பணியிடங்கள் மற்றும் பள்ளிகளில் சமூக ஊடகங்களின் பாதிப்புகளை ஆராய்ந்து, இனம், வர்க்கம், வயது பாலினம் ஆகியவற்றின் தாக்கத்தையும் அலசி, எந்த வகையான சமூக ஊடகத்தளங்கள் எந்தெந்த சூழல்களில் பயன்படுத்தப்படுகின்றன என்பதை ஆராய்ந்திருக்கிறார். இந்த காரணிகள், சமூக ஊடக பயன்பாட்டின் மீது குறிப்பிடத்தக்க பாதிப்பை ஏற்படுத்தியிருப்பதாக கூறும் அவர், தென்னிந்தியாவில் சமூக ஊடகங்கள், சமுதாய மாற்றத்தை தூண்டியிருப்பது போல தோன்றினாலும், அவை உண்மையில், உள்ளூர் பாரம்பரியங்கள் மற்றும் நடைமுறைகளால் கட்டுண்டு இருக்கின்றன என்றும் குறிப்பிடுகிறார்.</p><div><br></div>", 
:variants=>[{:barcode=>"9781787111906", :title=>"தென்னிந்தியாவில் சமூக ஊடகங்கள்", :price=>"0.0", :requires_shipping=>false, :taxable=>true}], 
:metafields=>[{"key"=>"Size", "value"=>"Unknown", "value_type"=>"string", "namespace"=>"Size"}, 
{"key"=>"Format", "value"=>"xxx", "value_type"=>"string", "namespace"=>"Format"}, 
{"key"=>"ISBN", "value"=>"xxx", "value_type"=>"string", "namespace"=>"ISBN"}, 
{"key"=>"Series", "value"=>"Why We Post ", "value_type"=>"string", "namespace"=>"Series"}, 
{"key"=>"Pages", "value"=>"376", "value_type"=>"string", "namespace"=>"Pages"}, 
{"key"=>"Subtitle", "value"=>"xxx", "value_type"=>"string", "namespace"=>"Subtitle"}, 
{"key"=>"Copyright", "value"=>"Unknown", "value_type"=>"string", "namespace"=>"Copyright"}, 
{"key"=>"Edition", "value"=>"Unknown", "value_type"=>"string", "namespace"=>"Edition"}, 
{"key"=>"Illustrations", "value"=>"Unknown", "value_type"=>"string", "namespace"=>"Illustrations"}, 
{"key"=>"StockLocation", "value"=>"Unknown", "value_type"=>"string", "namespace"=>"StockLocation"}, 
{"key"=>"StockItemNumber", "value"=>"Unknown", "value_type"=>"string", "namespace"=>"StockItemNumber"},
{"key"=>"Languages", "value"=>"Tamil", "value_type"=>"string", "namespace"=>"Languages"}, 
{"key"=>"Publication", "value"=>"February 28, 2019", "value_type"=>"string", "namespace"=>"Publication"}, 
{"key"=>"pretty_contacts", "value"=>"xxx xxx", "value_type"=>"string", "namespace"=>"pretty_contacts"}, 
{"key"=>"table_of_contents", "value"=>"", "value_type"=>"string", "namespace"=>"table_of_contents"}, 
{"key"=>"short_blurb", "value"=>"தென்னிந்தியாவில் சமூக ஊடகங்கள், தமிழ்நாட்டு மக்களின் அன்றாட வாழ்வில் சமூக ஊடகங்களின் பயன்பாடு பற்றிய புரிதலை தீவிர மாற்றமடைந்து வரும் ஒரு பிராந்தியத்தில் நடத்தப்பட்ட முதல் மக்கள் இன அமைப்பியல் ஆய்வின் மூலம் நமக்களித்திருக்கிறது.", "value_type"=>"string", "namespace"=>"short_blurb"}, 
{"key"=>"key_selling_points", "value"=>"", "value_type"=>"string", "namespace"=>"key_selling_points"}, 
{"key"=>"long_blurb", "value"=>"<p>தென்னிந்தியாவில் சமூக ஊடகங்கள், தமிழ்நாட்டு மக்களின் அன்றாட வாழ்வில் சமூக ஊடகங்களின் பயன்பாடு பற்றிய புரிதலை தீவிர மாற்றமடைந்து வரும் ஒரு பிராந்தியத்தில் நடத்தப்பட்ட முதல் மக்கள் இன அமைப்பியல் ஆய்வின் மூலம் நமக்களித்திருக்கிறது. கடந்த பத்தாண்டுகளில் ஐடி நிறுவனங்களின் வருகை, முன்பு விவசாய பகுதியாக இருந்த ஒரு இடத்தை வளர்ந்து கொண்டேயிருக்கும் அறிவார்ந்த பொருளாதாரம் மற்றும் பாரம்பரிய கிராம வாழ்வு ஆகியவற்றின் பக்க அணிமை நிலையாக ஆக்கியிருக்கிறது. இந்த பக்க அணிமை நிலையால் ஒருசில வர்க்க பேதங்கள் காணப்பட்டபோதும், இந்த பிராந்தியத்தில் நடத்தப்பட்ட சமூக ஊடக ஆய்வு, ஒற்றுமைகளும் இருந்திருப்பதற்கான சான்றளிக்கிறது. குறிப்பாக பழைய மற்றும் புதிய குடியிருப்பாளர்களிடையே பணி மற்றும் வாழ்வின் இடையேயான தேய்ந்து வரும் எல்லைகளில் இது காணப்படுகிறது.</p><p>வெங்கட்ராமன், வீடுகள், பணியிடங்கள் மற்றும் பள்ளிகளில் சமூக ஊடகங்களின் பாதிப்புகளை ஆராய்ந்து, இனம், வர்க்கம், வயது பாலினம் ஆகியவற்றின் தாக்கத்தையும் அலசி, எந்த வகையான சமூக ஊடகத்தளங்கள் எந்தெந்த சூழல்களில் பயன்படுத்தப்படுகின்றன என்பதை ஆராய்ந்திருக்கிறார். இந்த காரணிகள், சமூக ஊடக பயன்பாட்டின் மீது குறிப்பிடத்தக்க பாதிப்பை ஏற்படுத்தியிருப்பதாக கூறும் அவர், தென்னிந்தியாவில் சமூக ஊடகங்கள், சமுதாய மாற்றத்தை தூண்டியிருப்பது போல தோன்றினாலும், அவை உண்மையில், உள்ளூர் பாரம்பரியங்கள் மற்றும் நடைமுறைகளால் கட்டுண்டு இருக்கின்றன என்றும் குறிப்பிடுகிறார்.</p><div><br></div>", "value_type"=>"string", "namespace"=>"long_blurb"}, {"key"=>"blurb", "value"=>"<p>தென்னிந்தியாவில் சமூக ஊடகங்கள், தமிழ்நாட்டு மக்களின் அன்றாட வாழ்வில் சமூக ஊடகங்களின் பயன்பாடு பற்றிய புரிதலை தீவிர மாற்றமடைந்து வரும் ஒரு பிராந்தியத்தில் நடத்தப்பட்ட முதல் மக்கள் இன அமைப்பியல் ஆய்வின் மூலம் நமக்களித்திருக்கிறது. கடந்த பத்தாண்டுகளில் ஐடி நிறுவனங்களின் வருகை, முன்பு விவசாய பகுதியாக இருந்த ஒரு இடத்தை வளர்ந்து கொண்டேயிருக்கும் அறிவார்ந்த பொருளாதாரம் மற்றும் பாரம்பரிய கிராம வாழ்வு ஆகியவற்றின் பக்க அணிமை நிலையாக ஆக்கியிருக்கிறது. இந்த பக்க அணிமை நிலையால் ஒருசில வர்க்க பேதங்கள் காணப்பட்டபோதும், இந்த பிராந்தியத்தில் நடத்தப்பட்ட சமூக ஊடக ஆய்வு, ஒற்றுமைகளும் இருந்திருப்பதற்கான சான்றளிக்கிறது. குறிப்பாக பழைய மற்றும் புதிய குடியிருப்பாளர்களிடையே பணி மற்றும் வாழ்வின் இடையேயான தேய்ந்து வரும் எல்லைகளில் இது காணப்படுகிறது.</p><p>வெங்கட்ராமன், வீடுகள், பணியிடங்கள் மற்றும் பள்ளிகளில் சமூக ஊடகங்களின் பாதிப்புகளை ஆராய்ந்து, இனம், வர்க்கம், வயது பாலினம் ஆகியவற்றின் தாக்கத்தையும் அலசி, எந்த வகையான சமூக ஊடகத்தளங்கள் எந்தெந்த சூழல்களில் பயன்படுத்தப்படுகின்றன என்பதை ஆராய்ந்திருக்கிறார். இந்த காரணிகள், சமூக ஊடக பயன்பாட்டின் மீது குறிப்பிடத்தக்க பாதிப்பை ஏற்படுத்தியிருப்பதாக கூறும் அவர், தென்னிந்தியாவில் சமூக ஊடகங்கள், சமுதாய மாற்றத்தை தூண்டியிருப்பது போல தோன்றினாலும், அவை உண்மையில், உள்ளூர் பாரம்பரியங்கள் மற்றும் நடைமுறைகளால் கட்டுண்டு இருக்கின்றன என்றும் குறிப்பிடுகிறார்.</p><div><br></div>", "value_type"=>"string", "namespace"=>"blurb"}, {"key"=>"bio_text", "value"=>"ஸ்ரீராம் வெங்கட்ராமன் யுசிஎல்-ல் இருந்து மானுடவியலில் முனைவர் பட்டம் பெற்று, தற்போது, டெல்லியில் உள்ள இந்திரப்ரஸ்தா இன்ஸ்டிடியூட் ஆப் இன்போர்மேஷன் டெக்னாலஜி-யில் பேராசிரியராக பணிபுரிகிறார். அவர் பயிற்சி பெற்ற தொழில் முறை கணக்கெடுப்பாளர். அவருடைய முனைவர் பட்டபடிப்புக்கு முன் அமெரிக்காவில் வால்மார்ட்டில் பல தலைமை பதவிகளை வகித்துள்ளார். அவருடைய ஆராய்ச்சி ஆர்வங்கள், பணியிடத்து தொழில்நுட்பங்கள், நிறுவன கலாச்சாரம் மற்றும் தொழில்முனைவு ஆகியவற்றை உள்ளடக்கியதாகும்.\r\n", "value_type"=>"string", "namespace"=>"bio_text"}, 
{"key"=>"market_exclusions", "value"=>"Unknown", "value_type"=>"string", "namespace"=>"market_exclusions"}, 
{"key"=>"author_comments", "value"=>"", "value_type"=>"string", "namespace"=>"author_comments"}, 
{"key"=>"open_access_url", "value"=>"http://x.pdf", "value_type"=>"string", "namespace"=>"open_access_url"}, 
{"key"=>"image1", "value"=>"https://xxx.s3-eu-west-1.amazonaws.com/389/265902//_jpg_rgb_1500h.jpg", "value_type"=>"string", "namespace"=>"image1"}, 
{"key"=>"image2", "value"=>"https://xxx.s3-eu-west-1.amazonaws.com/389/265902//_jpg_rgb_1500h.jpg", "value_type"=>"string", "namespace"=>"image2"}],
:tags=>"meta-related-collection-work-78776, Open Access PDF, Anthropology, Subject_A-Anthropology, தென்னிந்தியாவி, சமூக ஊடகங்கள், ஆய்வியலின், anthropology, sociology, media studies, internet studies, area studies, Edition_O-Open Access PDF, DGO, xxxxx, By (author) xxx"}>]

Your gonna wanna reach out to shopify support@shopify.com also since there’s not a canonical list of supported languages in metafields though all utf-8 should apply? not even sure if similar sets like sanskrit are supported|sanitized.

In the mean time check some common issues and try reducing your test case

  • Check character encoding charset is utf-8 , etc. Roundtrip in and out of databases,etc
  • replacing|removing all tamil characters to verify it’s not something like bad escaping elsewhere which would make tamil just a correlation not the issue.
  • Depending on when|where your getting the trace verify there is not some other processing serving the data differently than your viewing it.

Thanks. Support sent me here so I don’t think they’re interested tbh.

Thanks for the tips. I’ll report back.

If nothing happens here in a few days try shopifydevs on twitter or if your a shopify partner contact your partner manager or try the [email removed] email

So when you say silently fails, you make a request and get no response? That seems to break the very foundations of Shopify’s API computing empire.

Normally, when you make a response, and it fails, you get back a response with an error message that can hopefully shine at least a little light on the problem with the request. By saying silently fails, it makes it sound like you make a request, and nothing ever comes back! That would be a doozy. Good one!

For sure you could just replicate this request on the command line, and have Shopify debug it if that is the case.

1 Like

No, I get a response, which is not one of the various error responses. However, there is an absence of metafield records created.