E que o botão mencionado, ao ser clicado pelo usuário, o redirecionasse até a minha página onde está listado todos os itens que possuo em minha loja (imagem abaixo).
Entendo que você estaria querendo adicionar um botão na página inicial da sua loja que redireciona para a sua página com todos os produtos, certo?
Isso dependerá das configurações existentes do tema que você estiver usando. Por exemplo, analisando as configurações do tema Dawn da Shopify é possível utilizar a seção Multicoluna para adicionar conteúdo e um botão clicável para redirecionar o visitante para alguma página da loja, veja só:
Se for do seu interesse em adicionar apenas o botão, basta remover todos os blocos da seção Multicoluna clicando no bloco “Página de produtos” e em “Remover bloco”.
E depois, para fazer essa configuração clique em Multicoluna > e nas configurações da seção adicione um texto na Etiqueta do botão e um Link de botão para escolher a página que o cliente será redirecionado. O resultado ficará assim:
Poderá também fazer outras configurações, se necessário. Poderá contar com esse documento com todas as instruções para configurar temas: Configurações do tema - seções e blocos.
Conforme as imagens que compartilhou, posso ver que você está usando o tema Ella que não é desenvolvido pela Shopify. Sugiro conferir o editor de tema e verificar se consegue encontrar uma seção como a sugerida acima ou algo similar.
Para te ajudar eu fiz uma busca no Google e encontrei este documento que apresenta instruções para configurar o tema Ella. Nessa página informa também o contato do desenvolvedor e o tipo de assistência que eles oferecem.
Caso não encontrar esse recurso através do editor de temas, eu sugiro entrar em contato com o atendimento do seu tema para saber se há alguma forma de fazer essa customização sem precisar mexer na codificação.
Se tiver qualquer outra dúvida, só me enviar uma resposta aqui e ficarei feliz em ajudar. Até mais!