Análise de SERPs em tempo real com Zenserp

O Google tem uma longa história de dificultar muito os desenvolvedores de SEO que tentam raspar dados publicamente disponíveis de suas páginas de resultados de pesquisa. Na verdade, a coleta de SERP é oficialmente contra os termos de serviço do Big G. No entanto, a prática não viola a Lei de Fraude e Abuso de Computadores (CFAA) e, portanto, as ações legais diretas do Google para restringir a prática fracassaram. Neste artigo, vamos falar sobre o Scraping de SERPs em tempo real altamente escalonável com o Zenserp. Vamos começar!

Portanto, embora a raspagem não seja realmente ilegal ou prejudique os sentimentos de ninguém na prática, os desenvolvedores ainda precisam enfrentar os obstáculos. Isso é projetado pelo Google para impedir a coleta de dados. As dores de cabeça comuns incluem Captchas e bloqueio de IP. No entanto, cartas de cessar e desistir foram enviadas no passado, essa tática está cada vez mais rara.

Mas e se você não tivesse que lidar com esses incômodos para obter seus dados preciosos? Entra em cena o Zenserp, uma oferta principal das Indústrias SaaS com sede na Áustria.

Zenserp em poucas palavras | SERPs raspando com Zenserp

A API Zenserp é a ferramenta dos sonhos para desenvolvedores de SEO que procuram uma solução pronta para usar para eliminar obstáculos comuns. É extremamente simples de usar e integrar, graças ao ciclo de desenvolvimento centrado no usuário da SaaS Industries e à ampla compatibilidade de linguagem (navegador, Curl, Python, Node.js, PHP). Além disso, seu apetite voraz por feedback do consumidor e solicitações de recursos levou à enorme atualização da API em abril de 2019 para incluir uma ampla gama de tipos de dados, incluindo imagens do Google, vídeos, mapas, notícias, compras e também tendências.

Combinado com preços competitivos e atendimento ao cliente de classe mundial. Você realmente tem uma solução completa para seus problemas de eliminação de SERP no Zenserp.

Introdução ao Zenserp

Então, como é realmente usar o Zenserp? A seguir, cobrimos o processo de introdução ao Zenserp. Em seguida, mergulhamos na documentação da API para ver mais de perto a funcionalidade robusta do Zenserp.

Visão geral do painel | SERPs raspando com Zenserp

Suponha que você esteja apenas dando uma olhada no que é o Zenserp, você clicará no botão verde brilhante Cadastre-se para o plano grátis em sua página inicial. Depois de criar e verificar sua conta, clique em Login para acessar seu Painel.

A página que você acessa exibe uma visão geral de suas informações de uso mais importantes, incluindo sua chave de API, cota de solicitação mensal e uso de API ao longo do tempo. Além disso, a documentação de todas as solicitações com falha que possam ter ocorrido. Há também uma seção útil do Request Builder que direciona os novos usuários do Zenserp a uma variedade de recursos úteis. A maior parte disso são coisas que cobriremos na seção Documentação desta análise, então aguarde.

Vamos dar uma olhada rápida em todas as opções da barra lateral:

• Painel - Você já está aqui! Este é simplesmente um link rápido para retornar à sua página de visão geral a qualquer momento.
• Parque infantil - Com um nome apropriado, esta página oferece uma interface totalmente visual (ou seja, sem necessidade de codificação) e interativa para você mexer nos vários endpoints do Zenserp. Aqui, você pode gerar algumas respostas de amostra e usá-las para configurar sua solicitação de API. Não confie nisso 100%, pois há casos extremos além da capacidade desta ferramenta. No entanto, adoramos como você tem a opção de exportar sua experimentação para o código (Browser, Curl, Python, Node.js, PHP) quando encontra algo que realmente funciona.
• Documentação - Detalha a essência da API Zenserp. Abordamos isso em detalhes abaixo.
• Perfil / Segurança - Configuração básica da conta, incluindo seu avatar, informações de contato e gerenciamento de senha. Nada chique.
• Cobrança - Consiste em três opções, onde você pode atualizar / rebaixar / cancelar seu nível de assinatura, gerenciar seu método de pagamento e ID de IVA, além de um campo livre onde você pode solicitar a inclusão de texto em suas faturas Zenserp para facilitar a contabilidade.

Tudo isso é uma tarifa padrão para qualquer API, mas apreciamos a simplicidade do layout. O que você vê é o que você obtém, e o Zenserp não tenta enterrar as configurações de assinatura em cantos obscuros do seu perfil.

A documentação da API Zenserp | SERPs raspando com Zenserp

Com o básico fora do caminho, agora podemos entrar nas coisas boas: a documentação do Zenserp. Aqui, você verá exatamente do que a API é capaz e como usá-la. Embora a implementação completa da API em seu aplicativo esteja além do escopo desta revisão, abordaremos brevemente cada endpoint, alguns parâmetros-chave e forneceremos alguns exemplos de respostas.

Funcionalidade básica

O início da página de documentação é uma seção apropriadamente chamada de Introdução, que detalha suas funções de API mais básicas, capazes de interagir com todos os outros terminais. Vamos dar uma olhada:

vídeo em pausa. continue assistindo

• Autenticação - Mostra como usar sua chave API para autenticação. Há um exemplo de uso no cabeçalho, seguido por exemplos de solicitação GET e POST. Mole-mole.
• status - Permite que você solicite o número de solicitações restantes de acordo com seus limites de assinatura. Afinal, por que se preocupar em fazer login em seu painel Zenserp quando você pode apenas ter seu aplicativo informando diretamente?
• lote - Anexar este ponto de extremidade permite que você faça até 1.000 pesquisas em um único lote. Você tem a opção de solicitar todos os lotes de uma vez, específico por ID de lote, ou enviar um novo lote ou mesclar os existentes conforme necessário.
• Códigos de erro - O Zenserp também tem a capacidade de retornar erros conforme eles ocorrem. Incluindo 403 Proibido quando você atinge seu limite mensal ou usa uma chave de API incorreta, 404 quando nenhum resultado foi encontrado, ou 500. Sempre que houver um erro no servidor. Não se esqueça de que as solicitações com falha também aparecem no seu painel.

O endpoint de / search | SERPs raspando com Zenserp

A funcionalidade central do Zenserp está aqui. Ao anexar / search à sua solicitação de API. Você receberá uma gama abrangente de dados sobre basicamente qualquer coisa para a qual você possa pensar em coletar SERPS. Sua consulta retornará uma grande variedade de resultados, incluindo:

• Resultados de pesquisa orgânica - A consulta de SERPs orgânicos retorna todos os tipos de dados, incluindo classificação do item, seu título, URL exibido e de destino, vários tipos de avaliações, se o link é um link AMP do Google, strings que representam a descrição da página e mais o Pacote de 3 locais que contém informações comerciais.
• Resultados pagos - Você também terá uma visão geral completa dos resultados pagos. As informações retornadas incluem posição paga (superior, direita ou inferior), título, URL de rastreamento do AdWords, breadcrumbs, URL visível conforme aparece no Google, descrição da página, além de quaisquer colocações de produto pagas (incluindo posição, título, imagens associadas, URL e, claro, preço).
• Caixa de resposta / trecho em destaque / história principal - Ouro puro para qualquer SEO. Veja facilmente o que tem melhor desempenho para obter esses pontos cobiçados em SERPs e, em seguida, crie uma estratégia para replicar esses resultados.
• Pesquisas relacionadas / você quis dizer - O Zenserp aprimora sua pesquisa de palavras-chave, retornando dados valiosos em todas as pesquisas relacionadas à sua consulta. Você também pode prever como o Google responde a erros comuns que os usuários cometem ao pesquisar sua consulta.

Aqui está uma versão reduzida de um exemplo que aparece no Zenserp documentação, com Pied Piper como a consulta. Você pode ver os diferentes tipos de resultados que aparecem em ordem: a entrada da Wikipedia (1), questões relacionadas à consulta (2), um site com um nome de domínio de correspondência exata (3), um artigo popular sobre as origens do Pied Pied (4), além de alguns vídeos relacionados ao tema (5). Você também verá algumas frases de pesquisa relacionadas, além do número total de resultados retornados.

Exemplo

{ 'query':{ 'apikey':'YOUR-API-KEY', 'q':'Pied Piper', 'url':'https://google.com/search?q=Pied+Piper&hl=en&gl=us&sourceid=chrome&ie=UTF-8' }, 'organic':[ { 'position':1, 'title':'Pied Piper of Hamelin - Wikipedia', 'url':'https://en.wikipedia.org/wiki/Pied_Piper_of_Hamelin', 'destination':'https://en.wikipedia.org › wiki › Pied_Piper_of_Hamelin', 'description':'The Pied Piper of Hamelin is the titular character of a legend from the town of Hamelin (Hameln), Lower Saxony, Germany. The legend dates back to the Middle ...', 'isAmp':false }, { 'position':2, 'questions':[ { 'question':'What is the meaning of the Pied Piper?' }, { 'question':'What is the story of the Pied Piper?' }, { 'question':'Is the pied piper a fairy tale?' }, { 'question':'Is Pied Piper a real company?' } ] }, { 'position':3, 'title':'Pied Piper', 'url':'http://www.piedpiper.com/', 'destination':'www.piedpiper.com', 'description':'The old Pied Piper flute player logo was referencing a fairytale character and in no way was meant to suggest a sexual act involving either the mouth or ear of ...', 'isAmp':false }, { 'position':4, 'title':'The Disturbing True Story of the Pied Piper of Hamelin ...', 'url':'https://www.ancient-origins.net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969', 'destination':'https://www.ancient-origins.net › myths-legends › disturbing-true-story-pie...', 'description':'Aug 14, 2014 - Many are familiar with the story of the Pied Piper of Hamelin. Few realise however, that the story is based on real events, which evolved over ...', 'isAmp':false }, { 'position':5, 'videos':[ { 'title':'Pied Piper', 'url':'https://www.youtube.com/watch?v=VEZ_Ui6d9AM', 'parsed':{ 'source':'YouTube', 'date':'May 2, 2018', 'channel':'BTS - Topic' } }, { 'title':'The True History of The Pied Piper of Hamelin | Fairy Tales ...', 'url':'https://www.youtube.com/watch?v=obIAwAAcAAg', 'parsed':{ 'source':'YouTube', 'date':'Aug 4, 2017', 'channel':'Jen Campbell' } }, { 'title':'The Pied Piper: a modern day fairy tale', 'url':'https://www.wvi.org/child-health-now/video/pied-piper-modern-day-fairy-tale', 'parsed':{ 'source':'World Vision International', 'date':'Aug 22, 2013', 'channel':'WVIAdvocacy' } } ] } ], 'related_searches':[ { 'title':'pied piper instrument', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+instrument&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAHoECBMQAQ' }, { 'title':'pied piper poem', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+poem&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAXoECBMQAg' }, { 'title':'moral lesson of pied piper story', 'url':'https://google.com/search?hl=en&gl=us&q=moral+lesson+of+pied+piper+story&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAnoECBMQAw' }, { 'title':'the pied piper of hamelin summary', 'url':'https://google.com/search?hl=en&gl=us&q=the+pied+piper+of+hamelin+summary&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoA3oECBMQBA' }, { 'title':'pied piper of hamelin story pdf', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+of+hamelin+story+pdf&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoBHoECBMQBQ' }, ], 'number_of_results':34800000 }

Refinando sua solicitação por tipo de pesquisa | SERPs raspando com Zenserp

Além da solicitação SERPs padrão, você também pode refinar sua consulta de pesquisa do Google por tipo de pesquisa (imagem, vídeo, mapas, compras, notícias, compras, etc.). Basta definir o tbm (a ser correspondido) para qualquer uma das seguintes opções:

• ish - Retorna os resultados da Pesquisa de imagens do Google. Essa solicitação retorna uma litania de dados, incluindo posição, miniaturas, URLs de origem, títulos e muito mais. (Para pesquisa reversa de imagens, você executará o imagem URL parâmetro em vez de tbm = ish )
• no - Retorna os resultados da pesquisa do Google Video. Você obterá informações como domínio de origem, URL do vídeo, título, descrição, além de quaisquer extensões ou miniaturas.
• lcl - Outra mina de ouro de dados de SEO, o lcl parâmetro retorna resultados de pesquisa do Google Maps. Você verá o nome da empresa / local, URLs do site, independentemente de o resultado ser pago ou não, estrelas ou comentários, além de informações vitais como endereço, números de telefone, horário de funcionamento, preços notáveis ​​e até mesmo o tipo de negócio. Você também tem a opção de solicitar rotas para essas empresas.
• isto - Precisa se manter atualizado com os eventos e desenvolvimentos atuais em seu setor? Adicione o isto parâmetro para sua consulta para retornar resultados em tempo real da Pesquisa de notícias do Google. Veja os nomes dos artigos, seus links, datas de publicação (e analisados ​​por sua API), o editor, uma breve descrição do artigo, além de quaisquer miniaturas disponíveis.
• fazer compras - Acesse os resultados da Pesquisa do Google Shopping com o fazer compras parâmetro. Vamos dar uma olhada em alguns resultados de amostra (fortemente truncados por uma questão de legibilidade) para aquecedores de água em Atlanta, GA:

Shopping EndPoint

Além do núcleo /procurar endpoint, a API Zenserp também apresenta /Shopping . Isso permite que você analise as páginas dos produtos do Google Shopping. Você vai anexar o ID do produto parâmetro para o seu /Shopping consulta, com a opção de especificar a localização geográfica de pesquisa desejada ( localização ), Código do país ( gI ) e / ou idioma da interface da web ( hl ) Você também pode alterar a variante de região da Pesquisa Google que deseja usar com search_engine .

Endpoint da tendência | SERPs raspando com Zenserp

As solicitações do Google Trends são feitas anexando / tendências ao seu pedido (embora a documentação do Zenserp indique incorretamente que você deve usar /Shopping ) Os resultados do seu Trends são alimentados pelo palavra-chave [] parâmetro, onde você passa sua frase de palavra-chave como o argumento dentro de []. A documentação do Zenserp tem um lembrete útil sobre quais operadores o Trends usa (+ para ou, - para excluir, espaço para e e aspas para uma correspondência exata), que será instrumental em sua consulta.

Você pode especificar ainda mais o fuso horário ( tz ), Categoria ID ( gato ), a prazo para seus resultados (por hora, dia, mês, ano em muitas subdivisões). O modelo de propriedade do Google para pesquisar (como, imagens, voos, YouTube, finanças, etc.). O geo local ou código de local do Google ( gI ), e até mesmo o resolução dentro dessa região (essencialmente, definindo se você pesquisa em âmbito nacional, municipal, regional etc.)

Então, digamos que você queira ver como Kanye West tem sido a tendência no mês passado. Você faria a solicitação assim:

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

Desempenho | SERPs raspando com Zenserp

Agora que terminamos a visão geral dos recursos, como o Zenserp realmente funciona? Afinal, todos esses dados interessantes são inúteis se você não puder acessá-los por causa dos esforços de coleta de dados programáticos de bloqueio do Google.

Em nossa experiência, o Zenserp executou suas tarefas sem soluços, não importa o que pesquisamos e em que lugar do mundo direcionamos nossas consultas. A arma secreta aqui é a incrível rede de proxy mundial da Zenserp, que redireciona suas solicitações para onde elas precisam ir enquanto altera seu endereço IP para caber. Embora o Zenserp não divulgue os números reais de sua rede de servidores, ele se mostrou suficientemente robusto para nunca gerar um único erro quando fizemos nossas solicitações de teste.

Também incluído sob o capô da API Zenserp está um solucionador de Captcha sofisticado. Mais uma vez, não temos detalhes sobre como eles fizeram esse trabalho. Mas funcionou, e de forma consistente.

Preços

A infraestrutura do Zenserp é suficiente para atender a qualquer escala de operação. Eles oferecem uma ampla gama de preços de assinatura para que você pague apenas pelo que precisa. Seja qual for o nível escolhido, você pode pagar uma taxa mensal baixa ou obter um desconto de 20% em um plano anual.

Além das camadas padrão, o Zenserp oferece planos de alto volume. Isso está bloqueado em um esquema de pagamento mensal. Cada camada inclui todos os recursos premium dos planos MÉDIO-MUITO GRANDE. E dimensiona sua cota mensal de acordo com quanto você paga:

• PREMIUM - US $ 599,99 e 250.000 solicitações por mês
• PROFISSIONAL - US $ 1.399,99 e 750.000 solicitações por mês
• EMPREENDIMENTO - US $ 1.599,99 e 1.000.000 de solicitações por mês

SERPs raspando com Zenserp

A SaaS Industries produziu uma oferta incrível com sua API Zenserp. É personalizável e altamente escalonável graças à sua infraestrutura robusta. Mesmo assim, é extremamente simples de integrar em seu aplicativo graças à lógica paramétrica fácil e à ampla compatibilidade de linguagem de codificação.

Nossos testes produziram resultados consistentes sem nunca gerar um erro. Embora suspeitemos que o serviço não é invulnerável a erros na escala exigida por grandes empresas. Não importa o tipo de solicitação que fizemos, os resultados sempre foram oportunos e significativos. É extremamente útil poder refinar sua solicitação de SERPs por tipo de pesquisa e, como tal, está claro que o Zenserp oferece uma ferramenta inestimável, porém acessível para qualquer desenvolvedor de SEO.

Se tivemos alguma crítica ao serviço, é que a documentação poderia usar um toque de linguagem mais natural para explicar o seu conteúdo. Claro, um desenvolvedor experiente não deve ter problemas para entender o que é oferecido, então isso provavelmente não é problema. Mesmo que seja, todas as camadas de pagamento, exceto as menores, incluem integração de concierge e suporte personalizado ao cliente, para que você sempre possa atender às suas necessidades perfeitamente.

Conclusão

Tudo bem, isso foi tudo pessoal! Espero que gostem deste artigo SERPs Scraping with Zenserp e o considerem útil. Dê-nos o seu feedback sobre isso. Além disso, se vocês tiverem mais dúvidas relacionadas a este artigo. Então deixe-nos saber na seção de comentários abaixo. Nós entraremos em contato com você em breve.

Tenha um ótimo dia!

Veja também: Guia do usuário na visualização do cache do Chrome no Windows 10