A prática de utilizar bots para recolher informações e materiais de um site é conhecida como web scraping. Um prestador de serviços de web scraping recolhe o código HTML básico e os dados armazenados num servidor, ao contrário do screen scraping, que extrai os píxeis visíveis no ecrã. Posteriormente, o scraper pode reproduzir todo o conteúdo de um site noutro local.
Muitas empresas digitais que dependem da recolha de dados utilizam o web scraping. As empresas que realizam estudos de mercado utilizam scrapers para obter informações das redes sociais e fóruns. Um site é rastreado por algoritmos de pesquisa na web, que depois examinam os seus dados e atribuem-lhe uma pontuação.
Os sites de comparação de preços utilizam bots para obter preços e detalhes de produtos a partir de sites de vendedores afiliados. O web scraping é ainda utilizado para atividades como a manipulação de preços e o roubo de conteúdo. Um site que seja alvo de scraping pode incorrer em perdas financeiras significativas, especialmente se for uma empresa que depende de métodos de preços competitivos ou que se dedica à distribuição de conteúdo.
O roubo de material em grande escala de um site específico é designado por «content scraping». Os diretórios de produtos online e os sites que dependem de material digital para gerar tráfego são alvos comuns. Um ataque de «content scraping» pode ser fatal para estas empresas.
Por exemplo, a criação do material para a sua base de dados implica tempo, custos e esforço para listagens de empresas locais virtuais. O scraping pode levar a que tudo isso seja disponibilizado ao público, utilizado em esforços de spam ou vendido a empresas rivais.
