Perguntas com a tag [scrapy]
Scrapy é um framework web para extrair dados necessários a partir de sites (Web scraping). É open-source, escrito em Python e controlado usando ferramentas de linha de comando.
57 perguntas
-2
votos
0
respostas
66
visitas
Scrapy python estou com duvidas [fechada]
Olá, eu estou com dificuldade para realizar um script de mapeamento sobre um site. Eu preciso localizar uma classe que está dentro de uma div, na qual é: "class="Blob Blob_Green".
Essa ...
1
voto
0
respostas
84
visitas
Scrapy - Buscar itens em formulario
sou bem iniciante no assunto, será que conseguem me ajudar? estou testando spiders para buscar licitações.
Porém não consigo retornar os itens pelo formulário.
tenho o código abaixo de exemplo:
...
1
voto
0
respostas
210
visitas
scrapay+xpath retornando array vazio
Estou aprendendo a criar um crawler com scrapy + xpath.
Porem, quando eu dou o comando
scrapy shell https://br.udacity.com/courses/all/
O sitema retorna isso como se tudo estivesse normal:
2021-01-22 ...
-3
votos
1
resposta
209
visitas
Único conteúdo json entre []
Eu to com uma dúvida sobre um código que eu fiz usando scrapy para coletar dados e mandar para um arquivo json.
O problema é que a formatação do arquivo não está como costuma ser, por isso achei ...
-1
votos
1
resposta
257
visitas
pip install scrapy erro 1
Estou tentando instalar o Scrapy no vscode porém toda vez da um erro que não estou conseguindo resolver, alguém poderia me ajudar?
error: Microsoft Visual C++ 14.0 is required. Get it with "...
0
votos
1
resposta
88
visitas
O URL responde apenas com o site aberto
Eu preciso raspar a informações desta página aqui.
Nas ferramentas do desenvolvedor, encontrei este link com as respostas necessárias.
O problema é que o link com as respostas é aberto apenas se o ...
0
votos
1
resposta
66
visitas
Dict com atributos repetidos Python
Boa tarde!
Estou montando um formdata para um post,
formdata = {
'data': '',
'controle': 'ADMIN',
'g-recaptcha-response': recaptcha_response
}
for numero in nDams:
...
0
votos
0
respostas
118
visitas
Problema ao coletar informação de site
Estou tentado coletar os dados de numero de pessoas ajudas no SOPT, ou seja, o meu impacto, para colocar em uma api posteriormente, mas não está extraindo a informação.
Spider:
import scrapy
class ...
- 4.293
0
votos
1
resposta
813
visitas
Como criar um Array dentro do outro
Preciso criar um array que tenha indice e valores
page_links recebe os links de uma pagina
all_links_main = []
for link in page_links:
all_links_main.append(link.get('href'))
produto = []
for ...
- 577
0
votos
0
respostas
228
visitas
Como preencher um TextBox e fazer raspagem de dados com Python?
Estou tentando analisar alguns dados da secretário da educação. Já fiz a requisição, mas...
Achei um jeito de fazer isso pela web mesmo, no entanto, são muitas escolas por esse motivo preciso ...
0
votos
0
respostas
280
visitas
Extrair documentos pdf de sites com scrapy
É possível varrer um site inteiro passando em todos os links em busca de arquivos pdf com scrapy? seria algo parecido com o apache nutch. Eu fiz uma pesquisa mas o pessoal só usa XPath, e XPath não dá ...
1
voto
2
respostas
717
visitas
Assistente Virtual [fechada]
Boa tarde companheiros, como vão?
Então sou razoavelmente novo nesse ambiente de desenvolvimento e já programei em python há algum tempo atrás. Estou com uma ideia de projeto no qual envolve em ...
8
votos
1
resposta
143
visitas
Limitando quantidade de matches do regex com Python
estou com uma certa dificuldade, gostaria de criar um for no Python para retornar uma quantidade específica de match do regex.
Da maneira que fiz, ele está retornando todos os links que existem e que ...
user89389
-1
votos
1
resposta
497
visitas
Como usar scrapy em páginas asp.net
Bom pessoal, minha dúvida é a seguinte:
Tenho que baixa o arquivo excel do produto que contem a descrição "Maíz", Tipo de producto "Los Démas. En grano." e Comercialização "A granel con hasta un 15 % ...
0
votos
1
resposta
528
visitas
Passar uma lista de URL para função Scrapy
Tenho um API em Python que recebe dois argumentos (URL e uma palavra definida pelo usuário) e fornece em arquivo JSON quantas vezes a palavra especificada aparece na URL.
Entretanto, gostaria de ...
