gilsondev/buscaimoveis-scraper

Projeto que coleta anúncios de imóveis a venda em grandes plataformas como OLX, Zap Imóveis, etc

Busca Imóveis Scraper

Projeto voltado para raspagem de anúncios de imóveis a venda nas plataformas conhecidas como por exemplo OLX e ZAP Imóveis.

Instalação

1. Faça o checkout do projeto:

$ git clone https://github.com/gilsondev/buscaimoveis-scraper.git

2. Crie o ambiente virtual e instale as dependências:

$ cd buscaimoveis-scraper
$ python3 -m venv .venv

$ source .venv/bin/activate
$ pip install -r requirements.txt

3. Rode o spider desejado. Nesse exemplo irei buscar vendas na OLX.

$ scrapy crawl olx

OBS.: Por enquanto é raspado vendas de imóveis no Distrito Federal somente, mas em breve estará flexível para outros estados.

Os dados coletados segue a estrutura de exemplo abaixo:

{
  "_id": "<id do documento>",
  "url": "http://df.olx.com.br/distrito-federal-e-regiao/imoveis/setor-total-ville-433892765",
  "type": "Venda - apartamento padrão",
  "tax": "R$ 100,00",
  "garage": 1,
  "price": " R$ 97.000,00",
  "created_at": "ISODate('2018-01-04T16:56:42.669Z')",
  "rooms": 2,
  "posted_at": "4 Janeiro às 16:15",
  "image": "http://img.olx.com.br/images/35/357804005117894.jpg",
  "district": "Santa Maria",
  "cep": "72505-222",
  "area": "",
  "title": "Setor Total Ville",
  "description": "Descrição do anúncio",
  "owner": "Nome do Dono do imóvel"
  "city": "Brasília",
  "phone": "(61) 99999-9999"
}

Como Contribuir

Veja mais no arquivo CONTRIBUTING.md, as formas de ajudar com o projeto, e o AUTHORS.md para saber quem estão a frente e que pode te auxiliar.

buscaimoveis-scraper's Issues

Corrigir Regex de telefone do OLX Spider

Corrigir regex usado no OLX spider, especificamente no TreatmentPipeline, em que confunde o telefone com CEP e alguns números pegam letras. Segue exemplos:

# Isso é CEP
72310-309

# Telefone com caracteres não numéricos
992682480z
061 984621074(

Alguns furos no pipeline de Anuncios Profissionais

No CompaniesPipeline ele remove anuncios feitos por imobiliárias e corretores em geral, mas alguns acabam passando como os exemplos abaixo:

• Anúncios de compra de ágil
• Filtrar palavras como "corretor" e não somente o creci

Inserir parâmetro de estado para raspagem

Ao iniciar a raspagem dos spiders, passar um parâmetro estado para que possa coletar anúncios somente da localidade desejada. Exemplo:

$ scrapy crawl olx -a estado=go

Dessa forma ele vai buscar a partir do go.olx.com.br.

Captura de alugueis

Evoluir o spider de capturas de anúncios de imóveis, também para os alugueis.