web scraping en portales como idealista

makaveli_sano

Himbersor
Desde
18 Mar 2020
Mensajes
1.365
Reputación
2.565
Según sus normas o condiciones esta prohibido hacer scraping en su portal web, para extraer datos.

Mi idea es hacerlo para mostrar info(en un sitio web) sobre la evolución de precios de las viviendas en españa, sin dar muchos detalles.

¿es realmente ilegal? ¿voy pillando un abogado?
 
en qué parte dicen eso de que no es legal?
 
makaveli_sano dijo:
Según sus normas o condiciones esta prohibido hacer scraping en su portal web, para extraer datos.

Mi idea es hacerlo para mostrar info(en un sitio web) sobre la evolución de precios de las viviendas en españa, sin dar muchos detalles.

¿es realmente ilegal? ¿voy pillando un abogado?
Hacer clic para expandir...
saca datos de otras webs tambien.
 
Yo extraería unos cuantos datos nada más.

Poquitos para que no se enfaden.
 
No.

Vi una startup financiada por BBVA. Donde recogían datos de los precios de productos de todo un sector era tan bueno el software que te decían cuando hacian las ofertas y todo...encima con un histórico de precios y ofertas...

Eso si este software picaba un poco y dependiendo de cuanto pagaras te dejaban acceder al historico de precios de X empresas y X cantidad de productos.

Si fuera ilegal el BBVA no lo hubiera financiado...

Si la encuentro la startup esta te la paso por MP.
 
Cualquier cosa que está en Internet es de dominio público.

Ellos pueden decir misa. Otra cosa es que quieras copiar su web y comerciar con una réplica de idealista, y encima en un alojamiento de legislación europea.
 
tremenk dijo:
No.

Vi una startup financiada por BBVA. Donde recogían datos de los precios de productos de todo un sector era tan bueno el software que te decían cuando hacian las ofertas y todo...encima con un histórico de precios y ofertas...

Eso si este software picaba un poco y dependiendo de cuanto pagaras te dejaban acceder al historico de precios de X empresas y X cantidad de productos.

Si fuera ilegal el BBVA no lo hubiera financiado...

Si la encuentro la startup esta te la paso por MP.
Hacer clic para expandir...


gracias, por lo que comentan, sería ilegal si se trataría de un plagio como tal, pero en este caso, es solo para tema estadístico y ni mucho menos tumbar el servidor haciendo peticiones constantes.
 
Podrías explicar a grandes rasgos como se puede hacer lo que comentas? Estaría bien incluso para uso casero si no es demasiado complicado
 
makaveli_sano dijo:
Según sus normas o condiciones esta prohibido hacer scraping en su portal web, para extraer datos.

Mi idea es hacerlo para mostrar info(en un sitio web) sobre la evolución de precios de las viviendas en españa, sin dar muchos detalles.

¿es realmente ilegal? ¿voy pillando un abogado?
Hacer clic para expandir...

Yo intenté hacerlo y tienen protección, no dediqué mucho tiempo a intentar romperla porque, teniendo medidas expresas para evitar el scrapping, me parece que legalmente es bastante pantanoso. Luego vi que tienen una API pública, pedi acceso y me lo dieron, pero muy limitado (100 peticiones al mes si no recuerdo mal, que no me llega para lo que quería hacer).

https://www.idealista.com/labs/

Con fotocasa sí que funciona el scrapping. Les escribí para ver si tienen una API para controlar accesos o algo así para fastidiarles lo menos posible y me dijeron que no. Al final tampoco hice nada, pero bueno.
 
Rodolfo Langostino dijo:
Podrías explicar a grandes rasgos como se puede hacer lo que comentas? Estaría bien incluso para uso casero si no es demasiado complicado
Hacer clic para expandir...

¿Sabes programar?

Python tiene una librería muy famosa, scrappy, para estas cosas. Es lo que se usa hoy en día, pero no la controlo.

Pero bueno, se puede acceder con cualquier lenguaje que tenga una librería cliente para web (hoy en día, prácticamente todos). Básicamente el programa hace una petición a la web (como si fuera un navegador), y extrae los datos que interesen. es un ****** porque en cuanto cambien el formato de la página se va todo tu trabajo a la fruta.
 
anonimocobarde dijo:
Yo intenté hacerlo y tienen protección, no dediqué mucho tiempo a intentar romperla porque, teniendo medidas expresas para evitar el scrapping, me parece que legalmente es bastante pantanoso. Luego vi que tienen una API pública, pedi acceso y me lo dieron, pero muy limitado (100 peticiones al mes si no recuerdo mal, que no me llega para lo que quería hacer).

https://www.idealista.com/labs/

Con fotocasa sí que funciona el scrapping. Les escribí para ver si tienen una API para controlar accesos o algo así para fastidiarles lo menos posible y me dijeron que no. Al final tampoco hice nada, pero bueno.
Hacer clic para expandir...
Necesitas cambiar de proxy con herramientas de pago

Crawlera - The World's Smartest Rotating Proxy Web Scraping Network

Scrapy Cloud - The Most Advanced Platform for Running Web Crawlers
 
Iniciar sesión o registrarte para responder aquí.
Volver