web scraping en portales como idealista

jorobachov dijo:

No se , a mi phantomjs me ha funcionado siempre bien y he combinado selenium y librerías de Python para pasear html. Un ban te lo puedes saltar con la chorra eliminando cookies y mandando al router una orden de renegociado de la IP vía telnet o puedes usar proxies de pago , que no son caros y son IPS que no están quemadas ni metidas en bases de datos de servicios antiscraping.

Hacer clic para expandir...

si claro, pero ya te digo que tienen un sistema antiscrapping comercial y eso no va solo por IP y agent, eso seguro que have perfilado de patrones de navegación, fingerprinting y mil cosas más. Probaré a ver

Vamos tengo contacto con una startup de Tel Aviv que hacen soft anti embeleco de click ppc y hacen casi 1000 tests para validar la autenticidad de los visitantes. Con eso te lo digo todo.

Busca negociar IP con proveedor de servicios o algo así. La cuestión es que si accedes al sistema Unix del router a través de una sesión telnet o SSH , tienes acceso a un montón de funciones , incluida solicitar la nueva IP pública. Yo con routers neutros hacia virguerías. En temas de scraping y resolución de sistemas captcha he trabajado mucho.

Hoy en día esos marketplaces están muy protegidos.

Tu igual ves idealista pero detrás está una empresa que tiene webs como esa en 10 paises y pueden tener fácil 10 tíos solo dedicandose a que no les hagan eso.

Hacen un sistema de la virgen y lo ponen en sus 30 webs.

Si es un portal paco podrás scrapear lo que quieras pero normalmente un portal paco no tiene el volumen suficiente como para que te compense montar todo el tinglao.