Trabajo en Scrapinghub (que proporciona una plataforma de raspado y servicios de raspado profesionales) y puedo decir cuánto trabajo de mantenimiento requiere la parte de raspado de datos.
Las arañas scrapy escritas profesionalmente requieren muy poco mantenimiento, es decir, algunas arañas funcionan diariamente durante años.
Sin embargo, realmente depende del tipo de sitios web que esté rastreando.
La mayoría de los métodos de captura de datos en cualquier tipo de araña dependen del diseño del sitio web, por lo que siempre que un sitio web no cambie mucho, la araña seguirá funcionando como se esperaba.
Por ejemplo, los sitios web del gobierno están destinados a ser realmente a largo plazo, por lo que no cambian mucho en absoluto, mientras que los sitios web de pequeñas empresas a veces externalizan algunas de sus páginas (como páginas de solicitud de empleo) a servicios de terceros y lo cambian cada vez que sienten que da como resultado necesitas reescribir toda la araña.
Por lo tanto, siempre y cuando sus arañas estén escritas lo suficientemente bien como para no romper pequeños cambios en el sitio web, se requiere muy poco trabajo de mantenimiento y los sitios web rara vez tienden a cambiar de manera significativa para romper las arañas por completo.
- ¿Qué debe hacer si su compañero / colega está cometiendo mala conducta o violando el código de conducta de la empresa?
- ¿Por qué tantas compañías indias están cambiando su base a Singapur?
- ¿Las compañías tecnológicas le permiten tener una copia del código que ha escrito?
- ¿Has ganado dinero de compañías de dividendos mensuales?
- ¿Qué le sucedió a la compañía Air Fuel Synthesis que afirmó ser capaz de "extraer gasolina del aire"?