JustDial tiene un ejército de rastreadores web (tuve la suerte de trabajar en ese equipo hace unos años)
Utilizan scripts de perl y shell para rastrear un sitio web específico. Así es como funciona.
- Primero, si no hay datos para un sitio web en particular en la base de datos JD, se asigna un sitio web a un desarrollador.
- Escribe un script en perl para rastrear todo el sitio y enviar el resultado final al equipo de DB.
- El equipo de base de datos agrega el resultado a las bases de datos según la categoría
- El mismo sitio web se rastrea periódicamente (una vez cada 2/3/4/5/6 meses según la necesidad)
- El equipo de DB verifica si hay algún registro nuevo presente que esté disponible en la hoja final y que no esté disponible en DB y viceversa.
- El equipo de base de datos agrega / elimina el registro en / de la base de datos
y bingo,
Así es como la base de datos siempre se actualiza con nueva información.
Sin embargo, hay una instalación donde los propietarios de las empresas pueden solicitar a JD que agregue su información
- ¿Cómo ganan dinero los sitios de comercio electrónico?
- ¿Qué tipo de servicios de integración proporciona Magento?
- ¿Cuál es el mejor servicio de verificación de dirección internacional?
- ¿Qué es mejor para un comercio electrónico, Magento o WordPress?
- ¿Cuál es la mejor manera de crear un sitio de comercio electrónico multilingüe?