Tengo una lista de muchas empresas. ¿Existe una herramienta de raspado web, sitio web o algo que pueda devolverme su lista de sitios web?

Intenta usar la Wikipedia de Wikipedia. Será de gran ayuda. Tiene versiones fuera de línea y en línea. El único criterio es que la empresa en cuestión debe tener una página wiki.

Estos enlaces pueden ser útiles:
http://wiki.dbpedia.org/
http://wiki.dbpedia.org/Download…
https://en.m.wikipedia.org/wiki/…

DBpedia (de “DB” para “base de datos”) es un proyecto cuyo objetivo es extraer contenido estructurado de la información creada como parte del proyecto Wikipedia. Esta información estructurada se pone a disposición en la World Wide Web. DBpedia permite a los usuarios consultar semánticamente las relaciones y propiedades asociadas con los recursos de Wikipedia, incluidos los enlaces a otros conjuntos de datos relacionados. Tim Berners-Lee ha descrito a DBpedia como una de las partes más famosas del esfuerzo descentralizado de datos enlazados.

(Fuente: Wikipedia)

Espero que esto haya sido útil.

Agregar este bit también evita que la respuesta se contraiga. Esto es realmente doloroso.

Te recomendaría Octoparse, ya que es muy fácil para ti raspar la lista de información de las empresas. Podrías seguir el tutorial ¿Cómo extraer información de LinkedIn? para aprender a extraer ese tipo de información.

Yo también tengo listas de muchas compañías y también tengo sus sitios web. Su pregunta no es lo suficientemente detallada, quiero decir que tengo dudas.

Si tiene una lista de sus respectivas URL, así como dónde está listado su sitio web y desde dónde puede raspar su sitio web como angellist, linkedin o cualquier otra cosa, puede usar herramientas gratuitas como Octoparse, Parsehub (desafortunadamente, estas son lentas) o escriba su guión propio

Si solo obtuviste sus nombres, entonces debes usar algunas herramientas de enriquecimiento que encontrarán su dominio por nombre o buscarán en Google el nombre de cada empresa y eliminarán su URL. Obviamente, le gustaría automatizar eso, pero tenga cuidado porque tengo bloqueada mi cuenta de Google más valiosa. Seguramente no te gustaría eso.

Mira mis listas