624732_es-ES

liliconcom

Extraer datos de una página web con varias páginas de tabla

Hey gente,

Estoy extrayendo datos de una página web pero me encuentro con un problema, no puedo proporcionar la dirección web debido a la IP.

cuando jalo la página, abre una tabla pero no todas las filas; abre las primeras 1000 filas:

 

open("URL", HTML Table(2));

El problema es que tiene 3 páginas si eso tiene sentido ver captura de pantalla

 

mi pregunta es ¿cómo saco las próximas dos páginas?
Gracias

secuencias de comandosRe: Extraer datos de una página web con múltiples páginas de tabla

Cuando selecciona la página siguiente en el sitio web en un navegador, ¿cambia la URL de una manera que pueda descifrar? Si es así, puede ejecutar su secuencia de comandos abierta varias veces, una para cada página/URL, luego use el comando Concatenar() para unir todas las tablas.

Re: Extraer datos de una página web con múltiples páginas de tabla

Intenté esto, la URL sigue siendo la misma, probé page=2. Desafortunadamente, como es un sistema interno que no puedo compartir.

Re: Extraer datos de una página web con múltiples páginas de tabla

Existen varios enfoques, además del @Jed_Campbell idea (que es la más fácil si la barra de direcciones del navegador muestra un cambio de dirección de forma predecible).

 

0. Si el sitio proporciona una API, posiblemente para descansar servicios, esa será la mejor opción. Tal vez pueda pedirle al propietario del sistema una API.

 

o, 1. Use F12 en su navegador (estoy usando FireFox, pero Chrome y Edge son similares). Elija la pestaña de red que le muestra lo que se envía a través de la red. Haga clic en el botón de página siguiente en el sitio web y comience a estudiar las solicitudes que se envían. Es difícil decir con certeza lo que está buscando, pero a menudo serán datos JSON. Verá si fue un POST o GET y qué tipo de encabezados se usaron. Si hay una opción, JSON probablemente será mejor que HTML.

 

o, 2. Esto será significativamente más difícil, pero a menudo funcionará cuando otras opciones fallen. Secuencias de comandos del navegador con Python Selenium

 

 

Extraer datos de páginas web es difícil en el mejor de los casos. En el peor de los casos, algunos sitios intentan activamente evitar que los bots automáticos funcionen, generalmente detectando no es un navegador real o no es un humano real . Los sitios que no actualizan la barra de direcciones utilizan algún tipo de protocolo similar a ajax con JavaScript; eso aparecerá en la ventana F12, quizás con una URL y encabezados fáciles de decodificar. A veces con una cookie o parámetros codificados o contraseña.

 

JMP tiene un manejo especial para las tablas HTML, pero es posible que eso no funcione para usted a menos que haya una URL simple que devuelva cada página como HTML con una tabla. JMP también tiene asistentes de importación de JSON, XML y CSV que pueden ayudar.

Re: Extraer datos de una página web con múltiples páginas de tabla

Si hay JavaScript en la página web para mejorar la solicitud de conversión del algoritmo de marca de tiempo, ¿cómo usar JSL para implementar este algoritmo de JavaScript, de modo que JSL pueda descargar datos a la web sin problemas?

 

Gracias Craig!

 

Re: Extraer datos de una página web con múltiples páginas de tabla

Una API adecuada siempre será la mejor opción. Una API devolverá los datos, generalmente como JSON, sin otros artefactos molestos como ventanas emergentes,

, etc. A veces, las API descansar servicios.

 

Algunos sitios web no quieren ser raspados porque pierden dinero cuando los anuncios no se ven y el ancho de banda cuesta dinero y es posible que tengan que pagar para acceder a los datos que transmiten. Si el sitio quiere asegurarse de que un humano esté usando un navegador real para acceder a los datos, usar Selenium podría violar sus términos de servicio para el raspado de robots. Buscar un navegador que pueda ejecutar JavaScript es una de las comprobaciones que puede hacer un sitio. Un navegador controlado por Selenium ejecuta JavaScript como un navegador normal.

 

Sin Selenium, cuando usa Open() o LoadTextFile() para leer una URL, no hay navegador. El JavaScript es solo parte del texto que se devuelve, no se ejecuta (al igual que el HTML es parte del texto que se devuelve, no se muestra en la pantalla).

 

https://www.google.com/search?q=use+selenium+to+ejecutar+javascript - un montón de ideas si realmente necesita ejecutar Javascript: JSL->Python->Selenium->JavaScript.

Re: Extraer datos de una página web con múltiples páginas de tabla

Gracias Craig!

 

Re: Extraer datos de una página web con múltiples páginas de tablaNo lo he hecho yo mismo, pero creo que puede usar JMP para ejecutar Selenium para cargar la página con el código JavaScript y luego usar Selenium para llamar a las funciones de JavaScript desde JMP. O simplemente puede usar Selenium para operar la página. No intentaría convertir una función de JavaScript a JSL. El JSL+Python+Selenium en la publicación del blog está haciendo más o menos lo que estás describiendo... un robot que opera un navegador real para raspar una página web, incluso proporcionando una contraseña.Re: Extraer datos de una página web con múltiples páginas de tabla

Ok, ya veo, estudié tu publicación de blog cuidadosamente.

 

Gracias Craig!