여러 테이블 페이지가 있는 웹 페이지에서 데이터 가져오기여러분,
웹 페이지에서 데이터를 가져오고 있는데 문제가 발생하여 IP로 인해 웹 주소를 제공할 수 없습니다.
페이지를 당기면 테이블이 열리지만 모든 행이 열리지는 않습니다. 처음 1000개의 행이 열립니다.
open("URL", HTML Table(2));문제는 스크린 샷을 참조하는 것이 의미가 있다면 3 페이지가 있다는 것입니다.
내 질문은 다음 두 페이지를 어떻게 가져오나요?
감사합니다
스크립팅Re: 여러 테이블 페이지가 있는 웹페이지에서 데이터 가져오기브라우저에서 웹 사이트의 다음 페이지를 선택하면 URL이 해독할 수 있는 방식으로 변경됩니까? 그렇다면 열린 스크립트를 각 페이지/URL에 대해 하나씩 여러 번 실행한 다음 Concatenate() 명령을 사용하여 모든 테이블을 함께 가져올 수 있습니다.
Re: 여러 테이블 페이지가 있는 웹페이지에서 데이터 가져오기나는 이것을 시도했지만 URL은 동일하게 유지되었으며 page=2를 시도했습니다. 안타깝게도 내부 시스템으로 공유할 수 없습니다.
Re: 여러 테이블 페이지가 있는 웹페이지에서 데이터 가져오기이외에도 여러 가지 접근 방식이 있습니다. @Jed_Campbell 아이디어(브라우저의 주소 표시줄에 예측 가능한 방식으로 주소 변경이 표시되는 경우 가장 쉬운 방법입니다.)
0. 사이트에서 API를 제공하는 경우 나머지 최고의 선택이 될 서비스입니다. 시스템 소유자에게 API를 요청할 수 있습니다.
또는, 1. 브라우저에서 F12를 사용하세요(저는 FireFox를 사용하고 있지만 Chrome과 Edge는 비슷합니다). 네트워크를 통해 전송된 내용을 보여주는 네트워크 탭을 선택합니다. 웹 사이트에서 다음 페이지 버튼을 클릭하고 전송된 요청을 연구하기 시작합니다. 무엇을 찾고 있는지 확실히 말하기는 어렵지만 JSON 데이터인 경우가 많습니다. POST인지 GET인지, 어떤 종류의 헤더가 사용되었는지 확인할 수 있습니다. 선택권이 있다면 JSON이 HTML보다 나을 것입니다.
또는, 2. 이것은 훨씬 더 어렵지만 다른 선택이 실패할 때 종종 작동합니다. Python Selenium을 사용한 브라우저 스크립팅
최상의 경우 웹 페이지에서 데이터를 스크랩하는 것은 어렵습니다. 최악의 경우 일부 사이트는 자동화된 봇이 작동하지 않도록 적극적으로 시도하고 있습니다. 실제 브라우저가 아님 또는 진짜 인간이 아니다 . 주소 표시줄을 업데이트하지 않는 사이트는 JavaScript와 함께 일종의 ajax와 유사한 프로토콜을 사용하고 있습니다. 해독하기 쉬운 URL 및 헤더와 함께 F12 창에 표시됩니다. 때로는 쿠키나 인코딩된 매개변수 또는 비밀번호를 사용합니다.
JMP에는 HTML 테이블에 대한 특수 처리 기능이 있지만 테이블이 있는 HTML로 각 페이지를 반환하는 간단한 URL이 없으면 작동하지 않을 수 있습니다. JMP에는 도움이 될 수 있는 JSON, XML 및 CSV 가져오기 마법사도 있습니다.
Re: 여러 테이블 페이지가 있는 웹페이지에서 데이터 가져오기타임스탬프 알고리즘 변환 요청을 개선하기 위해 웹 페이지에 JavaScript가 있는 경우 JSL을 사용하여 이 JavaScript 알고리즘을 구현하여 JSL이 웹 데이터에 원활하게 다운로드할 수 있도록 하는 방법은 무엇입니까?
크레이지 감사합니다!
Re: 여러 테이블 페이지가 있는 웹페이지에서 데이터 가져오기적절한 API는 항상 최선의 선택입니다. API는 팝업,
등과 같은 다른 성가신 아티팩트 없이 일반적으로 JSON으로 데이터를 다시 보냅니다.
나머지 서비스.
일부 웹 사이트는 광고를 보지 않을 때 손실이 발생하고 대역폭에 비용이 들며 전달하는 데이터에 대한 액세스 비용을 지불해야 할 수 있기 때문에 스크랩되는 것을 원하지 않습니다. 사이트에서 사람이 실제 브라우저를 사용하여 데이터에 액세스하는지 확인하려는 경우 Selenium을 사용하면 로봇 스크래핑에 대한 서비스 약관을 위반할 수 있습니다. JavaScript를 실행할 수 있는 브라우저를 확인하는 것은 사이트에서 수행할 수 있는 확인 중 하나입니다. Selenium이 제어하는 브라우저는 일반 브라우저처럼 JavaScript를 실행합니다.
Selenium이 없으면 Open() 또는 LoadTextFile()을 사용하여 URL을 읽을 때 브라우저가 없습니다. JavaScript는 반환되는 텍스트의 일부일 뿐 실행되지 않습니다(HTML이 디스플레이에 렌더링되지 않고 반환되는 텍스트의 일부인 것과 같습니다).
https://www.google.com/search?q=use+selenium+to+run+javascript - 실제로 일부 Javascript:을 실행해야 하는 경우 많은 아이디어 제공 JSL->Python->Selenium->JavaScript.
크레이지 감사합니다!
Re: 여러 테이블 페이지가 있는 웹페이지에서 데이터 가져오기직접 하지는 않았지만 JMP를 사용하여 Selenium을 실행하여 JavaScript 코드가 있는 페이지를 로드한 다음 Selenium을 사용하여 JMP에서 JavaScript 함수를 호출할 수 있다고 생각합니다. 또는 Selenium을 사용하여 페이지를 조작할 수도 있습니다. JavaScript 함수를 JSL로 변환하려고 시도하지 않습니다. 블로그 게시물의 JSL+Python+Selenium은 당신이 설명하는 것과 거의 동일합니다. 실제 브라우저를 작동하여 웹 페이지를 스크랩하고 암호를 제공하는 로봇입니다.Re: 여러 테이블 페이지가 있는 웹페이지에서 데이터 가져오기알겠습니다. 귀하의 블로그 게시물을 주의 깊게 연구했습니다.
크레이지 감사합니다!
