複数のテーブル ページを含む Web ページからのデータのプル皆さん、
Web ページからデータを取得していますが、問題が発生しました。IP が原因で Web アドレスを提供できません。
ページをプルすると、テーブルが開きますが、すべての行ではなく、最初の 1000 行が開きます。
open("URL", HTML Table(2));問題は、それが理にかなっている場合は3ページあることです。スクリーンショットを参照してください
私の質問は、次の 2 ページをプルするにはどうすればよいですか?
ありがとう
スクリプティングRe: 複数のテーブル ページを含む Web ページからデータを取得するブラウザで Web サイトの次のページを選択すると、URL は解読できるように変化しますか? その場合は、open スクリプトを複数回 (ページ/URL ごとに 1 回) 実行し、Concatenate() コマンドを使用してすべてのテーブルをまとめることができます。
Re: 複数のテーブル ページを含む Web ページからデータを取得するこれを試してみましたが、URLは同じままです。page = 2を試しました。 残念ながら、内部システムとして共有することはできません
Re: 複数のテーブル ページを含む Web ページからデータを取得するに加えて、いくつかのアプローチがあります。 @Jed_Campbellアイデア (ブラウザのアドレス バーが予測可能な方法でアドレスの変更を示している場合、これは最も簡単です。)
0. サイトが API を提供している場合、おそらく休みサービス、それが最良の選択になります。 システムの所有者に API を依頼することもできます。
または、1。 ブラウザで F12 を使用します (私は FireFox を使用していますが、Chrome と Edge は似ています)。 ネットワーク経由で送信される内容を表示するネットワーク タブを選択します。 Web サイトの [次のページ] ボタンをクリックして、送信されたリクエストの調査を開始します。 探しているものを確実に言うのは難しいですが、多くの場合、JSON データです。 それが POST または GET であったかどうか、およびどのような種類のヘッダーが使用されたかがわかります。 選択肢がある場合、JSON は HTML よりも優れている可能性があります。
または、2。 これは非常に難しくなりますが、他の選択肢が失敗したときにうまくいくことがよくあります。 Python Selenium を使用したブラウザ スクリプト
Web ページからデータをスクレイピングするのは、最善の場合でも困難です。 最悪の場合、一部のサイトは自動化されたボットの動作を積極的に阻止しようとしています。本物のブラウザではないまた本物の人間ではない. アドレス バーを更新しないサイトは、JavaScript である種の ajax のようなプロトコルを使用しています。これは、F12 ウィンドウに表示され、おそらく簡単にデコードできる URL とヘッダーが表示されます。 場合によっては、Cookie またはエンコードされたパラメーターまたはパスワードを使用します。
JMP には HTML 表に対する特別な処理がありますが、各ページを表付きの HTML として返す単純な URL がない限り、うまく機能しない可能性があります。 JMP には、役立つ JSON、XML、および CSV インポート ウィザードもあります。
Re: 複数のテーブル ページを含む Web ページからデータを取得するタイムスタンプ アルゴリズム変換の要求を改善するために Web ページに JavaScript がある場合、JSL を使用してこの JavaScript アルゴリズムを実装し、JSL が Web データにスムーズにダウンロードできるようにする方法を教えてください。
ありがとうクレイジ！
Re: 複数のテーブル ページを含む Web ページからデータを取得する適切な API が常に最良の選択です。 API は、ポップアップや
などの迷惑なアーティファクトなしで、通常は JSON としてデータを返します。
休みサービス。
一部の Web サイトは、広告が表示されない場合に損失を被ったり、帯域幅にお金がかかったり、渡すデータへのアクセスに料金を支払わなければならない場合があるため、スクレイピングされたくない場合があります。 サイトが人間が実際のブラウザーを使用してデータにアクセスしていることを確認したい場合、Selenium を使用すると、ロボットによるスクレイピングの利用規約に違反する可能性があります。 JavaScript を実行できるブラウザーを確認することは、サイトで実行できる確認の 1 つです。 Selenium によって制御されるブラウザは、通常のブラウザと同じように JavaScript を実行します。
Selenium がなければ、Open() または LoadTextFile() を使用して URL を読み取る場合、ブラウザはありません。 JavaScript は返されるテキストの一部にすぎず、実行されません (HTML が返されるテキストの一部であり、ディスプレイにレンダリングされないのと同様です)。
https://www.google.com/search?q=use+selenium+to+run+javascript - Javascript: を実際に実行する必要がある場合のアイデアの束。 JSL->Python->Selenium->JavaScript。
ありがとうクレイジ！
Re: 複数のテーブル ページを含む Web ページからデータを取得する私自身は実行していませんが、JMP を使用して Selenium を実行し、ページに JavaScript コードをロードしてから、Selenium を使用して JMP から JavaScript 関数を呼び出すことができると思います。 または、Selenium を使用してページを操作することもできます。 JavaScript 関数を JSL に変換しようとはしません。 ブログ投稿のJSL + Python + Seleniumは、あなたが説明していることのほとんどを行っています...実際のブラウザを操作してWebページをスクレイピングし、パスワードを提供するロボットです。Re: 複数のテーブル ページを含む Web ページからデータを取得するわかりました、あなたのブログ投稿を注意深く調べました。
ありがとうクレイジ！
