从具有多个表格页面的网页中提取数据嘿伙计，
我正在从网页中提取数据但遇到问题，由于 IP 问题，我无法提供网址。
当我拉动页面时，它会打开一个表，但不会打开所有行 - 它会打开前 1000 行：
open("URL", HTML Table(2));问题是它有 3 页，如果有意义的话请看屏幕截图
我的问题是如何拉出接下来的两页？
谢谢
脚本回复：从具有多个表格页面的网页中提取数据当您在浏览器中选择网站上的下一页时，URL 是否以您可以破译的方式发生变化？ 如果是这样，您可以多次运行您的打开脚本，每个页面/URL 一次，然后使用 Concatenate() 命令将所有表放在一起。
回复：从具有多个表格页面的网页中提取数据我试过这个 URL 保持不变，我试过 page=2。 不幸的是，作为一个内部系统，我无法分享
回复：从具有多个表格页面的网页中提取数据有几种方法，除了@Jed_Campbell想法（如果浏览器的地址栏以可预测的方式显示地址更改，这是最简单的。）
0. 如果站点提供 API，可能用于休息服务，那将是最好的选择。 或许你可以向系统的所有者索取 API。
或者，1。 在浏览器中使用 F12（我使用的是 FireFox，但 Chrome 和 Edge 类似）。 选择显示通过网络发送的内容的网络选项卡。 单击网站上的下一页按钮并开始研究发送的请求。 很难确定您在寻找什么，但通常是 JSON 数据。 您会看到它是 POST 还是 GET 以及使用了哪种标头。 如果有选择的话，JSON 可能会比 HTML 更好。
或者，2。 这将更加困难，但通常会在其他选择失败时起作用。 使用 Python Selenium 编写浏览器脚本
在最好的情况下，从网页中抓取数据是很困难的。 在最坏的情况下，一些网站会积极尝试阻止自动机器人工作，通常是通过检测不是真正的浏览器或者不是真正的人. 不更新地址栏的站点正在使用某种类似 ajax 的 JavaScript 协议；这将显示在 F12 窗口中，可能带有易于解码的 URL 和标题。 有时使用 cookie 或编码参数或密码。
JMP 对 HTML 表格有特殊处理，但这可能对您不起作用，除非有一个简单的 URL 将每个页面作为带有表格的 HTML 返回。 JMP 还具有可能有用的 JSON、XML 和 CSV 导入向导。
回复：从具有多个表格页面的网页中提取数据如果网页中有JavaScript来完善时间戳算法转换的请求，如何使用JSL来实现这个JavaScript算法，让JSL顺利下载到网页数据呢？
感谢克雷奇！
回复：从具有多个表格页面的网页中提取数据合适的 API 永远是最好的选择。 API 将发回数据，通常作为 JSON，没有其他烦人的工件，如弹出窗口、
等。API 有时是
休息服务。
一些网站不想被抓取，因为当广告不被浏览时它们会亏损，而且带宽会花钱，而且它们可能不得不为访问它们传递的数据付费。 如果网站想要确保人们使用真实的浏览器访问数据，使用 Selenium 可能会违反他们的机器人抓取服务条款。 检查可以运行 JavaScript 的浏览器是站点可以执行的检查之一。 由 Selenium 控制的浏览器就像普通浏览器一样运行 JavaScript。
如果没有 Selenium，当您使用 Open() 或 LoadTextFile() 读取 URL 时，就没有浏览器。 JavaScript 只是返回的文本的一部分，而不是执行（就像 HTML 是返回的文本的一部分，而不是呈现给显示器一样）。
https://www.google.com/search?q=use+selenium+to+run+javascript - 如果您确实需要运行一些 Javascript，请提供一些想法: JSL->Python->Selenium->JavaScript。
谢谢克雷格！
回复：从具有多个表格页面的网页中提取数据我自己没有做过，但我相信您可以使用 JMP 运行 Selenium 以加载带有 JavaScript 代码的页面，然后使用 Selenium 从 JMP 调用 JavaScript 函数。 或者你也可以直接使用Selenium来操作页面。 我不会尝试将 JavaScript 函数转换为 JSL。 博客文章中的 JSL+Python+Selenium 所做的几乎与您所描述的一样......一个机器人操作一个真正的浏览器来抓取网页，甚至提供密码。回复：从具有多个表格页面的网页中提取数据好的，我明白了，我仔细研究了你的博文。
感谢克雷奇！
