281528_zh-CN

liliconcom

数据表和相关 JSL 工具中的图像 (2020-US-30MP-585)

级别：中级

 

Heidi Hardner，Seagate Technology 高级工程师
Serkay Olmez，Seagate Technology 高级数据科学家

 

Keras /TensorFlow 深度学习项目激发了一组 JSL 插件来处理 JMP 数据表中的图像。 反过来，新工具揭示了嵌入图像对于我们更传统的 JMP 分析的广泛适用性。 JMP 能够将图像合并到表格中已有一段时间了，但我们尚未充分利用它。 我们将分享我们在采用此功能时发现的价值以及一套脚本化工具来帮助释放该价值。 JSL 工具包括将图像拉入表格、检查、标记和测量图像，以及将它们导出到 PowerPoint 或导出到具有基于其他数据列的组织和属性的文件结构。

 

 

自动生成的成绩单...

 

扬声器	成绩单
海蒂·哈德纳	大家好，我是海蒂·哈德纳，在明尼苏达州明尼阿波利斯与您通话。
塞尔凯·奥尔梅兹	这位是 Serkay Olmez，我是从科罗拉多州朗蒙特拨通的。
海蒂·哈德纳	我们在 Seagate Technology 工作，长期使用 JMP 和 JSL，并与同事共享 JMP 脚本。 我们将演示来自 ??? 的一些用例JMP 数据表中的图像，我们将分享一些相关的 JSL 工具。
	在希捷，记录头经历了大量的工厂流程，从晶圆厂到安装在驱动器中。
	因此，我们经常查看非常广泛的数据，其中每个头都是一行，并且有很多很多列。
	由于许多过程产生的图像可能包含每个头的许多不同图像，或者我们可能有来自多个头的非常高的数据通过单个过程，在计量图像中看起来非常相似。
	我们今天的下载数据集不是希捷图像，但它们与这些情况有相似之处，我希望绘制这些相似之处可以帮助您绘制与您自己的用例的相似之处。
	JMP 拥有图像和数据表已有好几年了，但我个人对它的欣赏速度很慢。
	我希望您能在这些用例中看到它的价值的不同方式，特别是通过图像与其他数据的灵活交互连接。
	我还想强调在表中存储图像路径的价值，特别是如果您可以拥有共享路径。
	最后，我们将分享我们将在支持材料中演示的 JSL。 这就是字面上的意思。 本 PowerPoint 末尾有一个目录。
	对图像有用的大部分探索都非常基础，我们的脚本无需 JSL 知识即可使用，但它们还包含您可以在自己的 JMP 脚本中构建的广泛内容。
	这三件事包括可公开访问的图像路径，直到我的第二个要点。
	第一个是来自 Mets 在线目录的数据表。 它包括数据表中每个对象或行多个图像的示例。
	浏览目录对我来说是一个巨大的兔子洞，我强烈推荐。 第二个数据集是天文图像。 他们要感谢科学天文台小屋的拉斯·德基 (Russ Durkee)。
	这是每图像行计量数据，乍一看，图像彼此非常相似。 因此，请注意与我刚才所说的有关我们的录音头工厂数据用例的相似之处。
	说到我一直在烦恼的兔子洞，第三件事是实现 Omeka API 的 JSL
	在线访问学术收藏。 感谢 Heather Shirey 博士帮助访问这些数据库。 她的城市艺术测绘项目，这是另一件有趣的事情，你应该去网上看看。
	但这里的技术要点是，任何人都可以使用此代码来体验查询数据库并获得将图像路径与其他数据混合的结果，以形成我们的工具所围绕的表格。
	因此，我们将直接进行 JMP 中的现场演示。 在我们查看这些类型的数据集之前，如果您只有一堆图像怎么办？
	文件夹中的图像表。 这样做的目的是我们可以选择一个文件夹。 我有一个文件夹，里面有一些示例图像
	满足目录数据。 你可以看到它有一些文件夹，当我选择这个文件夹时，我很快就会得到一个表格
	在列中将所有这些选项卡添加到图像。 它被挖掘出来寻找它认为是图像的文件扩展名，并且它还分割了一些文件夹
	您知道，子文件夹作为数据中的属性。 现在，我们经常遇到这样的用例，其中文件夹名称是您希望拥有数据的某种有意义的属性的数量。
	这是一个您可以在我的 Seagate 版本中进一步自定义的脚本，通常我在文件名中嵌入了一个头标识符，因此我对其自动内置到我自己的个人版本的此脚本中进行了解析。
	很快，让我们看看我们的主要示例数据集之一。 这就是我提到的博物馆数据。 所以这是更丰富的，你可以看到它有
	每个对象都有一行，但它有一些数字数据。 没错，它列出了对象。 它有一堆属性数据。 于是就有了一堆...
	这里有更丰富的数据集。 但是如果我们滚动鼠标，您可以看到数据集的内部是图像的路径、图像所在的 URL
	已托管，您可以看到其中某些行最多有五个不同的图像。
	因此，我的第二个工具图像表重要图像实际上是将图像带入表中的所有工具，并且它可以容纳多个路径。 这些也可以是本地路径。 它们不必是 URL。
	一旦共享了演示数据，您将能够获得... Tt已经完成了。 我想快速地说...快速谈论它在幕后所做的事情。
	当 JMP 打开可识别图像的内容时，它可以是图像对象。 图像对象可以接收大量 JSL 命令消息，例如获取大小、获取像素、保存图像。 您将在我们共享的代码中看到这些内容。
	走吧，我想看看结果。 ...将图像放入表格中。 除了粘贴图像之外，该脚本还做了一些事情。
	这是......让我打开另一个关于此的其他代码片段的示例。 所以图像，它们放在列中，一个表达式类型列，所以它正在创建一个表达式数据类型，如何将图像放入其中。
	我还为该列创建了一个事件处理程序。 这是对图形框使用特殊消息，将图像添加到图像对象并直接添加到图形框中。 我会告诉你那是做什么的，但它是，它是...... 单击事件处理程序。
	而且它也在调整大小，所以事实上它变高了以容纳更大一点的东西。
	这是你可以做的事情，我的脚本就是这么做的，而且默认情况下，你知道，如果你把图像放进去，你可能会得到像这样很小的东西，这可能很酷
	看到一个大数组，但也许值得知道的是，你知道，这似乎是，我不知道我如何才能看到我的图像在 JMP 中应该如此之小，你也可以手动加宽它们。
	该脚本也将自身嵌入到表中。 知道如何做是一件有用的事情，这里的逻辑是，你知道，
	当我们嵌入所有这些图像时，数据表变得非常大，并且它是嵌入的完整图像
	发生这种情况时嵌入的完整图像的数据，因此我可能想将此数据集发送给某人，并让他们能够在不了解我的特殊工具菜单的情况下获取此数据。 他们可以运行它来重新导入图像。
	在单击时，我想展示的是，当您单击此按钮时，它会在此处生成完整尺寸或更大版本的图像供您查看。
	正如我所说，数据表中包含图像的许多优点其实都是非常简单的 JMP 探索功能。 例如，我可以对这些列进行重新排序。
	只需将它们移至其他一些位置，查看整个文件大小表就会更有趣。
	这样，你知道，我可以浏览，我可以排序，我可以在这里看到我按多少图像排序，或者按多少图像排序行。
	因此，如果我向下滚动，我可以直观地看到，通过重新排列，在这些旁边获得不同的感兴趣的列。 我实际上可以在网格中获得很多图像。
	在桌子上。 在这里，我有这个组，并制作了我自己的分组栏。 所以我可以重新安排。 只需重新排序列，我就可以将其粘贴在图像旁边。
	如果我想通过滚动来回顾一下。 因此，大量的移动、排序和重新排列就是将图像放在一个集合中的好处的一部分。
	桌子。因此，我的个人用例之一是监视来自图像的一些重要指标，在我的例子中，它们实际上来自不同图像的组合。
	我会查看这些数据或寻找数据中反复出现的异常值和可疑模式。
	在这个用例中，我不会有 85 个，我正在查看数万行，并且图像将成为探索数据问题等有用的部分。
	让我在这里制作一个示例图……在本例中，这些博物馆物品的高度乘宽度。 让我快速返回并展示您可以做的一件事。 通过右键单击此处，我可以在第一列中制作一个标签。
	因此，如果我查看数据，我可以检查这一点并说有一些突出的东西。 为什么它的宽度比高度大得多？ 嗯，那不是一个错误。 实在是太宽了
	那里有艺术品，所以这是有道理的。 所以我可以，你知道，弹出一个事实。 如果我有很多我感兴趣的不同的东西夹在这个集群中，那么看起来好像有很多
	这些身材相似的家伙，也许看起来很有趣。
	再说一遍，我可以，我可以用标签单独查看它们。 但如果我的数据真的很大，我可以做其他探索性的事情。 我可以返回数据并使用 F7 进行翻页
	对于已经选择的事情。 当然，通过选择一些东西，我可以将其中一些子集化以获得，你知道，获得
	只是一个较小的数据集。 我想展示的探索性内容之一，也是我最喜欢的内容之一，是行选择。
	我可以做名称选择和列。 所以说这是一种奇怪的模式，并且已经知道我想称其为奇怪的，这样做。
	我想说，嘿，这些是我想要检查的数据中的一些奇怪的东西。 它将在最后给我一个专栏，用 1 和 0 来表示事物是否奇怪。
	其有用之处在于，让我们想象一下我的数据集非常大。 所以只需翻阅它们即可。 不太好。
	假设它太大了，我不想把图像放在那里。 我不想拉他们进来，那是不可能的。 所以我带着我的数据集回来了。
	我有一些我感兴趣的怪人。 我可以转到子集，而不是仅仅对所有子集进行子集化，比如说这个组中可能有数千个子集，我可以使用该列来进行分层。
	所以在这里我可以说，我只选择了 11 个，所以假设我要选择 5 个。 我将选择对奇怪的人进行分层。
	我将得到的是随机选择的五个怪人和五个非怪人，你知道，在这里我可以，我可以对它们进行排序，然后我可以将图像带回来。 所以现在我可以说，好吧，我只是想看看，
	也许我只是想看一和二，无论如何，只是为了小集。 再次强调，希望这能表明如何沿着这些路径拖动，即使是非常大的数据，但似乎没有用处
	有图像或者你知道可以放入图像，我可以得到......他们会得到一个子集。 然后我可以浏览这些并说，这些奇怪的人有什么不同。 我可以把它们整理出来。
	现在我想展示另一个用例。 所以
	这个用例是我学习对图像进行一些深度学习分类等等
	在这种情况下，你知道......在这种情况下，图像确实是真正的数据，这让我印象深刻。
	这是一个例子。 当然，就我而言，我对录音有不同的看法。 我试图对这些不同的观点进行分类。
	感觉对了？？？以及一些或其他一些专注于头部不同部位的东西。 因此，我在这里用艺术数据中的猫雕像进行模拟并对它们进行分类。 这是背面、面向右侧、面向前面等等
	你知道，这个、这个、整个机器学习项目并没有在 JMP 中进行，但那里有需求
	对于这个Python？？？ TensorFlow分类产品提供训练数据。 最后，查看返回的结果，您知道，最终结果是文件夹中嵌套文件的形式。 让我快速展示一下我们的另一个工具。 这个图片
	开始了。 图像表。 这些工具。
	两个文件夹，这是......我可以选择图像。
	这些是数据表中的路径或图像，我可以选择一些属性列并将它们转换为
	嵌套文件夹类别的文件夹。 在这里，我将告诉它使用我的文件名列作为名称。
	我一般都可以有一些前缀或更改大小。 调整大小是机器学习中真正涉及的另一件事。 我已经设置了我的模型，当然希望上传一定大小的图像。 然后当它运行时，它会发送我的图像
	进入文件夹。
	它去的地方出了问题。
	让我再做一次。 图像...图像表到文件夹。
	我想我点击了错误的东西。 我这里有我的机器学习图像文件夹，我想快速将它们放入其中。
	修改一下。
	单击文件名。
	它会将它们排列在文件夹中。
	所以这里我有我的测试和训练数据集，哎呀，我发现我为我的类别选择了错误的东西。 让我们根据我在列中选择的内容对它们进行分类。
	所以想法是，你知道，我需要将我的、我需要将我的分类数据放入文件夹结构中。
	另一件事是，在数据表中的 JMP 中执行此操作非常有用，因此提出这些类别训练很有用。
	JMP 内的组。 我已经表明我们可以进行分层，这是另一个示例，因为我有数据，所以其他数据列（例如部门）位于
	在数据集中。 我可以回去看看，嘿，我是否以平衡的方式分割了我的测试和训练集？ 所以当我说埃及艺术时，我在埃及艺术方面做得很好
	部分参与任务，部分参与培训，而不是其他类别。 所以在 JMP 中我知道我有其他数据
	列。它们可以方便地形成我的测试训练集，确保我有平衡的组，而且我可以保存这张表并记录...
	我所做的培训内容是什么。 所以就是这样。 我想说的最后一件事是，这个博物馆的数据并没有很好地捕捉到
	计量图像的想法看起来非常相似。 因为这些猫都很独特，所以当你滚动浏览这里时，你可能需要仔细观察才能看到，
	你知道，这是猫的背部还是脸部磨损的正面或其他什么，以及
	我将更多地讨论计量图像彼此非常相似的情况。 仅仅通过眼睛观察事物来滚动浏览它们是非常有用的。 在我们收到 Serkay 的 PowerPoint 工具的消息后。
塞尔凯·奥尔梅兹	好的，让我分享我的屏幕。
	好吧。
	所以我要讨论的是一个脚本，它使人们能够将 JMP 表中列出的图像推送到 PowerPoint 中。
	因此，您要做的就是从表中列出的链接收集图像，并使用您选择的模板将它们推送到 PowerPoint 中。 因此您可以使用以下命令创建此表
	海蒂已经展示了代码片段，这个脚本假设您已经有一个表并且其中有链接。
	我将运行该脚本并告诉您该脚本的作用。
	因此，如果我运行它，它会为您提供一个界面，您可以在其中选择列作为属性。 首先，您需要选择图像路径，以便 JMP 知道从哪里收集这些图像并
	您还可以添加标签。 这些标签将作为列进入 PowerPoint，您还可以决定在 PowerPoint 中想要哪种布局。 所以我只会显示一个网格
	首先布局。 因此，在本例中将有四列、两行。 然后你点击了导出。 它的作用是，它会触发 PowerPoint，然后 PowerPoint 将
	去收集这些图像，它将构建幻灯片，这将需要 10 到 20 秒，因为它从服务器提取 20 张图像。
	因此，一旦完成，您将拥有布局良好的 PowerPoint。 请记住，这些列是表格来自您在 UI 开始时选择的列的列。 所以你很快就能得到这个，当然你可以改变
	这里的布局。 例如，假设您想做
	不同的事情。 所以这里有这个布局选择。 假设您想要做一行，并且可能在下面留一些空间，以便您可以在其中添加一些注释。 所以你可以重新运行这个
	然后JMP会告诉PowerPoint如何设置布局。 一旦完成，每张幻灯片都会有一行图像。
	看起来像这样
	脚本所做的另一件事是将幻灯片分为几类。 或者也许您的数据中有一个顶部属性，并且您想要开始......您想要开始一张新幻灯片
	当该属性改变时。 例如，我们将介质放入幻灯片标签中，这样它将在顶部创建幻灯片标签。 就像标题一样。
	它还将这个小 PowerPoint 演示文稿分为几类。 因此，每次该介质属性发生变化时，它都会开始一张新幻灯片。 如果我只是这样做的话
	它会在 10-20 秒内再次执行相同的操作。 现在，它将把它们分为不同的类别。 所以，你将会有一个很好的布置
	幻灯片集，
	哪个将被分割。 例如，您有一张中等等于黄铜的幻灯片，您将有一张青铜幻灯片，并且其中似乎只有一件物品。 我选了？？？数据中的行，并且会有陶瓷等。因此这将幻灯片分开。
	我要展示的最后一件事是，有时人们会想要更复杂的布局。 例如，一个模板，他们会想看一张图像
	以更大的方式，所以他们想在左边放一个大图像，也许在右边再放几个。 所以你可以做这么复杂的模板
	通过...通过选择不同的布局，这些都是由脚本完成的。 所以我有一个从大到小的布局。 左侧将有一张大图像，右侧将堆叠有两张小图像。 所以如果你只是这样做
	它会做同样的事情，但现在它将是不同的布局。
	我会给它 10 到 20 秒的时间来制作幻灯片。
	就这样吧。 因此，左侧有一个大图像，右侧有两个小图像。
	我要展示的最后一件事是关于自定义工具。 我们将发布这个工具作为这个大型插件的一部分，该插件可以完成所有这些图像处理。 所以如果我很快打开这个，
	所以这是用户可定制的，因此用户可以进入并更改他们想要自动放入角色的列类型。 所以
	用户可以让自己看起来与众不同。 我要提到的最后一件事是关于专用模板。 所以那些模板
	我只是展示了一个从大到小的，它们是由工具外部的脚本创建的。 所以我们将提供其中两个。 但我们的想法是，如果用户有足够的经验，那么这个人就可以开发
	他或她自己的模板并将其放入工具中，工具会识别它，或者开发人员可以开发越来越多的模板
	指定...特定于特定客户或特定用户。 所以，这将是我们将要发布的附加内容的一部分。 这就是我的全部了。 海蒂可以收回它。
海蒂·哈德纳	好吧好吧。
	对于那个很抱歉。 我回来了并且
	现在我们正在研究不同的数据集。 这些科学天文学图像棚。
	正如广告所宣传的那样，这些图像更多......它们是计量图像，您在这张非常小的图像中看到了一片夜空。 即使在图像尺寸和范围都非常小的情况下，
	你可以看到，你可以看到那里有运动。 当某些东西弹出时，你可以看到一些异常的东西，就像这里一样。
	这是我在为我的机器学习项目进行分类时想要表达的观点的一部分，并且我的图像名义上看起来非常非常相似。 很容易滚动浏览并看到像这样的异常东西。
	但实际上我会做一个更形象的演示，我们将把它放大并再次滚动。 所以让我快点
	描述我们将要看到的内容。 这是这些图像上白色强度随时间变化的视图。 因此，当我们滚动浏览它们时，这些是按时间顺序排列的。
	有一点你不会看到，肉眼不太明显，那就是强度上这种大而缓慢的趋势。
	我们会贴上标签。 您可以在这里再次看到您使用标签查看的方式。 是的，强度是否很高。 这是因为在 60 秒的曝光中，有一条条纹在这些图像中掠过。 我们还可以看到数据中的波动。 这就是你看到的地方
	望远镜已经漂移了，背景有一点点移动，它会自行重置，当我们滚动浏览时会看到这一点。 所以只是一点点预览。
	我将展示扩展得更大，这样即使在数据表内，我们也可以看到相当大的图像视图，只是更大一点。
	并及时从头开始。 我希望您做的是在我们滚动数据时观察这个位置、观察那个对象。
	希望我们看到的是你可以看到它在背景星星的映衬下向左移动。 那是一颗小行星，2171 基辅。
	也就是说，我们看到这是这些计量图像的真实意图。 所以我们只是一个图形演示，在合适的情况下，只需滚动浏览表中的图像即可使用。
	图像表注释。 因此，这是针对相反的情况，您实际上只想一张一张地检查图像。
	当您单击此按钮时，会发生什么，您再次可以选择使用路径或嵌入图像。
	您可以选择使用某种标识符，我们将日期放在这里，或者它只会给您一个行号，您可以有另一个属性，让我们把望远镜放在这里，
	数据上。 它的作用是形成一个小标记工具，这个工具可以让你
	做一些通用的分类。 这个是三号，可以在这里说点什么。 关于数据的某种评论。
	而且我还有十字准线，所以我可以进行测量。 它将在图像上以像素为单位进行测量，并移动十字准线来记录位置和
	当我单击记录时，会有增量和像素。 现在，在我们开始这样做之前，你知道，有很多不同的方式可以用商业广告进行标记的部分原因
	工具，在 JMP 中执行此操作的部分动机再次是，除了图像之外，表中还拥有所有其他数据。
	它实际上只是由这一列代表。 但同样，定制的时机已经成熟。 在我自己的小版本中，我正在查看图像
	我在此视图中打印了一张关于磁头在晶圆上的位置的小地图或各种其他数据。 或者也许图像配方说明了我可以尝试验证的尺寸。
	那么，能够将图像和物品连接起来，是否有可能做到这一点呢？ 但是，当我们单击记录时，会发生什么，转到右侧。 我们将看到他们添加列并
	（柱子太高了，让我们把它们缩小一点。）
	您可以在此处看到第 3 行并记录。 不，我不想移动白色十字准线，因此我得到了垂直距离，十字准线的位置以及我的评论和分类都卡在表格中正确的行中。
	我们在这里看到的另一件事是另一列图像。 因此，我在这里放置了一些图像，这些图像是 JMP 图，JMP 图可以是图像。
	在我们共享的数据表中，我嵌入了代码。 您将在这里看到制作这些图像的方法，其中涉及对我们拥有的图像使用获取像素消息，
	获取数据矩阵，沿着小行星移动的位置切出一个切片，并对强度进行平均。 你可以翻一下看看
	这些图像中移动的峰值。 但这的真正意义在于我刚才提到的。
	我们在希捷一直拥有的一些用例，其中我们将拥有磁头的一行数据以及其中的值，例如来自整个频谱的峰值频率或来自某个频谱的最佳值。优化扫描等
	这些扫描实际上可以成为数据中的图像。 当然，我们对图像或复杂曲线进行这种特征提取是有充分理由的。
	频率等简单值可以更直接地用于各种 JMP 分析，例如
	JMP 的统计平台，但我希望我们都能证明，如果您将与一堆其他数据列相关的图像放入表中，它们甚至可以做很多有用的事情。
	特别是，你知道，我希望也许将情节视为图像，你会立即回想起 Serkay 的 PowerPoint 演示，情节就像在 PowerPoint 中以某种方式排列一样。
	不管怎样，希望我们分享的 JSL 的各个部分对您有用，并希望您能受到启发，自己对图像做更多的事情。 谢谢。

爆发数据探索JSL应用程序开发回复：数据表中的图像和相关 JSL 工具 (2020-US-30MP-585)

@哈德纳嗯尝试过但没有成功。 啊，好吧 - 并不像我想象的那么容易。 干杯!

回复：数据表中的图像和相关 JSL 工具 (2020-US-30MP-585)

谢谢！  

我不确定我是否理解你的问题，但如果打开我常用的文件之一，其中包含包含图像 URL 的字符列 - 就像示例数据中一样 - 然后将该列转换为表达式（在本例中称为 EXPRESSIONofURL），这里是如何将其转回可与导入工具配合使用的字符列，且 URL 周围不带引号...

 

dt = Current Data Table();
dt << New Column( "URL" );
:URL[1] = Eval( Parse( :EXPRESSIONofURL[1] ) );

 

 

 

 

回复：数据表中的图像和相关 JSL 工具 (2020-US-30MP-585)

@哈德纳- 很棒的工具，感谢分享插件。 我尝试在我的数据集上使用它，但我的网址作为表达式导入，当我尝试转换为文本（根据您的添加指令）时，我的网址中的任何图像都没有导入。 有什么建议吗？

回复：数据表中的图像和相关 JSL 工具 (2020-US-30MP-585)

我真的很感激您在 .zip 文件中包含了多少上下文和示例代码/数据！ 谢谢你！