
似乎我们的快速互联网新闻世界的缺点之一是通常很难区分真实内容和虚假内容。任何新的耸人听闻的故事似乎都会产生大量持有不同观点的博客、文章和推文。如果有一个工具能够真正理清所有这些噪音并帮助我们找到真相,那不是很好吗?虽然不存在可以立即告诉我们该看什么的“神奇八球”,但有一些更新的分析方法可能会有所帮助。文本探索是在句子、评论和文本中寻找模式的能力。让我们看看这个方法是否可以帮助我们在一个在我所在的地区引起轰动的新故事中找到真相!
德克萨斯州中部春天的标志之一就是欣赏田野和路边盛开的五颜六色的野花。特别重要的是看到有多么丰富的矢车菊,这是最美丽的野花,也是我们的官方州花。作为一个忠诚的德克萨斯人,你似乎每年春天都会荣幸地把你的家人拖出来,在矢车菊地里给他们拍照。然而,最近一张不祥的图片(见上图)被发布在德克萨斯山乡村脸书页面并像野火一样在互联网上传播。这张照片的描述警告人们发现了一条响尾蛇,它是通过呈现蓝色进化而来并隐藏在矢车菊中的!这种被称为“德克萨斯州矢车菊响尾蛇”的现象引起了恐慌,并在互联网上产生了许多不同的意见,从如何称呼这种新响尾蛇的学名,甚至如果您在拍摄下一张矢车菊照片时被蛇咬伤该怎么办!
为了看看这种新方法是否可以帮助找到一些真相,我们首先复制九篇随机文章的全文文本,并将它们直接复制到 JMP 数据表列中。然后,我们使用 JMP 文本浏览器查找所有这些文章中最常出现的单词和短语。为此,文本资源管理器首先通过已知广义表达式库(通常称为标记化)运行所有这些文本,以首先从分析中删除无用的文本(例如:句点和逗号等标点符号,连接“and”或“but”等单词) ”)。文本探索还可以组合相似的单词(通常称为词干提取)(例如将“失败、失败、失败、失败”分组到一个词根“失败”下)。这给我们留下了如下所示的术语和短语列表,其中总共包含 539 个项目(请参阅下面的术语和短语列表的一部分的快照)

然后,我们可以通过删除更多不需要的术语(称为添加停用词)并组合逻辑上属于在一起的其他术语来编辑和缩短此术语列表。通过重新编码组合“找到/发现”等单词并添加有用的短语(例如“愚人节”)帮助我们创建了下面的新术语和短语列表,其中包含的总项目数量减少了 16 个。(有关缩减的期限和阶段列表,请参见下文)

最后,我们将通过在称为词云的图形布局中可视化结果来更好地进行分析。这是“有序布局”的一个版本,其中最大的术语首先列出,并给出更大的字体大小。一些大术语并不令人意外,因为我们预计所有文章都包含“响尾蛇、矢车菊和照片”等词。但是,在我们的词云列表中,我们会遇到更大的单词实例,表明这个故事可能是假的(请参阅下面词云中的“愚人节,假/恶作剧/笑话/恶作剧”),然后再遇到表明这个故事可能是假的单词。故事是真实的(参见下面词云中的“真实/事实/真实”)。

事实上,如果我们突出显示图形中的单词/短语(“愚人节、假/恶作剧/笑话/恶作剧”和“神话/揭穿/陷阱”),我们就可以直接转到包含这些文本元素的文章。使用此显示文本功能,我们能够将注意力集中在我们需要查看以揭开真相的文章上。

这将我们引向九篇文章之一的文本https://www.hoaxorfact.com/Pranks/texas-blue-bonnet-rattlesnake-new-species-discovered-facts.html该公司不仅将此报道为骗局,还进一步发现该图片实际上是经过数字处理的典型西部响尾蛇,可在 Wikipedia.org 上找到。看看下面的图片比较,我们现在非常确定这只是一个愚人节玩笑,我们应该不要害怕在矢车菊地里拍照!

正如我们所看到的,文本探索是一个非常灵活和强大的工具,它为我们对信息的理解添加了更多信息!它是否可以应用于更大的应用程序,例如政治世界,我们可以使用这种方法来分类假新闻?有可能,但我们不得不希望那些导致真相的话语比那些误导或提供虚假信息的话语更频繁地被报道。 因此,也许这使得挑战我们所听到的并始终寻求/报告真实真相的需要变得更加重要。 否则我们都会很容易被误导,正如史蒂夫·厄尔在他的经典歌曲“蛇油”中警告的那样:
“女士们、先生们,请注意,
靠近点让大家都能看到
我有一个故事要讲
听一听不花一毛钱
如果你相信我们会相处得很好”