皆さん、ようこそ！ご参加ありがとうございます。嘘、嘘、あるいは単なる統計の話ですが、今日は映画『ライアー・ライアー』を観ます。冗談です。このセッションに至った経緯を少しお話しましょう。私はシステムエンジニアのクラーク・レッドベターです。StatSenseの統計学者、ミーガン・ペニントンも同席しています。
少し背景をご説明しますと、連邦政府を取材していた時に、Y-12でメーガンと出会いました。オッペンハイマーのファンなら、濃縮ウラン235はすべてY-12で生産されていることをご存知でしょう。昨年、現地視察があった際にお話を伺ったのですが、Y-12のセキュリティについてお尋ねしたのです。面接などはどのように行われているのですか？メーガンさん、先ほどポリグラフデータを使用しているとおっしゃっていましたね。
はい、身元調査のためにポリグラフ検査があります。
驚きました。ポリグラフのデータだ、と。え？それを見て、何かできるかもしれない、面白いかもしれない。ポリグラフって、どう考えても怪しいと思うから。人間の介入が多すぎる。メーガン、データって何があるの？
Y-12 のポリグラフ データは取得できませんが、都合の良いことに、実際にポリグラフ検査を行うクライアントがいるので、今日は彼のデータ セットを見てみましょう。
わかりました。次のスライドに移りましょう。
ポリグラフの本質は、生理学的症状を記録することで、相手が嘘をついていないかを見極めることです。なぜなら、身体にストレスがかかると、これらの生理学的症状に急激な変化が現れると考えられるからです。血圧や心拍数、発汗量といった基本的な検出センサーは必要ですが、必要に応じてセンサーをいくつでも追加できます。例えば、足の動き、腕の動き、顎の噛み締めなどです。設定次第では、非常に複雑な検査になることもあります。
セットアップを見てみましょう。
これは典型的なセットアップです。6つのセンサーがあります。データセットを見ると、12個のセンサーがあることがわかります。血圧測定用のカフ、呼吸用の胸部を横切るもの、発汗センサーがあります。セットアップには様々なバリエーションがあり、様々な体格の人を想定しなければなりません。毎回同じ結果が得られていますか？再現性はありますか？
プロセスエンジニアリングの立場から言うと、これはばらつきだらけだと思います。この人たちは計測システム分析やゲージR&Rについて何か知っているのでしょうか？
残念ながら、いいえ。
いいえ、残念ながら、違います。12個のセンサーがあるとおっしゃいましたが、一体何でしょうか？足の動き、シートの動き。全てのセンサーをここに接続しています。
ポリグラフ検査官は、ポリグラフ測定の最初から、関連する質問手法と無関係な質問手法を自由に選択できます。基本的に、関連する質問は、検査官が嘘をついている理由を解明しようとしている事柄と結びついています。無関係な質問は、その事柄とは全く関係がありません。「関連する質問ではスパイクが見られるだろうが、無関係な質問ではスパイクは見られないだろう」と思われていましたが、それは正しくありませんでした。人間である以上、これは大きな欠陥です。人間は、あらゆる機器に接続されることに不安を感じます。データにはノイズが大量に含まれてしまうのです。
彼らはコントロール質問手法を開発しました。この手法でも、関連性のある質問と無関係な質問が使用されますが、回答がわかっているコントロール質問が追加され、それを関連する質問と無関係な質問と比較する基準として使用します。
それから、別の手法もあります。例えば、誰かが人を殺したり、何かを盗んだりした場合、彼らは隠蔽情報という手法を使います。なぜなら、その人が嘘をついているかどうかを正確に突き止めることができるからです。しかし、幸いなことに、この州には殺人犯はいません。
わかった。確認するつもりだったんだ。ここでは殺人事件は審理されない。
今日は違います。ポリグラフ検査官は様々な手法を選択できます。複数の手法を組み合わせたり、組み合わせたりすることもできます。すべてはポリグラフ検査官次第です。私たちのデータセットでは、CQT法について見ていきます。
12個のセンサーを搭載したCQT。そのデータがどのようになっているか見てみましょうか？
見てみましょう。これは全てのセンサーのソフトウェアから出力されるグラフです。各センサーには独自の曲線があります。呼吸と心拍数、発汗量を強調表示しているのがわかります。緑と灰色のバーは検査官が質問した箇所です。灰色と緑のバーは被験者が実際に質問に答えた箇所です。
ソフトウェアでこれらの曲線を分析する方法はいくつかあります。一つはソフトウェアに標準搭載されているアルゴリズムですが、これは完全にブラックボックスです。内部で何が起こっているのか、何を使っているのか、私たちには分かりません。また、検査官は専門的な訓練を受けた目で見て、独自の判断を下すこともあります。
目玉で。
彼らがやることは、そこに行き、山と谷を見て、それが重要であるかどうかにかかわらず、正式なトレーニングに基づいて独自の個人的な評価を行うことです。
これらのゾーンのタイミングも、検査官は目視で行うのですか?
試験官は、質問が始まったと確信したとき、質問が終わったと確信したとき、そして受験者が答え始めたと確信したとき、そして答えを終えたと確信したときに、実際にスペースバーを押します。
怖い。多すぎる。この男に自分の真実も嘘も委ねるわけにはいかない。
ここには大きなばらつきがあります。
結果はどうですか？どのような結果になりましたか？
データセットを精査して採点すると、-2から2まで1ずつ増分評価が与えられ、2が重くなります。そして、この質問は実際には3回、ランダムな順序で尋ねられたことがわかります。彼らは、ばらつきをある程度調整するために、ある程度ランダムな方法を取り入れようとしているのです。そして、これらの数値を合計し、主観的な数値に基づいて真実か嘘かを判定します。
これは彼ら独自の採点ですか？
これは、専門的なトレーニングに基づいた独自の採点方法です。
これが私の嗅覚です。人為的なミスの匂いがします。
まさにその通りです。そして先ほどお話ししたアルゴリズムですが、これは皆さんが目にするレポートで、真実か嘘かを示します。多項式や確率、その他様々な統計用語が使われているのがお分かりいただけると思います。裏で何かが起こっているのでしょうが、それが何なのかは私たちには分かりません。
不明です。検査官が独自の調整を行っています。よく分かりません。JMP Pro Toolsを使えば、この人為的なばらつきを除去できると思います。どう思われますか？
私も同意すると思います。
代替アプローチとJMP。このスライドでは、ワークフローの概要を簡単にご説明したいと思います。もちろん、ほとんどの分析、すべての分析は、データのクリーニングと可視化から始まります。この可視化の後に、私たちが多くの時間を費やした課題、そして実際にはこのクリーニングのステップについて見ていきましょう。
先ほど申し上げたように、私たちはたくさんのセンサーを持っています。どれが重要なのでしょうか？どれが重要なのでしょうか？予測スクリーニングプラットフォームを調べて、それらを絞り込もうとしました。
メーガンにはFunctional Data Explorerと曲線センサーの解析について話してきました。このツールはまさに最高のものだと思っています。大成功間違いなしだと思っていました。進めていくうちに何か分かるだろうと思っていましたが、結局あまり役に立ちませんでした。これは私たちが使ってみようとしたツールの一つです。これについては後ほど詳しくお話しします。
FTEが破綻したため、モデルスクリーニングプラットフォームを検討しました。これは非常に優れたツールで、多数の予測モデルを組み込むことができ、JMPにどのモデルが最も適合するかを判断させてくれます。最適な適合モデルが完成したら、重要な点として、既知の真実と既知の嘘の質問を含むコントロールデータセットを用意しました。これは、モデルスクリーニングプラットフォームで最適なモデルを決定するために使用するものです。次に、そのモデルを、真実か嘘か分からない実際のデータに適用しました。
この段階では、そのデータはまだ何も見ていません。私たちは最良のモデルを取り出し、それを実際のデータに当てはめました。このワークフローといくつかのプラットフォームの概要を見てみましょう。その後、少しデモを見てみましょう。もちろん、データを取り込む必要がありました。クリーニングについてもう少し詳しく説明します。分布も活用しました。様々なチャートを理解するために、分布を活用しました。Meganが言ったように、3人の個人と複数のチャートがありました。私たちはそこをスキャンしましたが、肝心なのは、これらのセンサーの傾向と、それがGraph Builderでどのように見えるかを確認することでした。
先ほど申し上げたように、予測因子スクリーニングプラットフォームは、どの因子が本当に重要で、実際に重要かを把握するために活用しています。非常にシンプルな分析です。EA、有酸素運動、足と座位の動きが最も重要だとわかりました。実際、汗腺と有酸素運動は、文献全体を通して非常に重要なようです。これらが大きな要因のようです。JMPもこの点に同意しています。
こういったことを何も知らなくても、シグナルを見つけることができたのは、とても励みになります。全部を知る必要はなかったんです。
その通り。
さて、Functional Data Explorerプラットフォームについてご存じない方のために、私たちが取得している曲線センサーを想像してみてください。これらは本質的には点です。このプラットフォームは、基本的にスプラインを当てはめます。私たちはこれを機能モデルと呼んでいますが、このスプラインをそれぞれの曲線に当てはめます。目的は、これらの入力が曲線全体にどのような変化をもたらすか、そして検査官の行動とどう関係があるかを調べることです。ちょっと覗いてみます。もっと高度なものだと思います。ここでの目標は、形状全体から信号を検出できるかどうかでした。
これが最終的な結果です。ご覧の通り、これは汗腺の信号を時間経過とともに変化させたものです。嘘と真実を切り替えています。この信号を見ています。残念ながら、この信号には繰り返し構造が見られません。ノイズのように感じられてきました。デモで例を見てみましょう。
先ほども申し上げましたが、FDEは期待したほどには成功しませんでした。そこで、モデルスクリーニングプラットフォームを検討しました。先ほども申し上げたように、様々なモデルから選択できます。その中で特に重要だったのはブースティングツリーです。このプラットフォームには膨大な分析オプションが用意されているのがお分かりいただけると思います。本当に素晴らしいです。私たちは、嘘をついた人が真実を語った場合と、真実を語った人が嘘をついた場合のどちらがより重要かを判断しようとしていたため、決定閾値に焦点を絞りました。私たちは、偽陽性と偽陰性に注目しています。
どちらがより重要かは、実際には判断できないと考えました。両方を最小化する決定閾値を選択したいと考えました。最終的には0.55になりました。グラフの赤と緑を見ると、赤が誤分類、緑が正解です。このモデルが完成したら、実際のデータセットに入力して検証しました。
JMPを一旦止めて、このワークフローのハイライトをいくつか見ていきましょう。JMPを開いてみましょう。これが生データテーブルです。最初のステップで、視覚化を行いたかったことを思い出してください。ここでグラフビルダーを開きます。列スイッチャーを使って、すべてのセンサーを切り替えます。まずは、これらの信号をざっとスキャンして、何か特徴的な構造の信号がないか確認します。ノイズのようなものはないか、といったことです。
信号は1つでした。汗腺についてお話しました。ここで一旦停止して汗腺のところへ移ると、このローカルデータフィルターに3人の被験者と3つのチャートが表示され、その様子がお分かりいただけると思います。時間の流れに沿って考えてみると面白いですね。検査官は検査を開始し、ここを時間通りに通過しました。私たちは、これらの順番がどうなっているのかを解明する必要がありました。
次に重要な課題となったのは、これらのセンサーを一つ一つ分解し、開始点と終了点を見つけることでした。これはFunctional Data Explorerプラットフォームを最前線に置いて行いました。これを使うには、これらの曲線をチャンクに分割し、すべて同じX軸上に配置する必要があります。そこで多くのクリーンアップ作業が必要でした。また、この傾向を見ると、計測学について疑問が湧いてきます。何かが起こっている、何かがずれている、と。
見てみましょう。個体を追加すると、平均値が異なり、行動さえも変化します。この測定システム自体とその仕組みに疑問を感じています。これは、FDEが機能するかどうかを確かめるために入力した信号です。実際にFDEプラットフォームを見てみましょう。
全力を尽くしました。このプラットフォームで様々なシグナルを調べました。そして、汗腺の解析を最初からやり直して、このツールが何をするのか、そして私たちが何に直面したのかを皆さんに知ってもらうことにしました。それでは、汗腺の解析を最初からやってみましょう。まずは「分析」→「特殊モデリング」→「Functional Data Explorer」の順に進めます。
さて、出力はセンサーです。生の汗腺を採取します。X入力は時間です。関数IDは実行IDです。JMPに、補助変数をスライスするために必要な各曲線を知らせます。真実か嘘かが曲線に影響を与えるかどうかを確認したいのです。他に追加すべきことはありますか？
個人的だと思います。
おそらくそうなるでしょう。それはランダムな効果です。
その通り。
ここに個体を追加してみましょう。「OK」をクリックします。まず、このプラットフォームで可視化を確認する必要があります。これがベースラインのシフトです。生のデータを一つずつ見ていくと、シグナルはあまり見当たりません。私たちは、様々な変換ツールやクリーンアップツールを、疲れ果てるまで試しました。
例えば、こちらのスペクトルではベースライン補正を行いました。これに線形近似を加えました。影響がどうなるかお分かりいただけると思います。全てが共通のスケールに収まっています。いくつかの特徴やシグナルが現れ始めています。ここでも、単一の正規分布のようなものを試したと思います。シグナルが見え始めていますが、懸念されるのは…元のシグナルに全く近づいていないということです。どんどん離れていくばかりです。
これはノイズのように見えてきました。戻って、EAの生データのみのプロファイラーを見てみましょう。もし時間と労力をかけてこれを爆破してしまったら、そのプロファイラーを閉じてください。ここにEAの生のシグナルがあります。汗腺の活動の推移です。真実と嘘を切り替えることができます。そして、個々のデータを切り替えると、このデータに固有の特徴があまり見えなくなってきます。
比較のために、良好なFDEをお見せします。これがどのような結果になるか、イメージがつかめると思います。これはアルミニウムの応力ひずみです。ここではプロファイラーのみを示します。この例は、アルミニウム合金の応力ひずみを研究する計画実験から生まれました。
これが本来あるべき姿です。温度と試験片の種類によってロットごとにばらつきがありました。これを切り替えると、応力ひずみが再現可能であることがわかります。独特な特徴が見えています。ここまで来ると、見た目が異なっている独特な特徴が見え始めます。FDEではそれが得られませんでした。FPSをエクスポートして予測モデリングツールを使うことまで試みましたが、良いモデルは得られませんでした。試してみました。メーガン、これは最高のものになると思いました。それで、実際に試しました。
そうだよ。たくさんの時間を過ごして――
ここからどこへ行くのでしょうか?
JMP のモデル スクリーニング プラットフォームを活用していると思います。
わかった。そうしよう。シェアさせてあげるよ。
素晴らしいですね。クラーク、ありがとう。おっしゃる通り、最終的にはモデルスクリーニングプラットフォームを使うことにしました。予測因子スクリーニングで見つかった上位4つの入力値、つまり有酸素運動、筋力トレーニング、座位動作、足の動きを使うことにしました。設定方法を説明します。予測モデリングのモデルスクリーニングに進みます。
真実か嘘かを判断しようとしています。次に、実際に何らかの意味を持つことが示された4つのセンサー入力を見ていきます。シートの動き、足の動き、有酸素運動。完璧です。ここにあるすべてのオプションを使って、下の方を見てください。すべてを確認しました。これについては、ブーストツリーを設定します。そして、実際にk分割検証も行いました。これは実行に時間がかかります。こちらを見てください。時間を節約するために、既に実行してあります。さあ、始めましょう。
先ほど申し上げたように、このプラットフォームからは数多くの分析手法が生まれます。私たちは実際に、この決定閾値に焦点を当てました。先ほども申し上げたように、真実の確率閾値に沿って移動すると赤色の量が変化するのを最小化しようとしました。2つの曲線が交差する正確な位置に到達することを目指しました。そうすることで、誤分類、つまり偽陽性や偽陰性の数を最小限に抑えることができるのです。
ここに0.55を使いました。すると、予測式をエクスポートできるようになりました。赤い三角のところにある「列を保存」から「予測式を保存」を選びます。これが実際のデータセットに取り込んだものです。さて、クラーク、あなたは…
話を戻します。もう一度共有します。これが実際のデータです。4つの質問がありますね。流れは似ていますね。3つの異なるチャートですね、メガンさん。
はい。
彼らは私たちが行ったことを調べ、並べ替えました。そして、その数式をこちらに持ってきました。これはデータテーブルの末尾にあります。これが私たちの数式です。そして、これが最も可能性の高い分類です。そして、それに基づいて、A、B、Cの個人を分類する最も簡単な方法は何かについて議論しました。彼らは真実を語っているのでしょうか、それとも嘘をついているのでしょうか？
基本的には、各個人と各質問の単純な集計を行いました。質問ごとに、さらに各個人ごとに集計しています。これを見ていただくと、プレゼンテーションに戻ります。重要な問題は、誰がピノキオなのかということです。これが、この3人の個人を単純に評価した結果、得られた全く新しいデータです。
この閾値を覚えておいてください。これは嘘と真実の比率です。この50%の閾値に近づくにつれて、嘘をついている可能性が高まり始めます。メーガン、私の結論はこうです。Aは真実を語る人、BとCは嘘つきです。私の予想は当たっていますか？私たちはこれを正しく予測できましたか？
そうです。試験官とソフトウェアのアルゴリズムをマッチングさせました。
私たちは人間の判断なしにそれをやりました。
絶対に。
まさに私がそう呼んでいるものです。この件を総括すると、これが最大のポイントの一つだと思います。単なる嘘ではなく、統計的なものです。Pro Toolsのこれらの手法を使って、人間的な側面や判断をすべて排除できるなら、私はポリグラフ検査を受けるかもしれません。現状では、私はそうしません。メーガン、この件についてどう思いますか？
もう一つの利点は分析時間です。彼は数日かかっていましたが、私たちは数分に短縮しました。おかげでより多くの利益を得られるようになりました。私たちは皆、より多くのお金が欲しいので、これには異論はありません。
はい、その通りです。ここまでで現状のテスト方法とアルゴリズムの現状を確認しました。どうすれば改善できるでしょうか？改善に向けた次のステップは何でしょうか？
次のステップはDOEです。様々な被験者、様々なセンサー、様々な構成を用意する必要があります。基本的には、検査官が想定する時間、つまり被験者が質問し、質問に答えるのにかかる時間も考慮します。検査官が見ているのは、グレーとグリーンの領域です。そこには大きなばらつきがあります。私たちもこの点に注目します。
最初からやり直したんですね？予測モデリングから実験計画法（DOE）に戻りましたね。プロセスエンジニアの私としては、よく分かりません。ここから始めるべきだったんです。ええ、やるべきです。DOEを使うか使わないかは問題ではありません。昨年のディスカバリーで取り上げました。今日はこれで終わりです。質疑応答の時間を設けたいと思います。
