切り捨てられたデータを連続分布に当てはめるコーシー分布からサンプリングされたと思われるデータのサンプルがあるとします。 0 を中心に対称であると仮定します。
しかし、私の観測値が範囲 (0,2) に切り捨てられていると仮定しましょう。そのため、比較的限られたデータしか見ることができません。私はいくつかの Cauchy (0,2) ランダム変量を生成し、データ テーブルを切り捨てて 0 から 2 の間の値のみを表示しました。
このデータを Cauchy (0, gamma) に当てはめて、gamma の最良の推定値を得る方法はありますか? より一般的には、JMP は切り捨てられたデータの当てはめをサポートしていますか?
高度な統計モデリングRe: 切り捨てられたデータを連続分布に適合させるこれがあなたの言いたいことかどうかはわかりませんが、打ち切りデータについて話しているのだと思います。JMP は、より正確な推定を行うために、いくつのデータポイントがカットされているかを知る必要があります。列プロパティ「検出限界」を追加することで、このデータがカットされたことを JMP に伝えることができます。
次に分布を適合させると、次の情報に基づいて値をより正確に推定できます。
現時点での問題は、ディストリビューションを事前に選択すると、これが機能しないように見えることです。プラットフォーム内に新しいディストリビューションを適合させる必要があります。
Re: 切り捨てられたデータを連続分布に適合させるご返答ありがとうございます。しかし、私のデータは検閲されていません。あなたの例では、ある値 (あなたの場合は 1900) 以上の観測値がわかっています。私の状況はそうではありません。
私の例では、2 を超えた数がわかりません。0 から 2 の間にある観測値のみがあり、その範囲外の観測値がいくつあったかはわかりません (データ収集メカニズムではそれらを捕捉できないか、認識できないため)。そのため、検閲された観測値は多くありません。
私のデータ生成メカニズムを考えれば、これはもっと明確になるはずです。爆発装置があり、破片を角度的に均一にあらゆる方向に飛ばしているとします。衝撃位置データは、x が横方向、y が垂直方向である xy 平面の平らなパネルから収集されました。私のデータ収集パネルの限界を超えた破片の数はわかりません。しかし、x の分布がコーシー分布であると考えるのは不合理ではありません。私は、限られた範囲の観察からこのコーシー分布のパラメータを推定しようとしています。この推定値を使用して、より広い表面での破片の分布を特徴付けることができます。
Re: 切り捨てられたデータを連続分布に適合させるこんにちは@GregChesterton : これはあまり満足のいくものではないかもしれませんが、検討する価値はあるかもしれません。分布があなたが説明したようにコーシー分布であると仮定すると、pdf = f(x| 0, gamma) の関数形式がわかります。つまり、非線形プラットフォームを使用して gamma を推定できるということですか?
Re: 切り捨てられたデータを連続分布に適合させる次の試行では、1 から 200 までの打ち切りデータポイントを追加し、正規分布からの偏差を ECDF に合計します。
最小設定では最後に最小値が表示されます。
シミュレーションデータ: Norm(0,10)
欠落: 10 を超える 163 のデータポイント
スクリプトの推定:
平均: 0.015
標準: 9.166
不足: 133
次に、それを自分のニーズ（独自のディストリビューション）に適合させる必要があります。
Cut_Normal.jmp ファイルまたは JSL 自体のテーブル スクリプト「search n_mising」を実行するだけです。
オリジナルのシミュレーションを Cut_Normal_original.jmp として追加しました。
その背後にある考え方は次のとおりです。
まず、追加の打ち切りデータ ポイントを使用して正規分布を近似し、ECDF とのすべての差を合計します。
次に、追加の打ち切りデータポイントをすべて反復処理し、最後のデータポイントに到達するまで再度正規分布を適合させます。
これは追加ポイントの絶対差の合計です。
最も低いポイントから、欠落しているポイントの数の推定値が得られます。
これにより、分布に「最適」な適合が得られます。
これが役に立つことを願っています。
Re: 切り捨てられたデータを連続分布に適合させるこんにちは@Mauro_Gerber : 提案された方法は非常に興味深いです。詳細を教えていただけますか?
スクリプトを実行すると、次のエラーが発生します。最初のプロットのデータ セットは生成されますが、2 番目のデータ セットには 200 行あり、欠損値でいっぱいです。
Re: 切り捨てられたデータを連続分布に適合させるこんにちは@MRB3855
Cut_Normal 内のスクリプトは動作するはずですが、JMP では言語または pe-sets に問題がある可能性があります。
私は英語版の JMP 18.0.1 を使用しており、他にも設定がある可能性があります (プロットを常に積み重ねるなど)。
タイトルに検閲制限があるため、固定値で表示ボックスを検索しませんでした。JMP がタイトルでどのように解析するかがわかれば、タイトルを検索できるかもしれません。
したがって、JMP ではこれら 2 つの数値が異なる可能性があります。
社内の統計コースを教える際、分布曲線 (PDF) がデータ (ヒストグラムとも呼ばれます) に適合する必要があることの重要性を強調するようにしています。
分布の ECDF 関数と CDF 関数についても同じことが言えます。そして、それらが互いにどれだけ逸脱しているかです。
@GregChesterton は曲線の一部しか持っていないので、欠損値の数を異なる数に当てはめて、推定値がそこにあるデータにどれだけ適合するかを比較します。
これは、正規データセットからの最適な適合（最小の合計偏差）です。
--> 
JMP では、直接比較を行う適合の下の PP プロットも確認できます。
可能性のある欠損値を反復処理し、ECDF と確率関数の適合 CDF の合計差を書き留めます。
これは「力ずく」であり、あまりエレガントではありませんが、OK の結果が得られます。
他の可能なオプションとしては、ECDF テールと合計差をターゲットとする関数を使用して単純な数値最適化プログラムを作成し、それを最小化することが挙げられます。
Re: 切り捨てられたデータを連続分布に適合させる最大尤度法を使用してデータを適合させるために非線形プラットフォームを使用する場合は、次の要素が必要です。
まず、切り捨てられた Cauchy(0, gamma) の密度関数です。
このページの PDF 式を参照してくださいhttps://en.wikipedia.org/wiki/Truncated_distribution
あなたの場合、b = 2、a = 0 です。
分子については、あなたの場合は Cauch(0, gamma) 密度関数です。JMP スクリプト インデックスで見つけてください。
分母では、F 関数は Cauchy(0, gamma) 分布です。インデックスで見つけてください。
ここで、情報をつなぎ合わせて、負の対数尤度損失関数の数式列を作成する必要があります。
数式は次のようになります。(データ列の名前が「Y」であると仮定します。)
これは JSL 関数「パラメータ」です。最初の引数は、適合させる必要があるパラメータのリストです。この場合、ここには gamma という 1 つのパラメータしかありません。値 1 は初期値です。これは、最終的な推定値にできるだけ近い値にする必要があります。したがって、最善の判断を下してください。または、試行錯誤することもできます。最初は近くなくても心配しないでください。非線形プラットフォームでは、起動後にさまざまな値を試すことができます。
「パラメータ」関数呼び出しの 2 番目の引数は、負の対数尤度関数です。これを調べて、それが切り捨てコーシーの密度関数からどのように得られるかを確認してください。
新しい列に「loss」という名前を付けます。そして、非線形起動ダイアログを設定します。「OK」をクリックします。
起動後、「Go」をクリックするか、「ガンマ」の値を変更して「Go」をクリックします。失敗した場合は、「ガンマ」を変更してもう一度「Go」をクリックします。
関連するドキュメントへのリンクをいくつか示します。
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-formulas-in-jmp.shtml#ww96570
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/nonlinear-regression.shtml#
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-formula-columns-for-multiple-columns.shtml
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-a-formula-column.shtml
