こんにちはみんな。 私はキャロル株式会社
私はある統計学者でDLH。
今日、私意思話すについてあるプロジェクト私が取り組んだのは
で作成ある時間-効率的戦略のために選択するあるテストセット
での検証のの画像検出アルゴリズム。
これ仕事だった終わりで科学者との協力
からの全国環境健康科学研究所
病理学者から実験的な病理研究所、
そして私の仲間同僚でDLH。
で齧歯類毒物学、進歩するデジタルで画像解析
オファー機会のために定量的病理組織学評価。
アン例のどこデジタル画像分析できたなれ役に立つ
の評価中ですテスト記事-誘発された免疫毒性効果
で齧歯類脾臓。
通常、病理学者使用ある顕微鏡
に評価するかどうかそこにはは脾臓の免疫毒性
そして作る判決の上かどうか脾臓から治療を受ける動物たち
は違うからのコントロールグループ。
これワークフローは傾向のあるにインターそして評価者内変動性
で特徴づける違い内での勉強
そしてまた横切って違う勉強します。
こちらですの例のあるズームした-で断面ビューのある齧歯類脾臓。
ここ、私はただポインティング外
特定の機能の興味に私たちの協力者それ私たちは欲しいに捕獲。
私たちの問題。
いつ私たちは得た関与したでこれプロジェクト、
私たちの病理学者の協力者はすでに訓練を受けていましたのアルゴリズム
それ測定これら特徴の興味。
の質問それだったポーズを取ったに私たちだったどうやってする私たちは検証これアルゴリズム？
検証はあるとても広い学期。
に狭い私たちの集中、
私たちは考えについて何はいくつかののの主要質問それ私たちは欲しかったに住所。
初め、のアルゴリズムだった選ばれた少数の人たちによって訓練され、
それで私たちは欲しかったに見るかどうかさまざまな研究室のさまざまな病理学者
するだろう同意するとのアルゴリズム出力。
2番、そこにはだった複数特徴
どこのアルゴリズムだった訓練されたに測定。
私たちは欲しかったに見るもしそこにはは特定の機能
どこパフォーマンスはより良いまたは悪い。
それから、私たちはまた欲しかったに見る
このアルゴリズムであればできる所有上にに対してある広い範囲のケース。
もしそこにははどれでも盲目斑点、できる私たちは探す彼ら？
病気また言及それからここそれ以降、
私はします参照するにの画像アルゴリズムとしてのあい。
1つ解決それ私たちは考えの人間とAIの両方を持つことだった
注釈を付けるの同じ画像そして比較するの出力。
これはどうやってそれするだろう仕事。
あ組織サンプル取得スキャンされたそれでそれターンの中へあるデジタル画像
またはスライド全体画像WSI、
そしてそれ画像取得餌を与えたの中へのAIのために処理。
それからのために人間、彼らはビューの画像を使用しての画像ソフト
どこ彼らはできる手動で注釈を付ける特徴の興味。
1つのの質問私たちは得た尋ねられたのはどうやって多くの画像する私たちは必要に検証？
統計学者として、
私たちの答えはいつもとして多くのとしてあなたできるまたはするあなた持っている何百？
あなたは持っている何千？
しかし後話しているに彼ら、
たくさんあることに気づきましたか運用可能制約に埋め込むこれ。
の初め制約だったそれ
ありました必要のためにそれぞれ画像になれ評価されたによる三つ違う人々。
持っている三つ人々だった役に立つ
となることによって私たちはできるまた見積もりの変動性間評価者。
それまたターン外それこれプロセスの注釈はとても時間-消費する。
後話しているにの病理学者、の最大番号の画像
彼らは喜んでいたに注釈を付けるだったについて24当たり人。
それから、最後に、 1つののゴールのこのプロジェクト
はに得る買う-でまたはサポートから病理学者から他の研究室。
それ意味私たちは必要な複数の研究室からの参加
そして複数人々からそれぞれ研究室
でこれ勉強、私たちは得た３センターからの参加
そして私たちは持っていた三つ病理学者代表するそれぞれ中心。
で合計、私たちは持っていた九病理学者採用されたでの勉強。
ベースの上全てのこれら制約、
私たちは持っています決定したそれ私たちはできる検証のみ72画像。
のサンプリングプラン。
今私たちは知る私たちのサンプルサイズ。
どうやってする私たちは選択するの72？
ランダム選択はわかった、しかしできる私たちはするより良い？
何私たちは来た上とだった
以来の料金あたり画像のためにのAI比較的低いですが、
私たちは得たのAIにプロセスあるより大きなセットの画像
そしてそこから、
使用情報からのAI出力により良い選択する私たちの72サンプル。
私たちは使用ある応答サービスモデルに選択する私たちのポイント
RSM がポイントを選択します
に向かっての境界線そして中心のの入力空間。
そのあるモデル含むあなたの主要二-方法交流効果そして二次関数効果。
これモデルだった特に役に立つに私たちの検証問題
私たちが望んでいたからに見てのために地域どこ合意失敗する間人間そしてあい。
一般的に、バグ傾向があるに起こるの上の境界そしてエッジのこれ空間。
これタイプのモデル合うの問題それ私たちは持っていた。
今、私たちは持っているあるプランに選択するの画像。
の質問今はどうやってする私たちは割り当てるこれら72画像横切って九評価者？
私たちは期待するのサンプルに持っているある広い範囲の複雑。
私たちは欲しかったに作るもちろんそれみんな得たあるバランスのとれたミックスのスライド。
の複雑またはこれ場合ミックス
決まっているによるの出力それ私たちは得たからのあい。
私たちはまた必要なに制約を満たす
の作るもちろんそれそれぞれ画像は見たによる三つ違う人々。
ここは私のワークフロー。
私意思見せるあなたどうやって私作成したの満足のいくサンプリングプラン
全ての私たちの運用可能制約JMPで。
私持っている三つステップでこれワークフロー。
初め、私は行くに見せるあなたどうやって私たちは選択されたの72画像
からあるより大きなセット。
2番はどうやって私たちは複製されたの72画像三つ回、
だから私たちは持っている216走る。
これを行う必要がありました
それぞれのイメージを次のようにしたかったからです。なれ見たによる三つ評価者。
の最後ステップ、
病気見せるあなたどうやって216 回の実行を 9 人の評価者に割り当てました
それでそれそれぞれ人もっているその通り24画像。
でそれぞれのこれらステップ、私意思実はなれを使用してのエネルギー省プラットホーム。
今、私はただ行くに動く以上にJMP。
私持っている私のJMPファイルでそこには。
私のJMPの日記です。
私午前行くに開けるあるサンプルデータセット、
そして私言うサンプルなぜなら私たちのデータもっているないされた出版されたまだ。
のためにの目的のこれデモンストレーション、私意思なれを使用してある偽物データセット。
これデータセットもっているの同じ特徴にのオリジナルデータそれ私たちは集めました。
これは何のデータ見た目のように。
私持っている私の滑り台ID、どれのはただある数値変数行くから1に100。
行きますから1に100右ここ。
私持っている四変数それ私は探しているのために。
それはされた集めましたによるのあい。
特徴1、 2、 3、そして4.
三つの彼らは継続的なそして1つはアカウント変数。
もしあなた見てで下分析して、多変量メソッド、多変量、
もし私たちはただ見せるの散布図表示されるすべての変数の行列、
全ての彼らは無相関。
これはの広めるのの範囲の私たちの変数。
ステップ1つ。
下エネルギー省、あるよあるカスタムデザイン、それをクリックしています。
私たちはできる離れるの反応Yここ。 ただ離れるそれ一人で。
の要因ここ、あるよ実は二方法にするこれ。
1つ方法はにクリックの上これボタンここそれ言う追加要素。
私考えるについて5番目のの方法そしてあるよある共変量選択。
もしあなたクリックそれ、
それは聞くあなたどれの列共変量のあなた欲しいに含むでのデザイン。
で私の場合、そのこれら四特徴。
私はただ選択する彼らそしてあなたクリックわかった。
JMP意思自動的に最小値と最大値を入力します
のためにそれぞれのこれら変数。
あなたはそうするだろう見るここそれ彼らは全て治療されたとして共変量。
それ見た目良い。
病気ただ素早く近いこれ
そしてそれから見せるあなた別の方法のやってるの同じもの。
また、でエネルギー省カスタムデザイン。
何私示したあなただった追加するそれを使用してこれ方法ここ。
別の方法にするそれはにただ使用これボタン右ここ
これは共変量を選択するというものです要因
そしてそれは与えるあなたのちょうど同じもの。
また、私はピッキングの要因それ私は興味があるで
そしてそれは自動的に人口が多いこれ要因窓。
私はただスクロール下にの底そしてクリック続く。
これはどこ私たちはできる置くでのモデルそれ私たちは欲しい。
のために私たち、私たちは欲しかったのRSMまたは応答サービスモデル。
そこにははまたあるショートカットボタン右ここ。
私はただ行くにクリックそれ。
何それしたはそれ追加した...
私たちはすでに持っている私たちの主要要因でそこには、
しかしそれ追加した私たちの二次関数そして二-方法交流効果。
それから、最後に、での一番下のここどこそれ言う番号の走る、
私たちはしないでください欲しい100なぜなら私たちは実はただ欲しいに選択する72外の100。
私はただ行くに変化これに72.
これ全て見た目良いに自分。
病気クリック作るデザイン。
しましょうただ与えるJMPある少し秒に作成するのデザインのために私たち。
ここ私たちは行く。
これはのデザインそれそれ作成したのために私たち。
としてあなたできる見る、もしあなたスクロール下、
それのみ与えた私たち72行、どれのは何私たちは持っていた尋ねたのために。
私はただ行くに言う、振り向くこれの中へあるデータテーブル。
私はただ行くに打つ作るテーブル右ここの上の底左。
私は行くに近いこれのために今。
今、前に私見せるあなた何これデザイン見た目のように、
私実は欲しいに行く戻るにのオリジナルテーブル、
ただそれであなたできた見る...
私たちはできる比較する何選択された観察結果に起こった
対観察それだったない選んだ。
もしあなた行く戻るにのオリジナルデータテーブル、のものそれだった選ばれた、
それ72は実は強調表示されました。
何私はそうするだろうのようににするでこれポイントは私はそうするだろうのようにに作成するある新しいカラム
それするだろう識別するどれの行だった選択されたそしてどれのものそうではありませんでした。
にするそれ、あなた行く下行。
下行選択、
そこにははの最後オプションでここ言う名前選択でカラム。
何それはするそれはそうなるだろうかラベルの現在選択されている行
そして保存何でも価値観あなた割当のためにそれカラム。
私は行くにクリックそれ。
のカラム名前。
Yあなた得るに作成するあるその列の名前。
T彼行それは強調表示された、私は値 1 を与えることになります。
のものそれだったない選択された、私欲しいに与える彼らある価値のゼロ。
私は行くにOを押しますケイ、そしてそれ作成したこれカラム右ここ。
全ての私の望む、あるよ72...
あるよ72行のためにのものそれ選ばれました
そしてそれから28のためにのものそれだったない選択されました。
私欲しいに行く戻るに私の散布図マトリックスに見る応答
またはに見るどれの観察だった選んだそしてどれのものそうではありませんでした。
しかし前に私たちはするそれ、色分けしたいんです
それでそれいつあなた見てでのグラフ、
私できるすぐにスポットどれのものだった選んだそしてどれのものそうではありませんでした。
クイック方法のやってるそれはにする行、色またはマークによるカラム。
それから、ここ、私欲しいに使用これ「選択済み」という列
それでそれ全てのゼロ意思なれオレンジ色の丸で識別されます
そして全てのもの意思なれ特定されたによるある青丸。
私たちは使用あるマーカーとして良い。
それかもしれない作るそれより簡単にに識別するの観察。
病気ただ「O」をクリックしますケイ。
今、全ての私の行はマークされたによるのプラスまたはのサークル。
元に戻ったら…
もし私行く戻るに私の散布図マトリックス、
また、その下多変量メソッド、多変量、そして私ただ打つ想起。
私はやってるの同じものとして私した最初は。
させて自分「OK」をクリックします。
私はただ行くに作るこれある少し少しより大きい。
あなたはそうするだろう今見るそれの青プラスはの観察それだった選択された、
そしてそのオレンジサークルはのものそれそうではありませんでした。
のものそれだった選択された
する傾向があります起こるもっとの上の境界そしてエッジの私たちの空間。
これはその通り何私たちは欲しかった。
これ見た目素晴らしいに自分。
これを閉じましょう。
ただに納得させるあなた自身
それのモデルはやってる何その想定になれやってる、
私実はしたこれ同じ設定、
しかしこれ時間、その代わりのピッキング72、私はのみピッキング24.
しましょう作るそれある少し少しもっと過激。
ただに見せるあなたの例の何それ見た目のように。
また、今私の選択。
今、あるよのみ24行それは選択されたでここ。
しましょうするの同じもの。
作るこれある少し少しより大きい。
今、あなた見る少ない青プラスなぜならそこにはすべきのみなれ24.
しかしそれからあなたはそうします見るどうやってそれらの観測結果が収集されています
対のものそれだったない選んだ。
彼らはする傾向があるに起こるもっとの上外側の境界線、
しかしまだいくつかのでの中心。
しましょう行く戻るに私たちのオリジナル問題。 良いただ近いこれ。
これだった私たちのオリジナルデータテーブル。
によって作成されたもののデザインはこれ1つ。
何する私たちは持っているここ？
だったまだ維持するの同じ変数それ私たちは尋ねたJMPから含む。
私たちは持っている私たちの特徴1 2、 3、そして4.
なぜ私たちの応答はまだない？
私たちは今持っているこれ新しいカラムそれ言う共変量行索引。
基本的に、これただリンクあなた戻るにあなたのオリジナルテーブル。
もしこれ言う88、それするだろうなれ行88の上あなたのオリジナルテーブルそれ得た捕らえられた。
これ1つ。
これ行ここすべきなれの同じとしてこれ行右ここ。
前に私たちは動く、私は実はただ行くに名前を変更するこれに私の滑り台ID。
で私の場合、の滑り台ID、どれのはただある番号から1に100、
その実はただの同じとしての共変量行索引。
それだった全てのためにステップ1つ。
ステップ二は今複製するの72画像。
どうやってする私たちはするそれ？
あ素早い方法のやってるそれはに行くにDOE。
の2番選択は増強デザイン。
それからこれ窓意思ポップ上尋ねるあなた何はあなたの反応そして要因は？
私知るなぜ私たちはしないでください本当に応答があり、
しかし私考えるあなたまだ必要に置くで何かでここ。
それはわかった。
あなたただ置くそれでそこには平けれどその全てない価値観。
それから、のためにの要因、だった行くに選択する私たちの特徴1に4.
これ時間、私たちはするだろうまた必要に選択する私たちの滑り台ID。
クリックわかった。
これ新しい窓ポップス上と全ての私たちの要因。
またしてもJMP自動実装するの範囲の全ての私たちの変数。
の上の底ここ、下増強選択肢、
あるよある複製するボタン、そしてそれはその通り何私たちは必要。
クリックそれそしてそれから彼らはそうするだろう聞くあなた、
どうやって多くの番号の回するあなた欲しいに実行するそれぞれ走る？
のデフォルトは二、しかし私たちは実は欲しいそれになれ三つ
なぜなら私たちは必要なそれぞれ画像に見せる上三つ回で私たちのデザイン。
それから私たちはクリックわかった。
今、何あなたはそうします見るはそれで私たちのデザイン、
その代わりのただ72、私たちは今持っている72回三つ。
良いただスクロール全ての方法にの底。
私たちは今持っている216行。
病気ただクリック作るテーブルに振り向くそれの中へあるデータテーブル。
良い近いこれ。
あ少しもっとものそれ私欲しいにチェック。
あカップルもっともの私欲しいにチェック前に私たちは動くの上にステップ三つ。
それは、毎時間あなたはやってるこれらステップ、
あなた欲しいに作るもちろんそれその実はやってる何あなた考えるそれすべきなれやってる。
でこれ場合、
私欲しかったにチェックそれそれぞれ滑り台ID実は発生する三つ回。
だった行くに使用表にするにするそれ。
表にする、S乗るID、そして私すべき持っているあるカウントの三つのためにそれぞれID。
それは何私たちは持っている。
それ見た目素晴らしい。
それはそれのためにステップ二。
しましょう動くの上にの最後ステップ、どれのはのほとんどエキサイティングステップ。
今、私たちは持っている216行そして私たちは持っているの滑り台ID。
今、私たちは欲しいに配布するこれに九違う人々。
どうやってするだろう私たちはするそれである方法それそれぞれ人取得あるバランスのとれたミックス？
あいいね方法にするそれは使用するエネルギー省また。
DOE、クリックの上DOE カスタムデザイン。
のように何私たちはした前に、
だったまだ行くに使用私たちの共変量として要因。
ただ選択する特徴1に4そして私たちの滑り台ID。
JMP意思自動人口を投入するの分そして最大。
今、全てのの行ここは彼らは全てリスト化されたとして共変量。
しかしでこれポイント、私実は欲しいに追加二もっと要因。
1つ要素はあるカテゴリー的な3 つのレベルを持つ因子、
そしてそれはの中心またはの研究室なぜならあなたは持っている九病理学者、
しかし彼らは全て到来から三つ違うセンター。
私はただ行くに名前を変更する彼らあ、 BそしてC.
それから私欲しいにする...
各センターでは、また持っている三つ違う人々参加しています。
私欲しいに追加別のカテゴリー的な要素またと三つレベル。
これは行くになれ私たちの評価者。
これらはのようにの人々。
しましょう名前彼ら1、 2、そして3.
基本的に、何私は言ってるはそれ中心あ意思持っている評価者1、2、3、
中心Bもっている評価者1、 2、そして3、そしてそれでの上。
で合計、私たちは持っている九違う人々、
九違う組み合わせの中心そして評価者でここ。
私は行くに最小化するこれ。
これ実はただショーのデータテーブルどこ私たちは引っ張られた私たちの共変量から。
それから打つ続くここ。
今、私たちは得るに教えてJMPとは親切のモデルする私たちは欲しい。
あるよあるカップルのものでここ。
初め、私実は欲しかったに追加で。
JMP意思自動的に置くであなたの主要効果。
これらは全ての要因それはで私のモデル。
私欲しかったに置くでの交流学期間中心そして評価者、
そしてそれはなぜなら私欲しかったに作るもちろんそれ
すべての組み合わせの中心そして評価者現れるで私たちのデザイン。
それ保証するそれ。
の他のものに知るはそれ
私たちは実際にしないでください持っている十分走るに見積もり滑り台ID。
覚えて、滑り台ID行きますから...
あるよ72明確な滑り台IDでここ、
しかし私たちは実はしないでください欲しいの効果、ある滑り台ID効果。
私たちはただJMPが欲しいに取るそれの中へアカウントいつその建設中のデザイン。
私たちはしないでください本当に欲しいに見積もり滑り台ID。
エスティマ下能力ここ、あなたできる変化...
の推定可能性のために滑り台ID、
必要な、あなたからできる変化それにもし可能。
それから、最後に、の番号の走る。
私考えるt彼番号の走る彼らは計算されたのために自分だった18.
しかし私たちは実は欲しかったに使用上全ての私たちの走る
なぜなら私たちは持っている216走るそして今だったただ探しているに見る...
私たちは欲しかったに得るJMPから教えて私たちどうやってする私たちは割り当てるこれら216.
作るデザイン。
それただかもしれない取るある少し少しより長いです。
病気行くの中へデザインをどうやってチェックするかとか
そしてそれから話すある少し少しについての走る注文。
これは何のデザイン見た目のように。
私たちは持っている私たちのオリジナル特徴、特徴1に4でここ、の滑り台ID、
そして今、それが追加されました中心そして評価者割り当てられたのためにそれぞれ滑り台ID。
何これは言ってるはそれ評価者B1 はスライド番号 27 に注釈を付ける必要があります。
A1意思注釈を付ける滑り台96、そしてそれでの上。
そこにはすべきなれ216走るでここ。
それ見た目わかった。
の最後一部ここ下データテーブルオプション、
そこにははあるチェックマークのために実行順序列を含めます。
私は行くにクリックはいなぜならで私たちの場合、
のために注釈、もしあなた期待するそこにはになれいくつかのタイプの時間効果
で何でもプロセスそれあなたはやってる。
で私たちの場合、私たちはだった多分心配したについて
意思そこにはなれある学ぶ曲線、意思そこにはなれある倦怠感効果？
私たちは欲しいに作るもちろんそれ誰もがスライド ID から始めているわけではありません
それはのように小さい番号のスライド ID
そしてエンディングとのより高い-番号付き滑り台ID。
私はただ行くに「作成」をクリックしますテーブル。
私は行くに近いこれ窓のために今。
これは何今私たちのデザイン見た目のように。
前に私たちはする私たちの小切手、私はただ行くに作成するある新しいカラム
どこ私できる連結するの中心そして評価者。
私はただハイライトこれら二列を右クリックします。
新しいFの下で数式キャラクター、
私ただ欲しいに連結する彼らとあるコンマ。
これは行くになれ私たちのセンター、評価者変数。
そこにはあなた行く。
三つものそれだったチェック中ここ。
初めはしましょうする表にする。
私たちは欲しいに作るもちろんそれそれぞれ人もっているその通り24画像。
それは私のセンター、Rあと、ここには 24 があります。
それは素晴らしい。
の他のものそれ私たちは欲しいにチェックのためにはそれそこにははいいえを繰り返します。
私たちはしないでください欲しい...
のために例、私たちはしないでください欲しい滑り台ID 1いる割り当てられたにの同じ人二度
なぜならそれするだろうないなれ楽しいのためにそれ人。
もし私するあるクロス集計の滑り台センター、評価者によるID、
私すべき見るただあるカラムの1秒。
それ手段それぞれ滑り台IDだった割り当てられたに三つ違う人々。
私はただスクロールを通してここ
そして探しているでこれテーブルに見るそれそこにははいいえ2秒か3秒でここ。
それ見た目素晴らしい。
それから、最後に、私する欲しいにチェック、
どうやってするの場合ミックス見てのように横切ってこれら九評価者？
1つ方法の考えので少なくともそれを目視で確認する
はにただするある平行プロットを使用してグラフビルダー。
延長するつもりですこれ。
私は行くにハイライト特徴1、2、3、4
なぜならそれらのは私のオリジナル変数。
それから、私の中心そして評価者、私午前ドラッグするそれにここの上私のバツ-軸。
私は行くに打つこれ平行プロットオプション右ここの上の上右アイコン。
私得るそれ。
あ実際、あなたしないでください欲しいセンター、評価者でそこには。
私はただ行くに振り向くそれオフ。
多分何私欲しいはセンター、ラットえーっとそしてその自分のパネル。
何これショー私たちは私たちは持っているの割り当てからの九人々、
それでA1全ての方法にC3.
これはの場合ミックスのの画像それ彼らは得た割り当てられたに。
あ得、だったただやってるこれ視覚的に。
何私は探しているのためにないということですか...
いつあなた見てで彼ら合計でそれ彼らは全て見てほぼ同じ、
それ彼らは幾分ブレンドそして凝集は起こっていません
そして彼らは見てになれわかった。
別の方法にするそれはに、私推測あなたできるかぶせる。
それ取得ある少し少し難しいなぜなら私する持っている九違う色でここ。
しかしまた、あなたはただ探しているのために...
あなたしないでください欲しいそこにはになれどれでもパターンでここ。
あなたしないでください欲しいそこにはになれ塊状になるのここまたはここの下の緑
またはどこでもでこれ空間。
あなたできたまたチェックそれによる中心。
私は推測する私の色はないの最高。
あなた持っている黄色、ブルース、そして緑。
彼らは全て見てになれ良い-混合した。
それから、私した言及についての走る注文。
何それは、はそれあなたただ確認したい
それいつあなたは伝える人々どうやってにする彼らの注釈、
あなた欲しいに作るもちろんそれそれはまたランダム化された
したがって、時間効果がある場合、それは取られたの中へアカウントすでに。
何私はプロットここはの滑り台ID。
あ得、これは一連。 1から100まであります。
それからこれはの走る注文、
の順序のいつの病理学者するだろうレートこれら画像。
これ見た目ランダム。
私たちはできたまたプロットそれによる中心そして評価者。
これはのためにそれぞれ個人人。
彼らは見て良い。
私はただ行くに近いそれ。
今、病気ただ行くPowerPoint のスライドに戻る
そしてただ終わりといくつかの結論ここ。
私たちはできる使用エネルギー省で選択するサンプルまたはテストケース
どこあなた持っている事前情報。
もしあなた持っているデータまたは共変量それ選択内容を通知するために使用できます。
なぜない使用彼ら？
応答表面モデル有利です
もしあなたは興味があるでの境界または角ケース。
2番ポイントはそれあなたできる使用増強DOE の複製
もしあなた持っているある状況どこあなたサンプルごとに複数の評価者が必要です。
の仕事またはのデザインすでにあなたにチャンスを与えます
に要素走る注文であなたのプラン。
それできたなれ本当に役に立つもし時間効果があることを期待している
そのようなとしてある学ぶ曲線または倦怠感。
私は持っているあるカップルのリンクここにあるブログ
それ話すもっとまたは話し合うもっとについて何はある共変量でデザインの実験。
お願いしますチェックそれ外もしあなた欲しいに学ぶもっとについてこれ技術。
それから、最後に、私ただ欲しかったに言う
感謝あなたに全て私の協力者誰が助けた作るこれプロジェクト可能。
ありがとう。
