Placebo Analyses・Falsification Testsについて：実証ミクロ計量関連記事(2)
緊急事態宣言が発令され、大学が閉鎖された。当然、研究科棟・研究室へも入ることができない。私は人生を緊急辞退したいと思う。
...
実証ミクロ計量関連記事(1)はこちら
本題・使い方と解釈について
実証論文を読んでいると、Placebo AnalysesやFalsification Testsという言葉が出てくる。初めて見たときは学部4年生だったか修士1年のときだった。特に英語に精通していないと「なんそれ？プラシーボ？」となる。
Placebo（偽薬）やFalsification（偽造・誤り）が意味するように、本筋とは関係していないものを対象とする。具体的には、アウトカム（被説明変数）を、本来は関心のあるXと関係していない（Xの影響は受けない）ものに置き換えて、分析を行う。Athey & Imbens (2017, JEP)では次の一文で説明されている："In a placebo analysis, the most widely used of the supplementary analyses, the researcher replicates the primary analysis with the outcome replaced by a pseudo-outcome that is known not to be affected by the treatment."
適切ではないし現実的にもおかしい（？）が、上の条件を満たした1つの例を考える。アウトカムがテストの点数で、トリートメントが補習であるとしよう。この補習は、数学の点数"のみ"を上げる効果があり、他の科目のテストには全く影響を与えないとする。メインの分析では、アウトカムが数学テストの点数になる。有意に点数を上げたという結果が得られたとしよう。ここで行うPlacebo Analyses（Falsification Tests）は、アウトカムを他の科目のテストの点数にし、トリートメントは他のテストの点数には影響を与えない（有意な関係がみられない）ことを示すことが目的となる。
多くの論文では、これらは主要結果のあとに、その結果をサポートするためにrobunstness checks（頑健性チェック）などと並べて報告されている。
一点注意するべきこととして、昨今厳しく言われているのが、statistical significanceとeconomic significanceは別物であるということだ。すなわち、必ずしも有意じゃないからこれらのテストはパスできた、という結果にはならないのである。例えば、メインで推計されたトリートメントの係数が有意で（絶対値で）かなり小さい値であるのに対し、placebo analysesで推計された係数は有意ではないがかなり大きい値だとしよう。この場合、影響は無い（無視できる）と結論づけることはできず、読者（査読者）を納得させることは厳しいと思われる。（符号とp値のみに基づく議論は昔の話である。）
参考文献
引用した文章以外何も参考にしていないが、もう少し詳しく（真面目に）学びたい方は以下の論文が参考になる。真面目に学んでないから知らないだけかもしれないが、あまり教科書ではこれらの説明は見ない気がする。
Athey, Susan, and Guido W. Imbens. 2017. "The State of Applied Econometrics: Causality and Policy Evaluation." Journal of Economic Perspectives, 31 (2): 3-32.
