Count me out

TOEICの新形式にも登場していたCount me in.というのは「私も入れて」と仲間に入れてもらう表現で覚えておくと使う機会がありそうですよね。count inがあるならcount outもあります。

（オックスフォード）
count somebody in
to include somebody in an activity
I hear you're organizing a trip to the game next week? Count me in!

count somebody out
to not include somebody in an activity
If you're going out tonight you'll have to count me out.

Count me out.は「遠慮しておく」「今回はいけない」といった意味の断り表現ですからケンブリッジのように断る理由を付け加えたほうがより良いコミュニケーションになるでしょうね。TOEICでもそういう配慮がなされています。

（ケンブリッジ）
count someone out
(omit)
› to not include someone in an activity:
"Who's coming swimming?" "Count me out – it’s too cold."



以下のような広告を打ったので大統領選に出るのではと噂されていたPaul RyanがきっぱりとCount me outと会見していたようです。





「根拠を他人に説明できるようになる」というアプローチもあるでしょうが、このような実例に触れて理屈抜きに納得していくアプローチもあってしかるべきで、その人にあった方法を選んでいけばいいと思います。