「あっ、その日は前から予定が入っているんです。」
「えっと、今月は色々と忙しくって。」 等...
たまたま都合が悪い場合は、「じゃ、今度また誘って下さい。」とか
「来月だったら。。。」とか、相手にまた誘ってほしいような言葉を付けると思います。
でも、その人とは最初から行きたくないのであれば「私、あんまり外食すきじゃないんです。」とか
「今、凄く忙しくって暇がないんですよね~。」など、今後も誘っても無理です的なニュアンスの
言葉が入っていると思います。
===補足===
評価&コメントを有難う御座いました。
そうです。”次につながる言葉があるかないか”だと私は思っています。
顔に出やすい人もいますが、そうじゃない人もいるので、表情での判断は難しいです。