その場だけの断りだったら、「都合が悪い」「体調が悪い」などの理由を言います。
興味のない相手というか嫌な相手だったら、
「あなたと、二人きりでのお誘いは迷惑ですので、お断りします。」とはっきり言います。
「また今度誘ってください。」とか「また機会があったら行きましょう。」などは、相手に思わせぶりな返事をするのは、やめておいたほうがいいですよ。
もし、言ってしまって誘われたら、
「二人きりでいて、誰かに見られて、お付き合いしていると思われても困ります。もし、勘違いさせたなら、ごめんなさい。」
と、丁寧にお断りします。
二人で食事に行くのが嫌な相手なら、はっきりと断ったほうがいいと思います。
あいまいな返事は、脈があると勘違いさせるだけだと思います。