恋人がいるのだと思います。
女の人は好きな人以外 触れて欲しくないですから。
好きな人がいるのだと思います。
===補足===
お子さんがいるから普通に接しているのだと思います。 会話だってするでしょう。
浮気しているのが自分なのですからいろいろなことも考えて接していると思います。
悲しいけど 御主人のことはもう愛せないのでないでしょうか。 元から不実な方で一人じゃ満足できないとか(理解できませんが)
家庭を守りたいのであるなら我慢するのがいいかもしれませんが 男の人はとても我慢できないと思います。証拠を握って問い詰めて ご自身がどうしたいか考えて決めてください。