妻にだけイライラする、大きな声を出してしまう

妻は30代前半
私は20代後半
小さい子供が2人います。
現在、自営業を営んでいます。

人生で大きな声を出して怒ったりした事は無いのですが、妻の態度や発言に我慢できず、人が変わって、大きな声を出したり、壁を叩いたり、叫んだりしてしまいます。
それを見た子供が、パパママ仲良くして！と泣いている所をみて、我に帰ります。
妻以外でこんな風になったことはありません。正直、どうしたらいいかわかりません。

何度もこういった事で喧嘩をしており
一度心療内科にお世話になった事もあります。本人は無自覚なのでしょうが、遠回しに不快になるような事を言って来ます。そういった事が続いて、些細な事でも、自分の事を悪くいっているだと思うようになってしまいました。
自信をつけるために、大丈夫、自分は自営業も、家事も、ちゃんとやっているじゃないか！と毎日頑張っているつもり、なのですが、今度は肉体的疲労も溜まり、体調も毎日芳しくありません。
無自覚に人を傷つけるような妻の発言は治るとは思いません。変わるなら自分だと思うのですが、色んな本を見たりして、自信をつけるために、色々試しているのですが、どれもうまくいきません。
ストレス発散の趣味も、子供がいると中々できず、私は地元なので友人にもすぐ会えるので相談できない事はないのですが、妻の地元は遠く、こちらには友達もおらず、自分だけ逃げ道があっていいのだろうか？などとも考えてしまいます。
何より自分がこんな風に変わってしまった事が、ショックというか、どうしたらいいかわかりません。何より、子供達の為に、毎日笑顔で過ごせるようになりたいです。