東京都中野区・高円寺・杉並区 水子供養 復縁祈願の法華経寺・神宮司龍峰

よく不倫関係の質問で「そもそも不倫する事が間違い」とのご回答がありますが、それは遠慮していただけると助かります。
社内恋愛しています。不倫です。かれこれ3年になります。

彼と出会った頃にひどい失恋をし、誰も信じる事が出来なくなっていました。
その時に支えてくれたのが今の彼です。
2児の父親ですが、8年前から夫婦関係は破綻していました。
初めはただの相談相手でしたし、私も恋愛する気力がなく、相手も既婚者という事もあって友達でと考えていました。
そのうちに彼が本気なり、「子供も嫁側について父親を必要としていないので離婚する。俺はお前を幸せにしたいから本気で考えてくれ。ついてきてくれ。」と言われました。
正直、心身ともに疲れていた私はそれに応じる事もなく、やはり既婚者という事が離れずに断り続けていました。でも彼は何か月も熱心に気持ちを伝えてきた事で私も揺れ、離婚するなら、と承諾しました。その時に彼は別居も始めました。
しかし、金銭の問題もある事から先方の奥様は承諾せず（もともとカツカツの生活で、仕事で作った借金もあり、貯蓄もありません）、離婚話は全く進捗しなくなりました。
そんな中で、彼の子供が不登校になり、全く学校にも行かなくなりました。
それを見た彼は「なんとかしてやらないとダメだから」と子供優先で物事を考えるようになり、生活環境を考えると今の段階では離婚は出来ない、少なくとも子供が正常に生活できるまでは、と言われました。
子供の事を考えるのは親の責任であるのは理解してますし、そこに対して文句を言うつもりもありませんが、じゃあ私はどうなるの？となりました。
「私に対してアプローチをしてきた時と状況が変わったから」と言って、全て彼の都合で私の人生を狂わされるのはおかしいと思うし、変わったなら変わったで、その状況下で私との事を考える必要があると思うのです。
なので「そちらの状況は理解したし、そうする事がベストなのはいいけど、私に対しての責任の取り方や今後の方針はどう考えてるの？」と聞くと、「責任の取り方も分からないし、もう無理だから。金がないからもう無理」の一点張りです。挙句の果てには「俺がもう無理って言ってるのに責任とれとかどうしたらいいの、とかうるさく言われると疲れる」と言われました。
いろんな覚悟をもって彼の事を信じてここまで来たのに無責任すぎると思うんです。
私はおかしいですか？
今は冷静に考えられないので、第三者の意見が聞きたいです。