我该怎么处理好这段关系

健康咨询描述：我和我男友是小学的同学，很多年后再重逢时产生了感情，但是这时他有着一个女朋友（我也不知该说是不是还在一起的女友，因为他对那个女孩已没有感情了，对她也是不理不睬的，他的家人也喜欢她，为了不让他家人停止资助她读书，他一直没有表明态度）所以一开始我们的感情都是处于地下状态，刚开始时我太爱他了，也相信他的善良，所以他告诉我只能等到她毕业时才能公开我的身份，我也只好答应了。
后来由于他一直对女孩的冷漠态度，使他和家人产生了好多的矛盾和争吵，接着他家人知道了我的存在，开始极力反对我们交往（当时他已经和她正式分手了）特别是他妈，因为一直很喜欢那个女孩，所以认为我是第三者，为了不让他妈难过，我们只好继续瞒着他妈交往。从那以后，他妈经常都会限制他的自由，时常两人也会因为提到这方面的问题吵了起来，我们也为此吵了很多架，提出了很多次分手，因为都是不想对方太难受和对不起他妈。
现在，由于他事业上遇到一个很大的失败，他妈担心事情对他的打击太大，加上他向他妈表明，如果我们分开，他会一辈子都不开心的，所以他妈只好不再反对我们，但却和他说，她很不甘心。很不开心。因此，至到现在，他也不敢带我回家，其实我也有点恨他妈对我的成见那么深，但是我还是很尽心地关心他的家人，只是这么多年来的争吵，让我们的感情变得很脆弱，我也变得很计较他与家人的关系，总觉得他与家人亲近时，对我会很冷淡。他也从不在家人提起我，甚至有时在我家，他也会找其他理由告诉家人不回家睡觉，或是呆在家里不找我，我觉得我等得好累，好想放弃，但是这么多年来的付出和感情，我不知道我该怎么放得开。每次听着他骗家人的理由，我就会觉得很伤心很无奈，而且我也下意识的想和他的家人争夺和他相处的时间，
我男友是个个性很要强，很自我的人。虽然他很在乎我，但是吵架时经常都会提出分手，所以经常我都会觉得患得患失，我也经常会在想离开他。
听了这么多，您们能给我一点意见吗？谢谢