А история ваших отношений с этим мужчиной какова??? Как вы оказались вместе? Почему он ушел от жены? Вы - его любовница в прошлом или как?
Напишите подробно вашу историю, иначе не понятно ничего. Нужно понимать, откуда растут ноги у этой вашей проблемы.