persyaratan istri untuk tetap berdomisili di kampungnya

Saya seorang perempuan, menikah dengan seorang laki-laki dan memiliki tiga anak perempuan darinya. Kemudian ayah anak-anak saya ini meninggal, namun mereka masih memiliki nenek dari pihak ayah mereka. Selang beberapa waktu setelah meninggalnya suami saya yang pertama, ada laki-laki lain yang melamar saya. Tentu saja dia katakan bahwa dia tidak akan mengajak saya pindah dan dia akan membangunkan sebuah rumah untuk saya di kampung saya tempat dimana saya berdomisili sekarang. Tapi masalahnya, hal tersebut tidak dicantumkan dalam akad. Pernikahan telah terjadi dan saya juga telah melahirkan tiga anak perempuan darinya. Lalu dia mulai meminta saya untuk pindah bersamanya ke tempat tinggalnya. Perlu diketahui bahwa sebelum menikah dengan saya dia telah beristri dua. Jika saya pindah ke tempatnya, maka saya akan berpisah dengan anak-anak perempuan saya dari suami yang pertama, karena keluarga mereka akan menahan mereka. Jika saya menolak pindah maka suami kedua saya ini akan membawa anak-anaknya. Dia tidak terlalu butuh saya lagi, karena dia memiliki dua istri lain selain saya. Pertanyaan saya adalah, apakah jika saya meminta cerai saya berdosa? Apakah jika saya tidak pindah dengannya saya masih berhak mendapatkan hak-hak dari suami sebagaimana sebelum-sebelumnya? Saya telah sebutkan, bahwa anak-anak perempuan saya dari suami pertama itu ayah mereka telah meninggal. Saya tidak ingin mereka kehilangan kasih sayang dari saya, sebagaimana mereka sudah kehilangan kasih sayang dari ayah mereka. Saya berdoa kepada Allah agar saya bisa mendapatkan jawaban dari Anda secepatnya. Mohon balasannya, terima kasih.