宋室沒有退往海南島的原因，是因為海南島在崖山之役之前數月，當地土著叛亂，殺了大宋將領後向元軍歸降。《宋史---本紀第四十七》有以下記載：
(至元十五年，公元1278年)十月，趙與珞與謝明、謝富守瓊州，阿里海牙遣馬成旺招之，與珞率兵拒於白沙口。 十一月癸巳，州民執與珞以降。《元史---本紀第十》也有記載：(至元)十六年(公元1279年)春正月己酉朔......詔以海南、瓊崖、儋、萬諸郡俱平，令阿里海牙入覲。瓊州、儋州都是海南島的舊稱，所以根據《宋史》及《元史》記載，至元十五年(1278年)十一月海南島土著叛變俘虜了宋將趙與珞向元將阿里海牙歸順，兩個月後(至元十六年正月)元世祖忽必烈以海南島已平定，召負責攻打海南島的將領阿里海牙入覲。而崖山之役，則在至元十六年正月至二月發生，所以當時海南島已落入元軍手中。而從海南島土著叛變俘宋將降元事件，也看得出宋末海南島的局勢不是很穩定，島民對宋室有離心，也不是個很好的避難地方。