เดิมเกาะปูและเกาะจำเป็นคนละเกาะกัน โดยเกาะปูคือเกาะขนาดใหญ่ ที่อยู่ทางทิศตะวันตก ขณะที่เกาะจำคือเกาะเล็กๆ ที่อยู่ถัดออกไปทางทิศตะวันออกเฉียงใต้ของเกาะปู ซึ่งปัจจุบันคือเกาะจำนุ้ย เกาะจำนุ้ยนั้นเคยเป็นที่อยู่ของชาวเลมาก่อน ต่อมาเกิดโรคระบาด ชาวเลจึงได้อพยพออกมาอยู่ทางตอนใต้ของเกาะปู และเรียกบริเวณใหม่ที่ย้ายไปอยู่ว่า “เกาะจำ” อีกทำให้เกาะปูมีชื่อเรียกต่อท้ายว่าเกาะจำพ่วงไปด้วย กลายเป็น “เกาะปู – เกาะจำ”
