เดิมสถานที่บริเวณอู่ต่อเรือสมเด็จพระเจ้าตากสินฯ เป็นป่าชายเลน ตั้งอยู่ทางทิศตะวันตกเฉียงเหนือของหมู่บ้านเสม็ดงาม ตั้งอยู่บริเวณอ่าวขุนไชย หรือปากแม่น้ำจันทบุรีในปัจจุบัน ชาวบ้านแถบนี้เรียกสถานที่ตรงบริเวณนี้ว่า อู่ต่อเรือสมเด็จพระเจ้าตากสินมหาราช