พุทธศักราช ๒๓๑o กรุงศรีอยุธยถูกพม่าตีแตก เผาทำลาย พระเจ้าตากสินมหาราชครั้งนั้นยังดำรงตำแหน่งเจ้าเมืองกำแพงเพชร เป็นพระยาวชิรปราการ ถูกเรียกตัวลงมาช่วยราชการ สงครามเห็นว่าจะสู้พม่าไม่ได้ เพราะบ้านเมืองแตกเป็นก๊กเป็นเหล่า มีแตกสามัคคีกัน จึงรวบรวมทหารได้ประมาณ ๕oo คนเศษ ตีฝ่าวงล้อมของทัพพม่า ออกมา มุ่งหน้ามาทางตะวันออกฝ่านนครนายก ปราจีนบุรี ชลบุรี ระยอง มุ่งมาสู่จันทบุรี จุดประสงค์เพื่อรวบรวมผู้คนเพื่อจะนำทัพไปกู้กรุงศรีอยุธยาในภายหลัง
เพราะทรงเห็นว่าเมืองจันทบุรีเป็นเมืองที่อุดมสมบูรณ์เหมาะแก่การส่องสุมกำลังพล ณ ที่แห่งนี้สันนิฐานว่าเป็นที่รวบรวมพล พักพลเพื่อรอพวกที่ข้ามฟากจากฝั่งระยองมาไม่หมด เพราะท่าช้างข้ามแห่งนี้ เป็นท่าที่ใหญ่เวลาน้ำลด ผู้คน ช้าง ม้า เดินข้ามได้
พระองค์คงจะรอเวลานั้นแล้วทยอยข้าม กันมา พวกที่มาก่อนก็คงจะมารอตรงบริเวณนี้ เพราะเป็นทุ่งกว้าง เลยถัดไปอีกหน่อยเป็นหนองน้ำ เรียกว่า " หนองพลงใหญ่ " น้ำท่าอุดมสมบูรณ์ดี ซึ่งก็จะสะดวกแก่ไพร่พลที่จะได้ใช้สอย ทั้งช้างและม้า ในหนองน้ำแห่งนี้ สันนิษฐานว่า กองทัพคงจะพักอยู่ไม่นาน เมื่อไพร่พลมาพร้อมกันแล้วคงจะเดินทางมุ่งไปสู่เมืองจันทบุรีต่อไป
นามนี้จึงเป็นที่มาของ วัดช้างข้าม ซึ่งสร้างให้หลังใน พ.ศ.2327 นับเวลารวมกว่า 200 ปี สืบต่อพุทธศาสนามาถึงปัจจุบัน