ตามคำบอกเล่าของคนรุ่นปู่รุ่นย่า เล่าขานความเป็นมาของ หมู่บ้านซอยสอง ว่าแต่เก่าก่อนไม่ใช่หมู่บ้านที่อยู่ติดถนนเหมือนปัจจุบัน แต่เป็นผืนป่าขนาดใหญ่ เมื่อมีผู้คนเข้ามาบุกเบิกตัดไม้ถางป่าสร้างบ้านเรือนและชุมชน จำเป็นต้องมีเส้นทางลำเลียงซุงออกจากป่า จึงทำให้เกิดเป็นเส้นทางลากซุง ต่อมาจึงเรียกเป็นชื่อซอยตามลำดับ ซอยหนึ่ง ซอยสอง เรื่อยไปถึงซอยห้า และใช้ตั้งเป็นชื่อของหมู่บ้านในเวลาต่อมา
ลักษณะภูมิประเทศของหมู่บ้านเป็นที่ราบลุ่มสลับเชิงเขา ราษฎรส่วนใหญ่ประกอบอาชีพเกษตรกรรม เช่น ทำสวนยางพารา ทำสวนผลไม้ เป็นต้น
วัดซอยสองแต่เดิมตั้งอยู่บริเวณที่ตั้งของโรงเรียนบ้านซอยสองในปัจจุบัน แต่เมื่อก่อนเป็นเพียงที่พักสงฆ์ สร้างเป็นศาลาไม้ขนาดเล็ก ต่อมาในช่วง พ.ศ.๒๕๑๖ หลวงพ่ออภิชาติ อภิโชโต (พันโทอภิชาติ ศรีสว่างวงศ์)
ได้เข้ามายังหมู่บ้านซอยสองแห่งนี้พร้อมกับพัฒนาหมู่บ้าน ท่านได้ทำการก่อตั้งโรงเรียนประจำหมู่บ้านขึ้น คือโรงเรียนบ้านซอยสอง (อภิชาติราษฎร์อุปถัมภ์) และทำการย้ายที่พักสงฆ์ไปที่บริเวณเขาวัว เป็นเขาที่อยู่ในซอยลากซุงซอยที่สอง หรือก็คือ ที่ตั้งดั้งเดิมของหมู่บ้านนั่นเอง และเมื่อโรงเรียนถูกสร้างจนแล้วเสร็จ หลวงพ่ออภิชาติ ก็ย้ายไปพัฒนาพื้นที่อื่นๆ ต่อไป จากนั้น ผู้ใหญ่ดำรงค์ มะปรางอ่อน ผู้ใหญ่บ้านสมัยนั้น ได้ไปกราบนิมนต์หลวงพ่อเพ็ชร์ อัตถกาโม มาเป็นเจ้าอาวาสวัดซอยสอง โดยทำการย้ายวัดอีกครั้งหนึ่งจากที่ตั้งอยู่บนเขาวัว มาตั้งอยู่บริเวณด้านทิศตะวันตกของโรงเรียนบ้านซอยสอง จนถึงปัจจุบัน
ด้วยพลังศรัทธาของชาวบ้านในชุมชนบ้านซอยสอง หลวงพ่อเพ็ชร์ และชาวบ้านจึงช่วยกันสร้างและทำนุบำรุงวัดซอยสองเรื่อยมา ซึ่งได้จดขึ้นทะเบียนแต่งตั้งเป็นวัดในพระพุทธศาสนา ในวันที่ ๒๔ กันยายน
พ.ศ.๒๕๓๕ จวบจนถึงวาระสุดท้ายของหลวงพ่อเพ็ชร์ วัดซอยสองจึงว่างจากตำแหน่งเจ้าอาวาสอีกครั้ง
ต่อมาชาวบ้านในชุมชนจึงไปกราบนิมนต์ พระครูพุทธิญาณวงศ์ (พระปลัดอำนาจ ถิรปสาโท)
จากวัดบัวขวัญ จ.นนทบุรี มาเป็นเจ้าอาวาสวัดซอยสอง จวบจนถึงปัจจุบัน
และในวันนี้ จากที่พักสงฆ์มีเพียงศาลาไม้หลังเล็กๆ ถูกพัฒนาเรื่อยมาจนเป็นวัดซอยสอง (ดำรงราษฎร์วราราม) วัดที่เป็นที่รู้จักในตำบลสามพี่น้อง ด้วยพลังศรัทธา ความสามัคคี ของชาวบ้านในชุมชน ความสามารถด้านการพัฒนาของพระครูพุทธิญาณวงศ์เจ้าอาวาสวัดซอยสอง ทำให้วัดซอยสองเป็นที่รู้จัก
ในวงกว้าง ได้รับเกียรติเป็นวัดตัวแทนในอำเภอแก่งหางแมวจัดงานสำคัญต่างๆ เรื่อยมา