อัมพวา ด้วยเหตุที่อำเภออัมพวาเป็นสถานที่สำคัญ และเกี่ยวข้องกับประวัติศาสตร์ไทยในสมัยกรุงศรีอยุธยาถึงต้นกรุงรัตนโกสินทร์อยู่มาก สมัยก่อนเรียกกันว่า "แขวงบางช้าง" เป็นชุมชนเล็ก ๆ ที่มีความเจริญทั้งในด้านการเกษตร และการพาณิชย์ มีหลักฐานเชื่อได้ว่า ในสมัยสมเด็จพระเจ้าปราสาททองนั้น แขวงบางช้างมีตลาดค้าขายเรียกว่า "ตลาดบางช้าง" นายตลาดเป็นหญิงชื่อน้อย มีบรรดาศักดิ์เป็นท้าวแก้วผลึก นายตลาดผู้นี้อยู่ในตระกูลเศรษฐีบางช้างซึ่งต่อมาเป็นราชนิกุล "ณ บางช้าง"
เมื่อ พ.ศ. 2303 ในสมัยกรุงศรีอยุธยาตอนปลาย รัชสมัยพระเจ้าเอกทัศน์ โปรดเกล้าฯ ให้นายทองด้วง (พระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลก) เป็นหลวงยกกระบัตร เมืองราชบุรี ซึ่งเป็นเมืองจัตวาขึ้นตรงต่อกรุงศรีอยุธยา ต่อมาหลวงยกกระบัตรได้แต่งงานกับคุณนาคบุตรีเศรษฐีบางช้าง และได้ย้ายบ้านไปอยู่หลังวัดจุฬามณี ต่อมาเมื่อไฟไหม้บ้านจึงได้ย้ายไปอยู่ที่หลังวัดอัมพวันเจติยาราม อีก 3 ปี
เมื่อ พ.ศ. 2310 พม่าตีกรุงศรีอยุธยาแตก หลวงยกกระบัตรจึงตัดสินใจอพยพครอบครัวเข้าไปอยู่ในป่าลึก ในระหว่างนี้ ท่านแก้ว (สมเด็จกรมพระศรีสุดารักษ์) พี่สาวของหลวงยกกระบัตร ได้คลอดบุตรหญิงคนหนึ่งตั้งชื่อว่า "บุญรอด" (ต่อมาได้เป็นสมเด็จพระศรีสุริเยนทราบรมราชินี ในรัชกาลที่ 2) ครั้งเมื่อพระยาวชิรปราการได้รวบรวมกำลังขับไล่พม่าออกไปหมดแล้ว ได้สถาปนาขึ้นเป็นพระเจ้าตากสิน หลวงยกกระบัตรจึงได้อพยพครอบครัวกลับภูมิลำเนาเดิมในช่วงนี้เอง คุณนาคก็ได้คลอดบุตรคนที่ 4 เป็นชาย ชื่อฉิม (พระบาทสมเด็จพระพุทธเลิศหล้านภาลัย) หลังจากนั้น หลวงยกกระบัตร ก็ได้กลับเข้ารับราชการอยู่กับพระเจ้าตากสิน ได้รับพระราชทานบรรดาศักดิ์เป็นพระราชวรินทร์เจ้ากรมพระตำรวจนอกขวา จนกระทั่งเป็นสมเด็จเจ้าพระยามหากษัตริย์ศึก และปราบดาภิเษกขึ้นเป็นพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลก ต้นราชวงศ์จักรี คุณนาค ภรรยาก็ได้รับสถาปนาขึ้นเป็นสมเด็จพระอมรินทรามาตย์ คุณสั้น มารดาคุณนาค ได้รับการสถาปนาขึ้นเป็นสมเด็จพระรูปศิริโสภาคมหานาคนารี
แต่เนื่องจากสมเด็จพระอมรินทรามาตย์ทรงเป็นคนพื้นบ้านบางช้างมาก่อน จึงมีพระประยูรญาติที่สนิท ประกอบอาชีพทำสวนต่าง ๆ อยู่ที่บางช้างนี้มาก เมื่อได้รับสถาปนาเป็น สมเด็จพระอมรินทรามาตย์จึงนับเป็นราชินิกุล บางช้าง พระประยูรญาติจึงเกี่ยวดองเป็นวงศ์บางช้างด้วย และสมเด็จพระอมรินทร์ฯ มักทรงเสด็จเยี่ยมพระประยูรญาติเสมอ จึงมีคำเรียกว่า "สวนนอก" คือ สวนบ้านนอก ที่เป็นของวงศ์ราชินิกุลบางช้าง ส่วนบางกอก ซึ่งเป็นส่วนของเจ้านายในราชวงศ์ก็เรียกว่า "สวนใน" มีคำกล่าวว่า "บางช้างสวนนอก บางกอกสวนใน" จนถึงสมัยรัชกาลที่ 4 จึงยกเลิกไป
