วัดสวนแก้ว เดิมชื่อ วัดแก้ว เป็นวัดร้างมา 80 ปี ภายหลังหลวงพ่อเทียน จิตตสุโภ และพระภิกษุอีก 3-4 รูป ได้เข้ามาพำนักแต่พื้นที่ ของวัดเต็มไปด้วยเรือกสวน หลวงพ่อไม่สามารถจะบูรณะได้เพราะขาดบุคลากรที่จะช่วยพัฒนา พ.ศ. 2521 พระพยอมและเพื่อนพระภิกษุอีก 2 รูป ได้เดินทางมากราบหลวงพ่อเทียน เพื่อขอทำโครงการ บวชเณรภาคฤดูร้อน เมื่อเสร็จแล้วก็จะลากลับสวนโมกข์ เมื่อหลวงพ่อเทียนได้อนุญาตให้พำนักแล้ว ยังได้ช่วยสนับ สนุนงานบวชเณรภาคฤดูร้อนด้วยโดยช่วยเป็นพระพี่เลี้ยงให้ พ.ศ. 2522 หลวงพ่อเทียนได้มอบหมายให้พระพยอมและเพื่อนภิกษุเป็นผู้ดูแลรักษาวัดต่อไป ส่วนตัวหลวงพ่อเทียน กลับจังหวัดเลย ที่วัดแก้วนี้ พระพยอมได้พัฒนาพื้นที่ของวัดและเตรียมจำลองสวนโมกขพลารามให้เกิดขึ้นในเมือง ตามคำที่ท่านพุทธทาสเคยปรารภเมื่อคราวที่ยังศึกษาธรรมอยู่ที่สวน โมกข ท่านได้ทุ่มเทชีวิตใจเพื่อการบูรณะวัดอย่างเต็มที่และได้นำทรัพย์ส่วนตัวมาพัฒนาวัดแก้ว ภายหลังได้เปลี่ยนชื่อเป็นวัด สวนแก้ว เมื่อพัฒนาวัดจนเหมาะสมกับสภาพสิ่งแวดล้อมของวัดแล้วจึงมุ่งเผยแพร่พุทธศาสนา อีกครั้งหนึ่ง พ.ศ. 2529 เป็นปีที่พระพยอมรับกิจนิมนต์มากทำให้ทราบถึงปัญหาต่าง ๆ ของคนระดับกลางลงมาซึ่งต้องยอมรับว่า บุคคลเหล่านี้ มีพฤติกรรมที่หลงใหล ใฝ่ต่ำเรื่องเพศ เรื่องเหล้า เมายา ไม่มีสมองที่จะคิดพัฒนาใดๆ เท่าที่ควร ทำให้พระพยอมตัดสินใจที่จะช่วยบุคคลเหล่านี้ ให้มีความเป็นอยู่ที่ดีขึ้น พระพยอมจึงได้รวบรวม ทุนทรัพย์ส่วนตัว ซึ่ง มีไม่มากนักนำมาใช้พัฒนาบริเวณวัด และหาทุนซื้อที่ดินบริเวณใกล้เคียงต่อออกไปอีก เพื่อทำเป็นมูลนิธิสวนแก้ว ทั้งนี้ เพื่อความสะดวกในการบริหารงานช่วยสังคม ปัญหาของสังคมทุกวันนี้ เป็นปัญหาที่เกิดขึ้นระหว่าง ฐานะ อาชีพ ความรู้ และโอกาส ซึ่งพระสงฆ์ควรจะมีส่วนร่วมแก้ไขปัญหานี้ด้วย ด้วยปณิธานที่จะช่วยเหลือเพื่อนมนุษย์ และเผยแพร่ ศีลธรรมคำสอนของพระพุทธเจ้า เพื่อให้ประชาชนได้รู้จักการใช้ หลักธรรม ในการดำเนินชีวิตและแก้ปัญหาด้วยตนเอง ท่านจึงได้จัดตั้งมูลนิธิสวนแก้วขึ้น ในปี พ.ศ. 2529 โดยมีวัตถุประสงค์หลัก 6 ประการ คือ

1. เพื่อเผยแพร่พระพุทธศาสนา
2. เพื่อส่งเสริมศีลธรรม จรรยาอันดี
3. เพื่ออนุรักษ์ และส่งเสริมวัฒนธรรมและประเพณีไทย
4. เพื่อร่วมมือกับองค์การการกุศลอื่นๆ เพื่อสาธารณะประโยชน์
5. ไม่ดำเนินการเกี่ยวข้องกับการเมืองแต่อย่างใด
6. จัดการศึกษา และส่งเสริมการศึกษา