ในสมัยรัชกาลที่ 4 สมเด็จพระจอมเกล้าเจ้าอยู่หัว ท่านได้เคยมาผนวชอยู่ที่วัดแห่งนี้ พระองค์ได้เสด็จธุดงวัตรมาปักกลด และได้ประทับนั่งวิปัสสนากรรมฐาน ในถ้ำเข้าย้อยหลายคืน ซึ่งภายในถ้ำเป็นที่ประดิษฐานของ พระพุทธไสยาสน์ และรอยพระพุทธบาทจำลอง ที่มีผู้มีจิตรศรัทธามากราบไหว้ และปิดทองคำเปลว จนปัจจุบันกลายเป็นรอยพระพุทธบาทที่มีสีเหลืองทองอร่าม สวยงามยิ่งนัก  นอกจากนี้แล้ว ภายใจถ้ำเขาย้อย ยังมีพระพุทธรูปปางต่างๆ ให้เราได้กราบไหว้บูชา ขอพร

ถ้ามาที่วัดเขาย้อยแล้ว ต้องไม่ลืมมาชมความงามของโบสถ์ไม้ ที่ด้านหน้าปั้นเป็นรูปพญานาค ภายในโบสถ์ สวยงาม วิจิตร เมื่อถ่ายภาพแล้ว จะมองเห็นว่ามีหินผาอยู่ด้านหลัง ซึ่งทำให้โบสถ์นั้นดูโดดเด่น และสวยงาม ทุกคนที่มาเที่ยวที่วัดแห่งนี้ จะต้องมากราบไหว้ สักการะ พระพุทธรูปภายในโบสถ์ สีเหลืองทองอร่าม แล้วอย่าลืมทำบุญกันด้วยนะ เพื่อทำนุบำรุงพระพุทธศาสนาของเรา

ถ้ำเขาย้อย มีลักษณะเป็นภูเขาหินขนาดใหญ่มาก ภายในถ้ำจะมีหินงอก หินย้อย ที่สวยงามมากตามธรรมชาติ และมีรูจากด้านบนถ้ำ ที่เมื่อมีแสงสว่าง ทั้งจากกลางวัน และกลางคืนที่มาจากแสงพระจันทร์  สาดส่องลงมา จากช่องรูเล็กๆ เหล่านั้น ทำให้ภายในถ้ำมีความสวยงามยิ่งนัก มองเห็นดาวระยิบระยับเป็นประกาย จึงมีการตั้งชื่อตามความงามที่ได้เห็น ได้แก่ ถ้ำดาว และ ถ้ำพระจันทร์

นอกจากนี้ ยังมี ถ้ำสวรรค์ ซึ่งจะอยู่ใกล้หน้าผา สูงราว 50 เมตร ถ้ามองจากด้านหน้าจะมองเห็นว่ามีบันได และทางเดินเลียบหน้าผา ระหว่างทางเดิน จะมีต้นไม้ ที่ขึ้นตามหิน ทำให้เพลิดเพลินกับธรรมชาติข้างทาง ขณะเดินขึ้นไปบนถ้ำ เมื่อมาถึงภายในถ้ำ จะแคบและมืด ลักษณะเป็นโพลงยาว ในบางช่วงของถ้ำ อาจจะมีน้ำท่วมขังโดยธรรมชาติ และมีฝูงค้างคาวอาศัยอยู่ในนี้ เป็นจำนวนมาก

ถ้ำพระศรีอารย์ เป็นอีกหนึ่งถ้ำที่สวยงาม ซึ่งจะอยู่ตรงสุดถนนทางเดินเลียบเขา ก่อนที่จะตรงไปยังถ้ำสวรรค์ นั่นเอง นอกจากนี้ ยังมีถ้ำโคตะโม ซึ่งเราสามารถเดินลัดเลาะเลียบไหล่เขา ต่อจากถ้ำพระศรีอารย์