​1. Chùa Cao Lý

Nhằm đáp ứng nhu cầu tín ngưỡng của nhân dân trong làng, ngày 29 tháng 7 năm 1924 vua Khải Định thứ 9 đã ban sắc phong cho Chùa Cao Lý được phụng thờ 2 vị thần​ "Nguy nga Huyền thông thượng đẳng thần và Tĩnh an quảng lợi Uông nhận rực bảo trung hưng Nam hải trung đẳng thần". Hiện nay, bản sắc phong vẫn đang được lưu giữ tại chùa và đã được Bảo tàng tỉnh Hải Dương đưa vào hồ sơ bảo vệ cổ vật của tỉnh.

Kể từ đó đình làng đã là một mảnh hồn quê, một nét đẹp của xóm làng từ lâu đã in vào tâm khảm mỗi con người. Chùa làng Cao Lý là hình ảnh thân quen, gắn bó với tâm hồn của mọi người dân nơi đây, là nơi chứng kiến những sinh hoạt, lề thói và mọi thay đổi trong đời sống xã hội của làng quê qua bao đời nay​.

Chùa Cao Lý kế nghiệp do nhà sư tổ về cùng nhân dân phụng sự xây dựng, chùa nằm trên mình rồng nhìn ra hướng Đông Nam, phía Tây có gương phản chiếu, tượng trưng kiểu dáng chùa hình chữ Đinh, tên gọi xưa là Phúc Tự Điền tức Chùa Cao Lý bây giờ.

​Đến năm Tự Đức, chùa đã được trùng tù một lần và kế nghiệp đến nhà sư tổ ở trong Gò tỉnh Hưng Yên về phụng sự đã hóa ​​thân năm 1951, hiện vẫn còn tháp mộ và được tạc tượng thờ nhà tổ trong khuôn viên Chùa Cao Lý. Các đồ thờ cổ kính thất lạc nhiều, tuy vậy di tích Chùa và Đình Cao Lý còn lưu giữ được một số đồ thờ ​như bát hương cổ, cuốn thư sơn son thiếp vàng cổ, bia đá, tháp, những đồ thờ gốm sứ thời Trần, thời Lý và những pho tượng cổ.

2. Đình Bằng Bộ

​Từ năm 1572, làng Bằng Bộ đã có Đình, Đình làng có 5 gian Đại bái, 3 gian Chung từ, 3 gian Hậu cung, với lối kiến trúc cổ cân đối, khỏe đẹp, tứ linh, tứ quý, có Phủ riêng để đón thượng khách. Diện tích khu trung tâm là 1 mẫu 2 sào, 2 đầu làng có 2 Đống xứ nhà Vua. Làng Bằng Bộ có 2 ngôi Chùa: Chùa trong gọi là Chùa Cả, chùa ngoài gọi là Chùa Khánh hay còn được gọi là Chùa Vượt, giữa làng có mộ Bà Chúa (theo tương truyền) và làng còn có hàng chục Đền, Miếu hợp thành quần thể Văn hóa tâm linh.

Đình làng tôn thờ vị Thành Hoàng có công dẹp yên 12 sứ quân, được các Triều đại Vua phong Sắc. Những Sắc tiền triều năm Nhâm Tuất bị loạn cháy mất, hiện nay chỉ còn 5 Đạo sắc là:

• Đời Vua Tự Đức thứ 6 năm Quý Sửu 1853 phong “Bản cảnh Thành Hoàng Linh phù Chi Thần".
• Đời Vua Tự Đức năm thứ 33, năm Canh Thìn 1880 phong “Y Cựu Phụng Sự".
• Đời Vua Đồng Khánh thứ 2 năm Đinh Hợi 1887 phong “Rực Bảo Trung Hưng Chi Thần".
• Đời Vua Duy Tân thứ 3 năm Kỷ Dậu 1909 phong “Linh Phù Rực bảo Trung Hưng Cao Minh Chi Thần".
• Đời Vua Khải Định thứ 9 năm Giáp Tỵ 1924 phong “Cao Minh Tôn thần Nguyên tặng Rực Bảo Trung Hưng Tôn Thần Gia tặng Thuần chính Tôn Thần".​

Đình Làng Bằng Bộ được trùng tu tôn tạo nhiều lần, những lần gần đây nhất là vào năm 1957 và năm 1994. Trải qua biến cố thăng trầm của thời gian và thiên nhiên, Đình làng BB bị xuống cấp nghiêm trọng, cán bộ và ND làng BB đã nhiều lần đề nghị với các cấp có thẩm quyền xin được cho phép xây dựng, trùng tu tôn tạo, nâng cấp Ngôi Đình làng. Đến cuối năm 2023, được sự cho phép của UBND tỉnh, Sở VHTT - DL tỉnh HD và UBND huyện Thanh Miện, Làng Bằng Bộ tiến hành thi công xây dựng, trùng tu tôn tạo 5 Gian Đại bái, 3 gian Hậu cung, và nâng cấp các công trình phụ trợ của Di tích LSVH Đình làng Bằng Bộ. 

​​​3. Đình làng Phạm Khê

Trải qua bao biến thiên và thăng trầm của lịch sử, hiện khu di tích chỉ còn một ngôi Đình, một ngôi chùa và một phủ thờ thánh mẫu. Trong những năm tháng kháng chiến, đình làng Phạm Khê là nơi nuôi giấu cán bộ về hoạt động cách mạng, trong đó có bộ đội, công binh của quân khu 3, đồng thời cũng là nơi chứa lương thực trong kháng chiến chống Mỹ. 

Theo sử tích cũ ghi chép lại, khu di tích tâm linh của Phạm Khê khá đồ sộ gắn liền với tên tuổi của hai vị Thành Hoàng

• Vị Thành Hoàng thứ nhất có tên húy là Uy tức Thần Uy Vũ.
• Vị Thành Hoàng thứ hai là tiến sĩ Nguyễn Hữu Lâm.
  

Đình làng Phạm Khê, phía trong hậu cung, không gian thiêng liêng nhất của di tích, chính giữa là khám thờ, tượng thờ Thành hoàng Uy Vũ. Hai bên là ngai và bài vị thờ Quan văn và Quan võ. Phía trước là nhang án, nơi có bát hương thờ Thành hoàng Nguyễn Hữu Lâm.

​​Những di tích lịch sử, danh thắng này đều là minh chứng cho lịch sử văn hóa của xã Cao Thắng và mang lại giá trị tinh thần lớn cho nhân dân.