Từ đầu thế kỷ 18, người Chămpa dựng tại đây ngôi đền thờ nữ thần Mẹ xứ sở Ponagar. Cũng từ đây, hòn núi đảo này được gọi tên là hòn Bà.
Ngôi đền thờ này có kiến trúc và trang trí tương tự như ngôi miếu của người Việt cùng thời ấy. Tượng thần trong đền bằng đá, được người Chăm tạc từ một khối đá nguyên vẹn tại chỗ. Từ nhiều thế kỷ trước, người Chăm ở đây cũng sống bằng nghề đánh cá ven bờ. Dấu vết những làng ngư nghiệp cổ của họ nay vẫn còn ở hòn Bà. Việc thờ Mẹ xứ sở cũng là cách thể hiện lòng tin tuyệt đối của người Chăm để cầu mong nữ thần Ponagar phù hộ và cứu nạn các ngư dân trong lúc hoạt động trên biển khơi.
Hàng năm, người Chăm ở nhiều nơi lân cận thường tới đây làm lễ cầu mưa và tổ chức các nghi thức tín ngưỡng khác. Trong thời kỳ nhân dân ta chống Pháp, chiến tranh ngày càng ác liệt, quân Pháp ngăn cấm dân làng, không cho đến đảo tổ chức các nghi lễ thờ phụng; việc đi lại khó khăn nên dần dần người Chăm quên lãng ngôi đền. Thừa cơ hội, kẻ gian đánh cắp pho tượng nữ thần Ponagar cùng những vật thờ trong đền, theo sau một thời gian ngôi đền đổ nát.
Năm 1969, ngư dân Hàm Tân đóng góp tiền của xây dựng lại ngôi đền trên nền của ngôi đền cổ. Người Việt xây đền thờ nữ thần Ponagar của người Chăm nhưng gọi tên theo cách của người Việt là Thiên Y Ana Thánh Mẫu, cũng giống như ở tháp Bà Nha Trang và thực hiện các nghi lễ tại đền theo cách thức riêng theo phong tục truyền thống của người Việt.
Đền thờ mới này luôn có một số người bảo quản, chăm sóc. Lễ hội ở đây là lễ cúng nữ thần Thiên Y Ana, gọi là ngày vía Bà, vào 23/3 âm lịch hàng năm, cũng như tại nhiều nơi khác ở vùng Nam Trung bộ và miền Đông Nam bộ.
Vào ngày này, người dân ở nhiều nơi lân cận, chẳng những là người Việt mà còn có khá đông người Chăm ở Hàm Tân và các nơi khác, đi ghe thuyền ra đảo để viếng cúng Bà. Hòn Bà được nhiều người biết đến, chẳng phải vì lý do duy nhất là ngôi đền với lễ vía Bà theo tín ngưỡng, mà còn có đặc điểm cảnh quan giữa biển rất hữu tình.
Đây là một khung trời biển nước rất đẹp với sắc màu thay đổi theo từng thời điểm trong ngày, theo mùa… Hòn Bà vừa trơ trọi trong mênh mông, sóng nước dáng vẻ cô đơn, nhưng trữ tình bởi rặng dương liễu bên bờ, lúc nào cũng im ắng, thướt tha như người phụ nữ đoan trang, khép kín cõi lòng trước tạo vật.
