Hòn Bà là ngọn núi trẻ, trên núi có nhiều cây cổ thụ lớn. Nửa đầu thế kỷ XVII người Chăm đã dựng lên một ngôi đền để thờ nữ Thần Thiên Y Ana vị Thần thiêng liêng của vương quốc Chămpa cổ. Cũng từ đây hòn đảo có tên là Hòn Bà. Ngôi đền thờ có kết cấu kiến trúc và trang trí nghệ thuật giống như ngôi miếu của người Việt cùng thời. Trong ngôi đền thờ, tượng nữ Thần Thiên Y Ana bằng đá, được các nghệ nhân Chăm tạc từ một khối đá nguyên tại chỗ. Việc thờ tượng Bà ở trên đỉnh Hòn Bà thể hiện sự tôn vinh của người Chăm với nữ Thần. Mặt khác ở những thế kỷ trước đây, nghề biển là nghề chính thu hút đông đảo ngư dân Chăm ven bờ mà dấu vết của những làng ngư cỏ vẫn còn. Do vậy, việc thờ tượng Nữ thần ở đây cũng là sự cầu mong cho Nữ thần phù hộ, cứu nạn cho họ trên biển. Hàng năm người Chăm ở các nơi thường đến đây làm lễ cầu mưa và các nghi lễ tôn giáo khác.
Trong kháng chiến chống Pháp do chiến tranh ngày càng các liệt, quân Pháp ngăn cấm không cho dân làng đến đảo thờ cúng và việc đi lại khó khăn hơn cũng làm cho người Chăm dần dần lãng quên đi ngôi đền. Chính sự lãng quên này đã tạo điều kiện cho kẻ gian đánh cắp pho tượng Thần và những vật thờ linh thiêng trong ngôi đền cổ cùng sự xuống cấp đổ nát của nó.
Mãi đến năm 1969 ngư dân ở Hàm Tân đã đóng góp tiền của xây dựng lại ngôi đền mới trên nền ngôi đền cổ. Người Việt xây đền thờ Nữ Thần Thiên Y Ana của người Chăm nhưng thực hiện các nghi lễ trong đền lại theo phương thức riêng và phong tục truyền thống của người Việt. Ở đây luôn có một số người bảo vệ và chăm sóc ngôi đền. Lễ hội ở đây là ngày giỗ Nữ Thần Thiên Y Ana mà nhân nhân địa phương ở đây gọi là ngày Vía Bà. Nghi lễ được tổ chức vào ngày 23 tháng 3 âm lịch hàng năm. Vào ngày này nhân dân ở khắp nơi ra đảo rất đông bằng phương tiện ghe thuyền, trong số đó có rất đông người Chăm ở Hàm Tân và các nơi khác đến viếng Bà.Hòn Bà người ta biết đến và ngưỡng mộ không phải chỉ bằng ngôi đền cổ mà ở đây là hòn đảo cheo leo giữa biển hấp dẫn mọi người bằng chính cảnh đẹp của nó cộng với sự hùng vĩ mênh mông của biển cả và đồi dương bên trong bờ càng làm cho phong cảnh ở đây đẹp thêm.