Lầu ông Hoàng bao gồm một quần thể đồi núi, sông biển, chùa tháp tạo thành khu danh lam thắng cảnh nổi lên với ngọn núi Cố tương đối cao và 4 ngọn đồi nhấp nhô sát biển, đẹp nhất là núi Cố, đồi Bà Nài, cửa sông Phú Hài và bờ biển cùng với những làng chài xưa cách Phan Thiết 7km về hướng Đông Bắc.
Ngày 21 tháng 2 năm 1911 biệt thự được khởi công xây dựng và gần 1 năm sau đó hoàn chỉnh, với diện tích rộng 536m2 chia thành 13 phòng. Khu biệt thự được xây dựng cách nhóm đền tháp Chăm Pôshanư gần 100m về phía Nam. Trong quá trình vận chuyển vật liệu lên xây dựng khu biệt thự, người Pháp đã làm hỏng tường thành phía trước cửa chính của Tháp.
Đây là biệt thự đẹp, đầy đủ tiện nghi, ban đêm có máy phát điện, dưới biệt thự có nhiều hầm ngầm chứa nước mưa đủ cho những người trong biệt thự dùng trong 1 năm, được coi là hiện đại nhất Bình Thuận lúc bấy giờ. Từ đó trở đi nhân dân Phan Thiết quen gọi khu vực này là đồi “Lầu Ông Hoàng” để chỉ ngọn đồi có khu biệt thự to đẹp do công tước De Montpensier xây dựng
Tháng 7 năm 1917 công tước De Montpensier bán lại cho chủ khách sạn người Pháp Prasetts...Sau khi có Lầu Ông Hoàng một người Pháp tên Bell đã xây dựng Hotel Ngọc Lâm ở quả đồi bên cạnh để phục vụ người Pháp.Vài chục năm sau thi sĩ Hàn Mạc Tử đã đến địa danh này và đã để lại nhiều kỷ niệm khiến cho Lầu ông Hoàng càng có ý nghĩa. Trong kháng chiến chống Pháp biệt thự này đã bị tiêu hủy, ngày nay chỉ còn lại toàn bộ nền móng, hầm ngầm chứa nước và những ký ức trong người dân Phan Thiết.Cũng tại Lầu ông Hoàng quân Pháp xây dựng ở đây một hệ thống đồn bót với nhiều lô cốt bê tông cốt thép chắc chắn để khống chế khu vực thị xã Phan Thiết.Ngày 14 tháng 6 năm 1947, nơi đây đã diễn ra trận đánh tuyệt vời của một tiểu đội thuộc đơn vị Hoàng Hoa Thám do đồng chí Nguyễn Minh Châu chỉ huy diệt nhiều địch, thu nhiều súng đạn các loại, trong đó có một khẩu đại liên Vitke, một súng trung liên Bren và nhiều chiến lợi phẩm khác từ đó nhân dân ta quen gọi là chiến thắng lầu Ông Hoàng.