Xuất xứ của ngọn tháp đã được giải thích bằng rất nhiều tương truyền. Có truyền thuyết kể rằng, ngày xưa có nàng tiên nữ Thiên Y A Na giáng trần chỉ dạy cho người dân sống ở vùng đất này toàn bộ mọi thứ từ cấy cày, dệt vải, kéo sợi…để tìm cách sinh tồn. Sau khi tiên nữ trở lại cõi tiên, người dân Chăm-pa vì lòng cảm tạ và biết ơn sâu sắc, muốn khắc ghi công ơn người khai sáng cho dân tộc mình bèn xây ngọn tháp ấy để thờ cúng.
Theo một truyền thuyết khác lại cho rằng, Tuy Hòa là vùng đầm lầy trũng thấp có nhiều thủy quái chuyên quấy phá đời sống người dân. Thấy vậy Ông Trời bèn sai người khổng lồ xuống gánh đất lấp vùng trũng, bảo hộ cuộc sống cho người dân. Nhưng khi lấp đã gần xong, người khổng lồ vội về nên đã gánh nhiều đá hơn, quá sức chịu đựng của chiếc đòn gánh làm nó bị gãy. Đá từ hai gánh rơi xuống một bên tạo thành núi Chóp Chài, một gánh tọa trên núi Nhạn.
Đó là những lý giải mang tính huyền thoại cho nguồn gốc xuất xứ của ngọn tháp. Còn vì sao gọi nơi đây là “tháp Nhạn” thì người dân giải thích là do có rất nhiều chim nhạn bay tới đây làm tổ nên ngọn tháp cũng được đặt theo tên của loài chim này.
Tháp Nhạn có chiều cao khoảng 25m, đế tháp hình vuông, thân tháp phình to ở phần chân và thu nhỏ dần về phía đỉnh. Tượng Linga bằng đá – biểu tượng tâm linh của người dân Chăm-pa được đặt trang trọng trên đỉnh tháp. Trong mỗi công trình đền tháp của người Chăm đều có Linga và Yoni biểu trưng cho tín ngưỡng phồn thực cầu mong vạn vật được nảy nở sinh sôi.
Đặc biệt, Tháp Nhạn được làm hoàn toàn bằng gạch nung xếp khin khít nhau mà rất kiên cố. Loại gạch này có khối lượng nhẹ hơn một viên gạch thông thường khoảng 1,3 lần. Kể cả độ bền chịu nén, chịu va đập cũng hơn gạch thường rất nhiều.
Loại keo dùng để gắn kết các viên gạch này với nhau một cách chắc chắn và không lộ ra chút đường hồ nào hoàn toàn được lấy từ nguyên liệu thiên nhiên. Không có xi măng như ngày nay, người dân Chăm-pa sử dụng chất kết dính từ cây dầu rái vào việc xây dựng. Hiện nay chưa có một nghiên cứu nào làm sáng rõ việc pha trộn các loại chất liệu để có được loại keo bền chắc như vậy.
Bên cạnh hỗn hợp keo, sự kiên cố của tháp còn nhờ vào bàn tay khéo léo của những người xây dựng. Sau khi phết keo lên, họ mài các viên gạch với nhau cho đến khi bề mặt tiếp túc hoàn toàn khít không lộ ra một chút kẽ hở nào.
Bên trong tháp không có tượng hay ban thờ nào, chỉ có đúng một cái am nhỏ để nhang khói cho Thượng Đỉnh Chúa Thiết A Na Diễn Ngọc Phi có từ thời Hậu Lê. Bao quanh tường có những họa tiết hình rồng được điêu khắc tinh tế trên đá hoa cương đặt ở 4 góc tháp. Từ bên trong nhìn lên đỉnh tháp chỉ thấy một không gian sâu thẳm cao vút đầy thần bí.
Mỗi dịp lễ tết thường niên có rất nhiều hoạt động vui chơi văn nghệ được tổ chức ở trên núi tháp Nhạn. Khi ấy, ở đây diễn ra đêm thơ Nguyên tiêu hấp dẫn đông đảo văn nghệ sĩ nổi tiếng gần xa tới giao lưu nghệ thuật.
Du lịch Phú Yên, đừng quên ghé thăm tháp Nhạn Phú Yên để khám phá thêm về nền văn hóa sa huỳnh cũng như những huyền bí trong cách xây dựng công trình, lối kiến trúc của người Chăm-pa cổ. Lý tưởng nhất là đến đây vào dịp Tết Nguyên tiêu để thử sức đối thơ với những thi sĩ từ khắp nơi trên cả nước.