Chùa nằm dưới chân núi Bình San, cạnh lăng Mạc Cửu. Xưa kia, nơi đây có cái lò gạnh bị bỏ hoang. Đến năm 1945, trên bước vân du hành đạo miệt Hà Tiên, Hòa thượng Thích Chí Hoà, (thế danh Nguyễn Văn Tịnh) đã dừng chân tại chỗ này và lập nên một ngôi chùa nhỏ bằng cây lá mang tên là Tịnh Xá Chí Hòa. Và vì cái lò gạch được sử dụng làm chánh điện, để tụng kinh bái sám, nên dân địa phương gọi là Chùa Lò Gạch.

Trong thời gian trụ xứ và giáo hoá tại bổn tự, Hòa thượng đã mở mang khu vực xung quanh và xây cất thêm nhiều am tranh tịnh thất để tiếp Tăng độ chúng.

Năm 1949, Hòa thượng cùng với vài đệ tử sang Campuchia để hoằng pháp. Một năm sau đó, Ngài trở về lại quê hương và tham gia kháng chiến chống Pháp.

Năm 1954, Hòa thượng viên tịch tại Bà Rịa-Vũng Tàu. Người kế vị trụ trì là Hòa thượng Thích Quảng Tấn.

Ngài Quảng Tấn thế danh là gì, sanh năm nào, ở đâu, hành trạng ra sao, không ai rõ. Chỉ biết rằng sau khi Ngài Quảng Tấn tịch thì bà Dương Thị Thoàn, pháp danh Diệu Trí, người bí mật hoạt động cách mạng với bí danh là Trần Thị Thanh đã đến ở và coi sóc chùa.

Năm 1993, theo nguyện vọng của bà Diệu Trí và Phật tử ở đây, Ban trị sự Tỉnh hội Phật giáo Kiên Giang đã bổ nhiệm Đại đức Thích Huệ Tâm, trú xứ chùa Phước Hưng (Sa Đéc) về trụ trì và đổi tên ngôi Tịnh xá thành Chùa Phật Đà.

Do vì trải qua một thời gian dài không người tu bổ nên ngôi Tam bảo vốn hư cũ ngày càng thêm xuống cấp nặng. Thế nên vào tháng 9/1993, thầy trụ trì đã cho khởi công trùng tu, xây dựng mới lại ngôi đạo tràng này.

Năm 1998  với tâm thiết tha quy ngưỡng đường lối tu Thiền của Thiền sư Thích Thanh Từ, thầy xin nhập chúng tu học với Thiền sư tại Thiền viện Trúc Lâm Phụng Hoàng – Đà Lạt.

Đến năm 2000, vì bệnh duyên nên thầy phải trở về trụ xứ. Cũng trong thời gian này, thầy được Tỉnh hội bổ nhiệm làm Chánh đại diện Phật giáo thị xã Hà Tiên cho đến nay.

Hiện tại (2009) chùa được trùng tu lại rất khang trang với đầy đủ các phòng nhà cần thiết cho sự sinh hoạt của một Tòng lâm. Mặc dù cơ sở không qui mô nhưng với lối kiến trúc hài hòa, chùa Phật Đà đã góp vào cụm thắng tích “Bình San Điệp Thúy” một danh lam Phật tự thật trang nghiêm, thanh nhã.

Quả là:

“Đây chùa Lò Gạch núi Bình San

Một thuở hoang vu gội gió ngàn

Núi nhỏ um tùm cây cỏ dại

Chùa quê quạnh quẽ bóng trăng tàn

Nhân duyên pháp Phật hoa thiền nở

Cảnh trí Không môn rợp nắng vàng

Sớm vọng chuông ngân tan niệm tục

Chiều vang mõ nhịp cõi lòng an.”

Du khách đến tham quan Hà tiên thập cảnh, hành hương chiêm bái danh lam thắng cảnh nơi đây thường ghé vào chùa viếng thăm lễ Phật.

Được biết, mùa hạ năm nay (2009), chùa Phật Đà sẽ mở Đạo tràng An cư kiết hạ tập trung dành cho chư Tăng. Như vậy, Trường hạ Phật Đà sẽ là một trường hạ đầu tiên của vùng đất Hà tiên, nơi cuối miền Tây Nam tổ quốc kể từ ngày Tổng trấn Mạc Cửu đến đây khai khẩn, khoảng hơn 300 năm nay.