Chùa Tăng Thượng do Thánh Đức Thượng Nhân Khai sơn. Thánh Đức Thượng Nhân từ nhỏ xuất gia ở chùa Thiên Diệp, là Tăng nhơn của phái Chân Ngôn Tông. Năm 1385 học đạo chùa Quang Minh, được sự giáo hóa của Tổ thứ 7 của Tịnh Độ Tông Nhật Bản, nên xã bỏ tông Chân Ngôn theo quy y Tịnh Độ Giáo Phái đem tông chỉ Mật Giáo của chùa đổi thành tu pháp môn Tịnh Độ. Tháng 12 năm 1393 kế thừa ngôi vị chánh thống thành Tổ thứ 8 của Tịnh Độ Tông. Đổi tên chùa Quang Minh thành Tăng Thượng Tự.

Năm Thiên Chánh thứ 18 (1590) vị trù trì đời thứ 18 là Tồn Ứng Thượng Nhân, được vị tướng quân đầu tiên của Giang Hộ Mạc Phủ là Vi Di Đại Tướng Quân Đức Xuyên Gia Khang, quy y và phát tâm đại quy mô xây dựng chùa thành một ngôi đại già lam. Sau đó chùa Tăng Thượng được chỉ định là một trong những ngôi Linh Miếu thờ phụng tổ tiên của dòng họ Đức Xuyên Gia Mạc Phủ. Đồng thời được sắc phong là ngôi già lam đứng đầu trong 18 ngôi chùa của miền Quan Đông Nhật Bản, do đó chùa trở thành một trong những ngôi tự viện nổi tiếng nhất Nhật Bản thời bấy giờ.

Năm Khánh Trường thứ 3 (1590) do triều đình mở  rộng thành Giang Hộ nên chùa phải di dời đến địa điểm hiện nay, Tướng Quân Đức Xuyên Gia Khang phát tâm xây dựng mới cổng Tam Quan, Đại Điện và Tàng Kinh Các và sắc phong Tồn Ứng Thượng Nhân lên chức Phổ Quang Quán Trí Quốc Sư, ngự tứ tử y ca sa, thời kỳ này trong môn phái Tịnh Độ chùa Tăng Thượng có địa vị tương đồng với chùa Tri Ân Viện ở Kinh Đô, mỗi năm được cấp hơn 10 ngàn thạch lúa, toàn chùa có 48 viện, học viện liêu xá có 100 phòng, đương thời được gọi là quốc tự phong tước hiệu là “Tự Cách Bách Vạn Thạch”.

Năm Diên Bảo thứ 8 (1680) Đại tướng quân Đức Xuyên Gia Cang đời thứ tư của Mạc Phủ bị bịnh qua đời, tang lễ được làm ở Tăng Thượng Tự, người chấp sự cảnh vệ cho tang lễ là Phụng Hành Nội Đằng Trung Thắng, vì bất mãn người cùng làm việc với mình là Phụng Hành Vĩnh Tỉnh Thượng Trưởng, nên lấy đao giết chết ông ta, ngày nay trong lich sử Nhật Bản còn nhắc đến sự kiện này gọi là “Chi Tăng Thượng Tự đích đao thương sự kiện”.

Năm 1867 Vị Tướng Quân cuối cùng của chế độ Giang Hộ Mạc Phủ là Đức Xuyên Khánh Hỷ đem quyền bính trao lại cho triều đình Minh Trị Thiên Hoàng, Nhật Bản vào thời kỳ Minh Trị và Thiên Hoàng Minh Trị bắt đầu cuộc duy tân đất nước. Vì cường điệu Thiên Hoàng là hậu duệ của Thiên Chiếu Đại Thần cho nên ra sức phục hưng Thần đạo và tách Thần đạo ra khỏi Phật Giáo, chính vì sự kiện này mà Phật Giáo Nhật Bản bị bài trừ cũng như phá họai. Chùa Tăng Thượng là ngôi chùa Thần Phật thờ chung nhưng vẫn bị đốt phá vào những năm 1874 và năm 1909. An Quốc Điện trong chùa là miếu thờ Đức Xuyên Gia Khang vì lý do “Thần Phật Phân Khai” nên đổi thành Chi Đông Chiếu Cung tách ra khỏi chùa.

Năm Minh Trị thứ 8 (1875) Chùa Tăng thượng được liệt vào là chùa Tổng Bản Sơn của tông phái Tịnh Độ Nhật Bản và bắt đầu phục hưng, những điện đường của chùa bị phá hủy được xây dựng lại, thế chiến thứ hai kết thúc, người Nhật bắt đầu xây dựng lại đất nước, tất cả các chùa chiền đều xây dựng lại trong đó chùa Tăng Thượng cũng được tái kiến thiết, cho nên nói là chùa xưa nhưng rất nhiều những kiến trúc của chùa chúng ta thấy ngày hôm nay đều là kiến trúc hiện đại.

Từ ngày khai sơn cho đến nay Tăng Thượng Tự lịch đại chư vị Tổ sư hoằng truyền giáo nghĩa Tịnh Độ,  cho nên được mọi người thuộc tất cả các tầng lớp trong xã hội Nhật Bản biết đến quy y, vì vậy tín đồ của chùa rất đông, hương hỏa ngày một hưng thạnh. Vì là một trong những ngôi chùa thuộc trung tâm của thủ đô Nhật Bản, nên chùa Tăng Thượng là điểm sinh hoạt văn hóa tâm linh của cộng đồng dân chúng thủ đô. Do ảnh hương của thần đạo nên tục cúng kính cầu xin trong chùa trở thành nét văn hóa đi chùa của người dân thủ đô Nhật.

Người Nhật Bản từ thời Minh Trị duy tân trở đi họ ăn tết dương lịch chứ không còn ăn tết âm lịch như các nước có văn hóa phương đông. Họ chỉ đổi ngày tháng chứ không đổi tục lệ ăn tết. Cứ mỗi độ xuân về mọi người lại nô núc đến chùa Tăng Thượng đón giao thừa thỉnh chuông bình an đầu năm, xin xăm kiết tường, nếu xin được xăm tốt thì đem lộc về nhà, còn nếu được xăm xấu thì họ đem lá xăm treo ở bên gốc cây hoặc nơi quy định treo xăm ở trong chùa, gởi lại vận không may lại chùa để cúng giải hạn và lưu lại vận xấu không mang về nhà.

Chùa Tăng Thượng còn có một nét đón xuân đặc biệt nữa là thả bong bóng bay để gởi nguyện ước của mình lên cho trời cao. Chùa phát bong bóng bay cho mọi người để họ viết ước nguyện của mình lên tấm giấy hoặc vải, rồi buộc vào bong bóng thả lên trời để cầu nguyện, hình ảnh những chiếc bong bóng bay lên trời không, tạo thành một không khí đón xuân hết sức đặc biệt, đầy cả bầu trời của chùa Tăng Thượng toàn là bong bóng bay đủ màu đủ sắc, bao nhiêu ước nguyện cũng theo đó mà hòa nhập vào bầu trời, làm cho không khí tết như thêm màu hạnh phúc, làm cho lòng người như thêm vững lòng tin về một tương lai tươi sáng, bao nhiêu vận may sẽ như gió mát thổi đến bên mình, bao nhiêu khổ đau phiền muộn sẽ tan biến “hỏa diệm hóa hồng liên” chùa Tăng Thượng là trong lòng người dân thủ đô Nhật Bản, là  “Thanh Lương Địa” cảnh giới Cực Lạc giữa chốn nhân gian.