Thành phố Phnom Penh được hình thành từ thế kỷ 14 gắn liền với truyền thuyết về ngôi chùa Wat Phnom nổi tiếng. Truyền thuyết rằng vào năm 1372, khi vùng đất này còn là một đầm lầy với một ngôi làng nhỏ sống bằng nghề chài lưới. Sau một trận lũ khủng khiếp, một người đàn bà tên Penh (Đôn Pênh) phát hiện một cây bồ đề dạt ngoài bãi sông, bên trong ruột cây rỗng là 4 bức tượng phật bằng gỗ. Bà Penh kêu gọi dân chúng đắp một qủa đồi nhỏ (Phnom có nghĩa là đồi) và xây dựng ngôi chùa nhỏ (Wat) để thờ 4 pho tượng phật. Vì vậy nơi đó ngày nay được gọi là Wat Phnom.  

Sự linh thiêng của 4 pho tượng phật trong Wat Phnom đã khiến cư dân ngày càng đông di chuyển tới sinh sống xung quanh ngôi chùa và dần hình thành một cộng đồng, tiền thân của thủ đô Phnom Penh ngày nay.  

Phnom Penh chính thức trở thành thủ đô của người Khmer cách đây khoảng gần 600 năm. Sau khi vua Ponhea Yat từ bỏ Angkor vào năm 1422, ông tìm thấy một vùng đất mới với 5 ngọn tháp. Để tưởng nhớ tới bà Penh, nhà vua đặt tên cho thành phố là Phnom Penh (núi bà Penh). Phnom Penh được lựa chọn làm kinh đô không chỉ đơn giản vì thành phố có 5 ngọn tháp thiêng đó mà còn mang ý nghĩa kinh tế, chính trị và quân sự quan trọng. Thành phố có vị trí trung tâm đất nước, là nơi hợp lưu của các dòng sông lớn, là đầu mối giao thông, nơi thích hợp nhất cho giao thương, buôn bán, vận chuyển lương thực, chuyển quân giữa các vùng miền một cách thuận tiện nhất. Khi mới được chọn làm kinh đô, Phnom Penh nhỏ bé hơn ngày nay rất nhiều với mội vài ngôi làng tập trung ở khu vực bờ sông và Wat Phnom. Các đời vua sau đã vài lần di chuyển thủ đô tới nơi khác, tuy nhiên, với vị trí địa lý thuận lợi của mình, Phnom Penh cuối cùng vẫn là thành phố được chọn là kinh dô của vương quốc cho đến ngày hôm nay.

 Mãi cho tới những năm 1880, các kiến trúc sư người Pháp mới quy hoạch thành phố với những con kênh để kiểm soát lũ lụt mùa nước nổi, xây dựng đường xá, cao ốc và bến cảng. Cho đến đầu nhưng năm 20 của thế kỷ 20, Phnom Penh đã được xem là thành phố đẹp nhất Đông Dương.   

Phnom Penh tiếp tục phát triển cho đến những năm 60 của thế kỷ 20. Cuộc xung đột vũ trang tại Việt Nam lan rộng ảnh hưởng đến Campuchia. Các thế lực đối nghịch nhau tại Campuchia liên tục tranh giành quyền lực và đẩy đất nước vào xung đột trong suốt những năm đầu thập kỷ 70. Ngày 17 tháng 4 năm 1975, Phnom Penh rơi vào tay lực lượng diệt chủng Khmer Đỏ. Chỉ 3 giờ sau khi kiểm soát thành phố, Khmer Đỏ ép buộc toàn bộ cư dân Phnom Penh phải di tản ra khỏi thành phố, bắt đầu một thời kỳ đen tối trong lịch sử của cả đất nước.    

Với sự trợ giúp của Việt Nam, Phnom Penh được giải phóng vào ngày 7 tháng Giêng năm 1979. Người dân quay trở lại thành phố bắt tay vào xây dựng lại thủ đô với một sức sống mới hồi sinh.

Ngày nay, diện mạo của Phnom Penh đã có rất nhiều thay đổi. Từ một thành phố chết, Phnom Penh ngày nay náo nhiệt với rất nhiều phương tiện hiện đại trên các đường phố, các loại xe hơi đắt tiền chen lẫn với xe máy và xích lô giữa những phố phường sầm uất. Người dân Phnom Penh luôn sẵn có những nụ cười nồng nhiệt chào đón du khách tới thăm thành phố lịch sử của mình.