Sau khi đàn áp cuộc khởi binh của Lê Văn Khôi. Năm 1836, Minh Mạng lấy lý do thành Bát Quái to lớn hơn thành ở Phú Xuân là kinh đô của nhà Nguyễn, nên cần phải phá đi, xây lại một thành khác vừa với tầm cỡ của một tỉnh ở phía Nam. Đó là thành Gia Định, còn gọi là thành Phụng. Thành Phụng được xây dựng ở góc đông bắc thành Bát Quái cũ tức thành Quy. Ngày nay ở Sài Gòn, thành Phụng trước đây nằm giữa các con đường Nguyễn Du, Nguyễn Bỉnh Khiêm, Nguyễn Đình Chiểu và Mạc Đĩnh Chi. Thành quay mặt về hướng đường Nguyễn Du.
Theo sách Quốc triều chánh biên thì để xây dựng thành Phụng, triều đình đã huy động dân phu và binh lính bốn tỉnh Định Tường, Biên Hòa, Long Hồ và Gia Định với hơn một vạn người, đào đắp trong suốt hai tháng. Thành Phụng có quy mô nhỏ hơn rất nhiều so với thành Quy trước đây. Chu vi thành Phụng dài 1960 mét, mỗi cạnh rộng 490 mét, tường thành cao 4,7 mét, hào nước dưới chân thành rộng 52 mét, sâu 3,20 mét. Thành Phụng nằm trên 2 thôn giáp nhau là thôn Hòa Mỹ (khoảng gần cầu Bông) và thôn Nghĩa Hòa.
Những vật liệu do phá hủy thành Quy được sử dụng để đắp thành Phụng như là đá xanh Biên Hòa, đá ong, gạch nung “thất thốn” (7 x 28 x 14 cm). Kiểu cách kiến trúc thành Phụng có sự kết hợp giữa thành trì Á Đông với dáng thành Vauban của phương Tây. Bốn góc thành có bốn pháo đài khống chế hai mặt thành.
Trong thành có dinh thự làm việc của các quan lại cấp tỉnh Gia Định, nhà ở cho nhân viên và binh lính. Ngoài ra còn có kho lương thực, kho vũ khí, đường sá đi lại, …
Dưới thời Minh Mạng, với công cuộc xây dựng thành Phụng, Sài Gòn đã có những thay đổi nhất định. Cuộc kinh lý năm 1836 của Trương Đăng Quế một viên đại thần của triều đình, đã bước đầu xác lập hộ khẩu dân số thành phố, việc phân cấp hành chính, cơ thể quản lý dần ổn định. Đặc biệt khu vực ngoại thành lúc bấy giờ tức bên ngoài thành Phụng có nơi xây dựng nhà ở cho quan quân, dân chúng, có quan trại, thủy trường, … nhìn chung thành phố Sài Gòn tuy chịu nhiều xáo trộn nhưng vẫn trong chiều hướng phát triển, mở mang thành một trung tâm kinh tế, chính trị của vùng đất phía Nam.
Sang đến đời Tự Đức, tình hình khai khẩn vùng đất Nam Bộ đã được đẩy mạnh, dân cư tụ tập thêm đông đúc về Sài Gòn. Năm 1851 Tự Đức cửa Phan Thanh Giản làm Kinh lược phó sứ Nam Kỳ, lãnh Tổng đốc Gia Định kiêm Biên Hòa, Vĩnh Long, Định Tường, An Giang, Hà Tiên. Cũng năm đó Nguyễn Tri Phương được cử đi kinh lược Nam Kỳ để nắm tình hình và đề xuất các chính sách cai trị phù hợp. Dinh Kinh lược của Phan Thanh Giản đóng tại Sài Gòn và như vậy Sài Gòn vẫn là một trung tâm hành chính phía Nam hoặc còn gọi là miền Nam Kỳ Lục Tỉnh. Nguyễn Tri Phương đã cho đắp thêm hai đồn lớn ở Sài Gòn để phòng thủ thành phố. Đồn Tam Kỳ và Phú Mỹ đặt ở ngã ba sông Nhà Bè – Đồng Nai có trang bị đại bác cỡ lớn khống chế đường sông ở phía đông bắc Sài Gòn.
