Trong bọn công thần mở nước của vua Gia Long, Duyệt và Nguyễn Văn Thành có tiếng hơn hết. Vì hai người đã đánh nhiều trận kịch liệt, khiến cho thanh thế họ Nguyễn tuy đã nhiều phen thất bại, còn vượt lên được. Cho nên, trong năm viên chưởng doanh của năm dinh võ tướng lớn nhất hồi ấy – người ta ít nói đến Trung quân Trương (Nguyễn Van Trương), Hữu quân Đức (Nguyễn Hoàng Đức), Hậu quân Chất (Lê Chất) chỉ hay nói đến Tả quân Duyệt và Tiền quân Thành.
Duyệt tuy xuất thân từ chức hoạn quan, tầm người lại thấp và nhỏ, mà tính khí rất bạo tợn, uy phong rất dữ dội, cho nên vua Gia Long phải yêu, mà Minh Mạng thì sợ và nể.
Hai vua, nhất là vua Gia Long đối đãi với Duyệt và nhà Duyệt vẫn đặc biệt hơn các người khác.
Trong khi Duyệt theo vua Gia Long dẹp Bắc đánh Đông, cha Duyệt là Lê Văn Toại vẫn giữ nghề làm ruộng ở miền Rạch Gầm.
Đến năm Gia Long thứ hai (1803), Duyệt đương đem quân đánh toán giặc Mọi Quảng Ngãi, thì Toại mới ở Gia Định vào Phú Xuân chầu vua.
Ông lão tuy là một người quê mùa, mà đã đẻ ra được một tay danh tướng, vua Gia Long có ý kính nể, hỏi han yên ủi rất lâu.
Kế đó, Ngài bảo Toại cho Lê Văn Yên, con trai của Tả doanh Đô thống chế Lê Văn Phong (em ruột Duyệt) làm con nối giòng của Duyệt. Và nói với Toại:
– Con của anh em cũng như con của mình. Vậy là Duyệt có người nối dõi về sau rồi đó.
Rồi vua Gia Long ban áo khăn cho Toại và bảo Toại trở về Gia Định.
Năm sau, triều đình có việc vui mừng chi đó; luôn thể, vua Gia Long ban sắc truy tặng cho ông cố Duyệt là Lê Văn Tánh chức Cai đội trong vệ Cẩm y, ông nội Duyệt là Lê Văn Hiếu chức Cai cơ trong vệ Cẩm y, và phong cho Toại được hàm Chưởng cơ.
Tánh Duyệt thẳng và nóng, trị quân rất nghiêm. Tướng tá bộ hạ không ai dám ngẩng lên mà ngó mặt Duyệt trong khi Duyệt có việc sai bảo. Các bực huân cựu đại thần cũng phải kính sợ. Hậu quân Lê Chất vì là tướng của Tây Sơn mới về hàng Nguyễn, tướng Nguyễn nhiều người ghen ghét, nên vẫn thờ Duyệt cẩn thận hơn các người khác. Những việc binh cơ và những lời lập luận trong triều, Chất vẫn luôn uôn đi lại bàn bạc với Duyệt.
Duyệt cũng tin Chất, hay nghe lời Chất.
Lúc ấy có viên Tham luận là Nguyễn Văn Tái, vốn là tiểu thuộc trong dinh Tả quân, vì việc quân có điều lầm lỗi, bị Duyệt quở mắng. Tái mới vào triều cáo rằng: Duyệt đương xây đắp đồn ụ, chứa chất kho đụn, lại sai người ra Bắc Thành chiêu dụ hào kiệt, và thường thường đi lại với Lê Chất, nói nhiều chuyện kín, ngờ rằng có ý làm phản.
Duyệt nghe chuyện đó hoảng sợ, tự mình vào triều cin chịu tội.
Sau khi đưa vào Hình bộ tra tấn, Tái bị ghép vào tội nói vu. Vì không có chi là chứng cớ.
Trước kia khi bọn Đô đốc Tây Sơn là Lê Danh Phong xin hàng, Duyệt thấy Chất nói Phong có tài, mới tiến cử lên vua Gia Long khen rằng Phong có thể dùng. Lúc ấy Nguyễn Đức Xuyên đã đưa sớ ngầm can vua, cho là Phong chịu đầu hàng không phải thật bụng, Duyệt không xét kỹ mà tiến cửa hắn, chẳng qua quá tin Lê Chất đó thôi. Vua Gia Long cho Xuyên nói phải, ít lâu ngài sẽ giết Phong, và đã có ý ngờ Duyệt. Cho nên khi ấy ngó thấy cái án vu cáo của Tái do Hình bộ đệ lên, thì cái lòng đố kỵ của Ngài, buộc Ngài chưa thể tin liệu là đúng.
Ngài nói:
– Lời Tái nói giống như cũng có duyên cớ, nên tra xét cho đến nơi khỏi phải nghi ngờ về sau.
Rồi Ngài sai bọn đình thần đem Tái tra lại lần nữa.
Trước mặt Duyệt, Tái chỉ nói quanh nói quẩn, rồi bặt miệng không nói được nữa, quần thần buộc Tái tội chết, Duyệt được vô sự.
Năm Gia Long thứ 11, Hiếu Khang Hoàng hậu qua đời, khi đưa đi chôn, Duyệt được sung chức Phó liễu sử, coi sóc công việc đám ma.
Năm Gia Long thứ 16, sau khi cha con Nguyễn Văn Thành đều bị tội oan mà chết, vua Gia Long chừng muốn yên ủi người khác, mới sai ghi chép tên họ công trạng của những người đã cùng ngài siêu bạt ở thành Băng Cốc và cho bọn công thần được tập ấm. Con nuôi của Duyệt là Lê Văn Yến được thăng lên chức Phiêu kỵ đô úy.
Hai năm sau, vua Gia Long mất, vua Minh Mạng lên ngôi, Ngài có ban thư khen Duyệt và sai sứ đem vàng, bạc trầu rượu thưởng cho cha Duyệt.
Lúc vua Minh Mạng táng vua Gia Long ở lăng Thiên Thọ, Duyệt được thăng chức Tổng bộ sử.
Năm Minh Mạng thứ nhất, Lê Văn Toại tạ thế. Vì lúc ấy, cả nước đương phải để phó vua Gia Long, Duyệt không dám may đồ tang cha, dưng sớ xin với triều đình như vậy. Vua Minh Mạng hạ chiếu thư cho phép Duyệt được chế tang phục chở cha nhưng sau khi làm lễ chịu tang xong rồi, lại phải mặc đồ chế vua như trước.
Năm Minh Mạng thứ ba, Duyệt đã hết tang vua và tang cha, mẹ Duyệt là Nguyễn thị được tặng sắc Cáo mạng phu nhân.
Năm Minh Mạng thứ năm, con nuôi Duyệt là Lê Văn Yên được thăng chức Phò mã đô úy và được cưới công chúa thứ mười là ngàng Ngọc Nghiêm làm vợ.
Qua năm sau, vua Minh Mạng ban cho vợ Duyệt là Đỗ Thị Nhân một ngàn quan tiền.
Đối với Duyệt, vua Minh Mạng tuy có sợ hãi, nhưng vẫn làm ra mặt thân yêu. Lúc Duyệt dâng sớ nói việc nên nhận nước Vạn Tượng, vua Minh Mạng coi rồi, có bảo với cận thần là Trần Văn Nam như vầy:
– Người ta vẫn nói tánh Duyệt ngổ tợn, nhưng ta xét ra, Duyệt thật hết lòng trung thuận với vua, cái tánh ngổ tợn bây giờ đã tiêu đi hết.
Rồi Ngài tặng cho Duyệt chức Đô thống chế hàm nhất phẩm, mẹ Duyệt hàm Nhất phẩm phu nhân.
Trong hồi lãnh chức Tổng trấn Gia Định lần thứ hai, Duyệt thường tin dùng một viên Tham tri Tào bộ là Trần Nhật Vĩnh.
Chẳng dè Vinh là đứa gian hiểm giảo quyệt. Được lòng tin cậy của Duyệt, Vĩnh luôn luôn ỷ thế làm càn, đến nỗi chiếm của, cắm nhà và cướp giựt cả vợ người khác. Nhân dân trong vùng Gia Định ai cũng sợ hắn.
Chẳng bao lâu, những việc tàn bạo cũa Vĩnh vỡ ra, Vĩnh bị tố cáo phải giải vè kinh bỏ ngục.
Bấy giờ Duyệt mới biết chuyện dưng sớ cho vua Minh Mạng, xin nhận tội mình đã dùng phải người quấy.
Vua Minh Mạng đưa chỉ dụ tha lỗi cho Duyệt và khuyên Duyệt nên hết lòng trung thành với triều đình, để giữ trọn danh dự của một người công thần.
Khi Duyệt tạ thế, vua Minh Mạng ban cho vợ và con nuôi Duyệt ba ngàn quan tiền làm ma và sai sứ vào tận Gia Định thay Ngài tế Duyệt một đàn.