Sinh ra trong một gia đình có truyền thống võ học, cha là một thầy dạy võ giỏi, nhưng ông không tham gia hương chức hội tế của làng xã, mà sống cuộc đời nông dân bình thường như bao người khác. Ngay từ lúc nhỏ cậu bé Tám Nghệ đã được nghe mẹ kể những câu chuyện về nghĩa quân kháng Pháp và trong tư tưởng của Tám Nghệ lúc nào cũng mơ ước mình sẽ trở thành một người tướng chống Pháp.
Được cha cho đi học, Nghệ rất thông minh được đánh giá là trò giỏi của lớp. nhưng với nền giáo dục thời bấy giờ đôi lúc đã làm cậu chán nản, chứng kiến những cảnh người cùng làng bị hà hiếp, cậu xin cha không đi học nữa mà xin cha dạy võ cho mình. Cha không đồng ý, muốn cậu học văn. Thỉnh thoảng cha đi dạy võ cho những thanh niên trong làng, Nghệ cũng lén đi theo. Thấy Tám Nghệ thích học võ, Tám Phát, một người giỏi võ trong làng từng hạ gục những tên cướp Cờ Xanh đã dạy võ cho Nghệ. Anh trai Nghệ là Năm Thọ đi học ở Sài Gòn về khuyên Nghệ phải chăm chỉ học hành sau này mới làm được chuyện lớn.