1904年,蔡鍔從日本士官學校畢業,回湖南省親。第二年春天,任湖南武備學堂及附設兵目學堂教官。由于蔡不滿清廷的腐敗統治,救國心切,熱心革命宣傳,不久被辭退。蔡隨后到廣西開辦隨營學堂,1906年冬,改任廣西陸軍小學總辦。該校教師大多為蔡物色聘任,均為才學兼優,富有革命思想者。由于校風較好,教師熱心,循循善誘,學生進步很快,為廣西培養了不少軍事人才。新桂系首領李宗仁,即是該校二期學生。
自1905年起,蔡鍔在廣西開辦隨營學堂、陸軍小學、干部學堂、講武堂,統率新軍第一標學兵營,前后達6年之久,經他掌握、動用的公款,為數甚巨,但他廉潔自律,一毫不取。他平時自奉極儉,粗茶淡飯,家里的伙食每日只有幾角錢。蔡離開廣西時,所有行李僅書籍和隨身衣服鋪蓋各一擔。
蔡鍔十分關心學生的生活,經常到廚房檢查伙食,并要求教員與學生一同在食堂用餐,以密切師生關系。當時陸小的膳食和服裝均由公家供給。蔡對經辦服裝的人員監督很嚴格,防止偷工減料,所以服裝質量良好。當時廣西陸小的學生身體健壯,精神飽滿,服裝整潔,紀律嚴明,受到社會的廣泛贊許。為增進學生的體質,蔡鍔親自為學生上體育課,帶領學生鍛煉。他的器械體操和游泳技術都很好,能作長距離游泳和長時間潛水,同學們贊揚說:“我們總辦真是文武雙全!”