1924年5月,黃埔軍校正式開課,葉劍英擔任教授部副主任。教學期間,葉劍英接觸了許多共產黨人,逐步接受馬克思主義,并正式提出加入中國共產黨的申請。由于葉劍英是蔣介石嫡系的高級軍官,黨組織認為要作較長時間的考驗,遂擱置。
葉劍英從未因入黨未果而改變志向。四一二反革命政變后,經過認真思考,他堅決發出反蔣通電,赴武漢參加第二次北伐。此后,他擔任國民革命軍第四軍參謀長。隨時勢變遷,葉劍英找黨之心更切,并向共產黨員李世安傾訴,李及時向周恩來報告了葉劍英的情況。1927年7月上旬,經周恩來同意,中共中央批準葉劍英為中共黨員。
1972年8月,葉劍英回憶入黨歷程時說:“我是1924年提出要求入黨的,沒有被批準。”“從1927年就反對蔣介石,經過這個考驗,決心就定了,所以1927年7月正式參加了黨。當時也不是對共產主義完全理解了,只覺得國民黨不行,享受腐化,必然失敗,共產黨朝氣蓬勃,必然要勝利。后來,經過學習馬克思主義,樹立了共產主義世界觀,懂得了社會發展的客觀規律,懂得了資本主義必然滅亡,共產主義必然要代替它,如同資本主義必然要代替封建主義一樣。這樣共產主義必然勝利的信念就始終堅定不移了。”