1865年1月27日,黃賓虹出生在金華。他的父親是一位徽商,祖籍是安徽歙縣潭渡村,如今在潭渡村還存有黃賓虹故居。故居正屋為三開間樓屋,前有低廊和小天井,黃賓虹自題為“賓虹草堂”和“虹廬”。左廊通“冰上飛鴻館”,屋前為小院,出左院門,為“玉森齋”,是一座三開間平房。前院有假山石塊,名“石芝”,黃賓虹常在畫上題 “寫于石芝室”或 “石芝閣”,即指此處,現辟為“黃賓虹紀念館”,為安徽省重點文物保護單位。
黃賓虹4歲就被保姆抱在手上,看他的父親作畫,父親有時還讓黃賓虹隨意涂鴉。黃賓虹6歲時,父親請了一位金華老經師教他讀四書,父親本人還親自督教《說文解字》。

黃賓虹13歲回安徽歙縣參加童子試被錄取。15歲就學習拳術、舞劍,會騎馬。16歲就在金華有小畫家之譽。17歲那年回歙縣應試獲為秀才。這期間打下的厚實的中國文化根基,對他的一生有著非常重要的影響——特別指出的是,黃賓虹不是讀死書,而是有非常好的悟性。
黃賓虹在26歲那年,全家從金華遷回老家歙縣潭渡村,前后在故里潭渡村生活約30年。退回老家的黃賓虹,跟隨父親制墨,養家糊口,繼續師從名儒汪宗沂先生。他的老師做過李鴻章的幕僚,后棄官歸隱教學。汪宗沂還有兩個與黃賓虹年齡相仿的兒子,長子汪福熙善書,次子汪鞠友善畫,三個小伙子意氣相投,相互激活,教學相長,成為一段佳話。

黃賓虹后來還有機會幫助清代大畫家黃真民的后人整理所收藏的名畫,讓黃賓虹有機會見到許多宋元真跡。黃賓虹最愛新安畫派的漸江,他的畫清逸蕭散,兼有北宋風骨,元人氣韻。那次整理中發現有兩幅漸江的真跡,一幅是仿“元四家”吳鎮和倪瓚的長卷,一幅是《枯木竹石》。后來黃賓虹在畫齋里待了許多天,凡自己喜愛的真跡都細細加以臨摹。
黃賓虹之所以與其他藝術家不同,就是他本人有強烈的中國士的精神,包括他后來與譚嗣同的交往,以及在潭渡村聚徒教練拳術,就是希望在國家危難之際準備實力,以圖大舉。

1898年戊戌變法失敗,譚嗣同被殺害的噩耗傳到潭渡,讓黃賓虹悲憤異常,大哭一場,后來有鄉人到省城告密他是譚的同謀者,黃賓虹只好連夜出逃去杭州、金華,最后到達上海。
1907年春,44歲的黃賓虹來到上海,上海是中國最為開風氣之先的大都市,面對那些說話總是帶些英語的滬上名流,黃賓虹是有強烈落差的,畢竟他只是個金華、歙縣的鄉下人。為了養家糊口,黃賓虹在上海做過編輯、出版人、畫家、教授、收藏家等不同的角色。其實,這個時候,他更是把自己當成一個學人。
比如他負責編輯 《美術叢書》,全書輯錄了美術論著257種,內容涵蓋了金石書畫、碑版、陶瓷、筆墨紙硯、印章篆刻、印泥、裝潢、琉璃、游具、杖扇、茶藝、琴劍、錦繡等各個傳統藝術門類;比如他被上海商務印書館聘為美術部主任,與滬上不同文化名流打交道,獲得最前沿的文化眼光;比如他參加了海上題襟館金石書畫會,圈子里都是像吳昌碩、王一亭、陸廉夫、吳待秋、趙子云等這樣的牛人;比如他還是兩三家藝專學校的教授,這些學校的教授大都是留洋回來的人,通過與之交往,彌補了黃賓虹沒有出國留洋的遺憾。
某種程度上,黃賓虹更像一位藝術修行者,他69歲還去四川登山寫生,70歲登道教圣地青城山,71歲登黃山,72歲重游桂林山水,寫生香港山水,總結出非常獨特的 “知白守黑”、“屋漏痕”、“月移壁”等繪畫理論。他不是刻意去玩理論,而是下真功夫去追求“內美”。

1948年夏,85歲的黃賓虹回到杭州,89歲那年搬到棲霞嶺32號。每天仍是堅持作畫,“愿作西湖老畫工”,后來哪怕就是白內障加劇,眼睛幾乎失明的情況下,還是堅持作畫。說也奇怪,正因為眼睛看不見,竟達到手心相忘的境界,蛻變為真正的“渾厚華滋”。后來90歲手術成功后,繪畫又返還內斂、含蓄,呈現“復歸嬰兒”的大境界。
黃賓虹在1911年,即48歲那年舉家遷往上海之后,在長達40多年時間里,故鄉歙縣潭渡村就沒有再回去住過,但我們相信在他的心靈深處,故鄉一直是魂縈夢牽,從來就沒有走遠。