霍英東原籍廣東省番禺縣，1923年5月10日，出生于香港一個水上人家。祖父霍達潮，曾擁有大風帆船，來往于省港澳之間，從事貨運生意。但當霍英東來到這個世界上的時候，家境已相當困難，全靠父親租船駁運貨物維持生活，入息不多，生活艱辛，他們全家窮得連鞋都穿不上，無論寒冬酷暑，都是赤腳行走。有一次過舊歷年，他父親第一次穿雙新鞋上街，在小攤檔把鞋脫了，蹲在凳上吃粉，吃完雙腳落地便走。回到船上，才發現竟然沒有把鞋穿回來，因為向來沒有穿鞋的習慣。
那時沒有天氣預報，水上人家生命毫無保障。霍英東的兩個哥哥就在一次臺風中沉船喪生，一個5歲，一個7歲。他的母親幸被叔父救起，但不久他的叔父也在風浪中翻船淹死。大約是在霍英東7歲那年，父親患病不幸去世，年僅40多歲。因為染病時間很長，天天用中草藥治療，把本來就很有限的一點錢都花光了，死后只草草地埋在青衣島上。
父親去世以后，霍英東一家生活更加困難了。那時，他還有一個9歲的姐姐，一個5歲的妹妹，生活的重擔全落在他母親身上。
母親是一位頑強、刻苦、勤奮的人，在那多災多難的日子里，她沒有被生活的重壓折服，而是挺直腰桿，辛苦操勞，把丈夫遺留下來的駁運生意繼續經營下去。這駁運生意就是與外海的貨輪接洽，代它們把貨物用小舢舨運到岸上來。當時接運的主要貨物是煤炭。霍家自己沒有駁船，從輪船貨主那兒把生意接下來，然后分給舢舨客駁運，從中賺取微薄的傭金。因為霍英東父親在世時人緣很好，母親又豁達得體，多數的貨主和舢舨客都頗為同情這一家孤兒寡母，日子倒也還能勉強維持下去。
霍英東的母親雖然自己目不識丁，但希望自己的兒女知書識墨。大約在霍英東6歲那年，便由別人背著去拜師啟蒙。接著在帆船同業義學就讀，那是免費的，他家住在船上，隨處漂泊，上課很不正常，有時放學后連船也不易尋找。到第三班時，轉入敦梅小學。這間小學是要收費的，其中有一個免費班，但僅招收30人。學生要作一篇文章應考，霍英東還是考上了，而且在錄取的名字中，第一個便是他。后來，他又轉讀皇仁書院。書院的學制是倒過來從第八班開始的，相當于初中一年級。那時，書院的第八班，共招三個班，每班30人，但大多數是經過老師、家長及各種關系介紹入學的，真正通過考試錄取的不足10人。應考時也要求作一篇文章，霍英東也是第一個被錄取了。
