黄金荣生于1868年，原籍苏州，出生在上海漕河泾。其父黄炳泉原是在苏州种园地的，有些地产，后被其姑母侵占，就搬到上海住在南市张家弄，这里有几个当捕快差役的邻居，经他们介绍，黄炳泉也当过一段捕快。黄金荣从小顽劣，不爱读书，头脑却很灵活，经常跟捕快叔叔们泡在一起，了解了不少江湖诀窍，为他后来进入法租界巡捕房充当便衣包探打下了一定基础。

　　黄金荣14岁时，父亲因病去世，姐弟四人，只依靠母亲邹氏替人洗衣服，根本维持不了生活，母亲就把他送到孟将堂内做些杂活，混口饭吃，过着小和尚一样的打杂生活，因此当地人就叫他“小和尚”。又因为他一脸麻子，所以又被称作“麻皮金荣”。
　　这么混了两年后，母亲又托人把他介绍到城隍庙的“萃华堂裱画店”做学徒，三年期满又站了两年柜台，月薪从最初的400文钱到2块大洋，只够糊口，谈不上养家。
　　后来法租界扩充地盘，巡捕房公开招考华人巡捕。就像现在的公务员考试一样，报名者众多，黄金荣本来无论如何也考不上的，所幸邻居陶婆婆看这一家孤儿寡母可怜，就托她在法租界巡捕房当翻译的儿子帮忙，结果黄金荣成了最后被录取的20个幸运儿之一。经过培训，这20人被编为便衣侦缉队，其实就是所谓的“包打听”。陶翻译好人做到底，推荐黄金荣做了领班。

　　当包打听不久，黄金荣经人介绍，被林家招为上门女婿，住在八仙桥同孚里。太太林桂生为人泼辣，精明能干，对黄金荣的事业帮助极大，所以黄金荣对她服服帖帖，言听计从。林桂生后来也是一个出名的女流氓，名列上海滩十姊妹之一。她没有生育，夫妻俩领养了一子一女，子名福宝，领有童养媳李志清。福宝17岁早逝，李一直守寡未嫁，据说和黄金荣关系暧昧。女名宝宝，嫁给了许家。

　　黄金荣最初的工作是在十六铺码头一带管理治安，这让他很如鱼得水。原来他在裱画店工作期间，业余时间就经常跑到城隍庙得意楼喝茶，结识了不少流氓混混以及青帮分子，在十六铺人头很熟。现在为了工作方便，他进一步有意识的和这些人厮混，在黑道中的关系越来越广，这也使他的破案效率很高，在巡捕房内慢慢就有了威信。而在社会上，越来越多的地痞流氓纷纷团结在他的周围，黄金荣就这么混开了。

　　黄金荣还常常指使一些流氓混混到商业区的各个商店门口打架滋事捣乱，只要能影响商店的营业，怎么搞怎么好。然后他就带着巡捕前去巡逻，抓几个流氓起来，市面立即就清净了。商店老板不明就里，给他送锦旗的有，私下送钱的有，甚至还有投帖子拜师的。既保了一方平安挣了面子，又赚了保护费捞了实惠，日子过得好不快活。
　　不过真正让黄金荣一举成名一步登天的，还是他凭本事化解了姚主教绑架案。这个事儿，说来就话长了。
　　姚主教是法国的天主教神父，和法国驻沪总领事、巡捕房总巡等都是好朋友，是上海法租界的头面人物。一次为了传教，他坐火车去天津开办教堂，行至山东临城时，被军阀张宗昌手下的部队给绑架了，被绑到乡下关起来。按照惯例，绑匪会先冷处理，等利益相关人急不可耐时，再开出天价赎金。当然这个过程中，什么乱七八糟的事情都可能发生。

　　姚主教遭绑架，连法国都给震动了，法国驻沪总领事勒令巡捕房立即破案，务必将人救出来。奈何他们连绑匪是谁都不知道，到哪儿去想办法呢？只能高价悬赏：凡通报姚主教下落并属实者，奖3000元；如能救出，则重奖10000元。这个奖太重了，一下子就吸引住了黄金荣，他更本能的意识到，这是个升官的绝好机会，一定要抓住。
　　可惜想尽办法也没找到一点线索。黄金荣并不气馁，他一个人跑到城隍庙烧香许愿，一旦他破案立功，青云直上，定将整修城隍大殿，装塑城隍金身。后来飞黄腾达了，黄金荣果然不负承诺，和杜月笙一起，重建了整个城隍庙。这是后话，暂且不提。
　　话说有一天，吴佩孚部下一个叫韩荣浦的后勤副官到上海来买东西，身上带的100块钱在火车站被偷了。
　　那时的100元不是个小数，韩副官实在是丢不起，就跑到巡捕房报案。黄金荣听说失主来自天津，便找来韩副官，抱着侥幸的心理向他打听姚主教被绑架之事。
　　当时吴佩孚和张宗昌都有部队驻扎在天津附近，双方官兵之间多有来往，韩副官对此事恰好有所耳闻，当即告诉黄金荣法国人在山东临城，具体的情况也不难打听到。黄金荣大喜，爱财如命的他毫不犹豫的给了韩副官150元，请他去临城打听人质具体藏在何处，一旦有确切消息，将再奖500元。

　　这个对韩副官来说一点不难，再次和黄金荣碰头，就开始商量赎票的事了。为了怕对方漫天要价，黄金荣叮嘱韩副官绕过部队的军官，直接买通乡下的看守人员。
　　黄金荣向巡捕房支领了2000元，自己留下500，剩下500是韩副官的辛苦费，1000是买通看守人员的经费，并承诺等时机成熟，黄金荣到现场救人时，再付2000尾款，作为这些看守人员跑路的费用。对韩副官当然另有重谢。
　　等韩副官把一切搞定，黄金荣带着几十个便衣化装成张宗昌部队的官兵，轻而易举的就把姚主教救回了上海，前后一共只花了几千元。
　　这个功立得太大了，巡捕房深感人才难得，给予重奖之外，破格将黄金荣连升数级，提升他为总探长，并专门派了八个安南（也就是越南）巡捕作为他的保镖。在巡捕房，安南巡捕的地位高于华人巡捕，随时跟着几个官派老外保镖，黄金荣也算是为国争光了吧。
　　黄总探长确实也不负众望，每天没日没夜的奔忙，工作干得有条不紊，成绩斐然，上级对他越发满意和信任，以至于后来法捕房里所有华籍探目、巡捕的提升，都必须由他提名才行，这一下，他真的是一言九鼎了。

　　权力和名望达到相当高度后，黄金荣开始大肆收徒。青帮收门生，要按照帮会规矩开香堂，手续很复杂，黄金荣本不是青帮中人，只是冒充，又因为门生收得太多，一切手续就全免了，反正醉翁之意不在酒，只要钱到位，递张门生帖子就行，所以黄金荣的门生众多，保守估计也有两、三千人。从这时候起，大家开始亲切的称他为“黄老板”，黄金荣对此称呼很满意，不像日后的杜月笙，别人尊称他“杜老板”，他总要纠正：“叫我杜先生。”

　　黄金荣待人处事上远不如成名后的杜月笙。他的徒弟多，对弟子的态度也不同：身价较低的，见面点一下头，算是敷衍；地位高势力大的门生，则要亲近一些，当然越有势力的越亲近。他对客人同样比较势力，这从他敬烟即可看出一斑：普通客人奉以大前门，中等客人奉敬白锡包，上等客人则为茄力克，再高级一些的，就以上好大土供给。只是黄金荣势力强大，别人也没办法和他计较，只能打着哈哈说黄老板处事精明哈哈哈。

　　数钱数到手抽筋之后，更高的追求自然是睡觉睡到自然醒。工作轻车熟路、势力已然庞大，黄金荣懒得再规规矩矩的按时打卡上下班，他养了一帮“三光码子”作为私人助理，办起案子来更加的如鱼得水。所谓“三光码子”，是老上海对巡捕房“包打听”私下养的助手的一种称呼，干这一行的基本是地痞流氓。二者间的关系类似于帮会里老头子和门生，“三光码子”们凭着黄金荣的金字招牌四处招摇撞骗敲诈勒索，黄金荣则靠他们搜集情报，偶尔碰到上峰限时必破的案子而又破不了或者不方便破，也可以抓他们去冒名顶替。用“主流经济学家”比较时髦的话来说就是，双方的合作，属于“双赢”。

　　有了这群助手，黄金荣的日子过得越发潇洒起来。他参股了一家叫“聚宝”的茶楼，每天上午起床后先到那里喝两小时茶，在这期间，手底下的巡捕、助理纷纷前来汇报工作或待命，各大商铺或大户人家如遭遇什么抢劫盗窃敲诈等一般会到此处报案，各路江湖好汉之间有什么纠纷也也常常前来“吃讲茶”。