谢葆璋是被誉为祖母冰心的父亲，字镜如，1865年1月3日出生于福州，是谢銮恩的第3个儿子。
4岁时，母亲离开人世，由父亲和姐姐抚养。谢銮恩发妻去世后，未再续弦，晚年才娶继室，帮助料理生活。两个哥哥继承父业，做了教书先生，而谢葆璋却随同许多福州子弟加入海军。
清光绪七年(1881年)，谢葆璋父亲的好友、天津水师学堂总教习严复专程回到福州，招考海军学生。严复见到谢葆璋，觉得这个少年是块当海军的好材料。于是，出两道题给谢葆璋做，算是考试。一道是诗题，题目是“月到中秋分外明”，另一道是八股的破题。谢葆璋做完后，严复很满意，决定收下这名学生。从此，跟随严复到天津，走进水师学堂，成为该校的第一届驾驶班学生。
谢葆璋等只用3年时间学完全部课程。毕业前夕，李鸿章邀请英国和俄国的海军官员来校会考。他们认为，欧（www.vkzw.com）洲海军学校学生到上练船阶段才能学到的一些课程，天津水师学堂的学生已经提前学完。国内的官员也认为，天津水师学堂“所授繁难诸学，多为从前闽厂(福州船政学堂)驾驶学堂洋教习所未及课”。李鸿章对此非常满意。
光绪二十年（1894年），中日甲午战争爆发。黄海海战战斗一开始，北洋舰队就陷入极为不利的境地。激战数小时后，英勇的“致远”、“经远”等舰相继沉没，“广甲”、“济远”两舰先后撤出战斗。日本海军联合舰队的本队6舰，将北洋舰队的“定远”、“镇远”两艘铁甲舰团团包围。号称“帝国精锐”的“吉野”等4艘快速巡洋舰，则将谢葆璋所在的“来远”舰和“靖远”舰死死咬住，形势十分严峻。“来远”舰在敌舰的疯狂围攻下，中弹200余发，尾炮失灵，弹药舱爆炸，全舰燃起熊熊大火。危急之中，谢葆璋英勇地冒着敌舰的炮火，率领士兵奋力救火，终将大火扑灭，保住军舰
“来远”舰带伤坚持战斗，直至日舰先行逃离战场。“来远”舰是北洋舰队幸存军舰中受伤最重的一艘。战后，“来远”舰驶归旅顺。
谢葆璋与管轮人员密切配合，将已受重伤的“来远”安全驶归旅顺基地，驶回旅顺口之际，中西各人见其伤势沉重，而竟安然返旌，无不大奇之。
二十一年（1895年）正月初五日，日军水陆夹击威海卫港内的北洋舰队。正月十二日凌晨，日本鱼雷艇潜入港内偷袭，由于北洋舰队的英勇抵抗，日本海军对威海的正面进攻迟迟不能得手。于是，日军派出鱼雷艇队，借夜色的掩护，潜入港内进行偷袭。2月5日，日军鱼雷艇施放的鱼雷击中受伤的“来远”舰。随着一声巨响，“来远”舰庞大的身躯急速地翻转，露出红色的舰底，不久即沉入海底，舰上官兵30多人遇难。
谢葆璋在军舰爆炸的刹那间，纵身跳入冰冷剌骨的海中，凭着一身好水性，拼命游上刘公岛，得以死里逃生。几天后，北洋舰队在刘公岛全军覆没。
甲午战争后，清政府将北洋舰队编制取消，数以千计劫后余生的海军官兵被遣散回乡。谢葆璋辗转回到福州，和家人团聚，与妻子家人度过一段平静生活。
1903年谢葆璋复出任职，就任烟台海军学堂第一任校长，由于谢葆璋的出色领导，烟台海军学堂发展迅速，短短几年便赶上和超过一些老牌的海军学校，位居清末四大海校之首。
谢葆璋是位有进步思想的爱国军人，冰心的舅舅杨子玉是同盟会会员，经常与谢葆璋一起作诗谈文，借抒情怀。
烟台海军学堂的学生，受进步思想的影响，对清政府的腐朽统治和中国海军的衰败状况日益不满。他们订阅不少清政府明令禁止的同盟会报刊，开始逐步同情和支持资产阶级革命，个别学生甚至与同盟会建立秘密联系。
清宣统元年(1909年)，筹办海军大臣载洵视察烟台海军学堂，认为学堂办得有成绩，质量较高。于是，清政府决定选派20名满族贵胄学生来校学习，提前毕业，以加强满族人对海军的控制。
满族贵胄学生的到来，激起汉族学生强烈的反抗情绪，双方不断发生磨擦。宣统二年(1910年)的春季运动会上，为争夺一项锦标，互相仇视的满汉学生爆发激烈冲突。事件发生后，地方官员秉承朝廷旨意，要求校方严惩汉族学生。谢葆璋不肯偏袒满族贵胄学生，据理力争。不久，清政府命海军部官员郑汝成来校查办此事。
郑汝成是谢葆璋天津水师学堂的同班同学。他告诉谢葆璋，烟台海军学堂中的各种进步活动已引起清政府的注意，京城的一些官员甚至指责谢葆璋是“乱党”。郑汝成劝谢葆璋赶快辞职，退身远祸，免得落个撤职查办的下场。