张作霖从赵家走后，春桂姑娘的形象便深深地印在了他的心里。后来，他到兽医桩子学兽医，掌握了医马和相马的手艺，交结了一些农民，土匪头子、清军小官。
光绪二十年（一八九四年），中日甲午战争爆发，毅军到辽东战场布防。毅军，是清军将领宋庆的部队。由于宋庆被朝廷赏赐勇号“毅勇巴图鲁”，因此他统领的部队称为“毅军”。张作霖在大高坎学兽医时，认识了宋庆部下管带赵得胜。经赵的允许，张便投入了毅军。营务处的袁甲三见张精明强干，便调他充任“戈什”。
戈什，是清代高级官员的侍从武弁，全称“戈什哈”，满语“护卫”的意思。张作霖所在的毅军驻守田庄台，是清军与日军作战的主战场。军中招募谍报员，深入日军后方，探听军情。他应募前往，凭着机智勇敢，得到许多敌人的情报。多次荣获立功牌，并擢升为哨长（连长）。
光绪二十一年（一八九五年）仲秋，张作霖头戴红顶珠伞形花翎帽，身穿蓝灰色前后补子绣鹌鹑的官服，脚穿藏青色薄底快靴，腰挎雕花柄战刀，骑匹大白马，飞驰回到赵家庙村。村民们闻讯，纷纷从家里出来观看，啧啧赞叹：“张老疙瘩出息啦！”“小货郎当官啦！”
“乡亲们好！”张作霖一手牵马，一手冲村民们招手，昂头挺胸，神气十足。
张作霖来到家门口，刚将大白马拴在龙须柳树杆上，姥爷，姥姥、母亲、二哥张作孚和小妹（此时大哥张作泰已患病谢世），便迎出院门。张作霖边与亲人们打招呼，边从马背上取下一个大包裹：“我带回来许多好东西，每人一份。”
翌日，张作霖走进了赵占元家，他心里装着春桂姑娘，要娶她作妻子。他将许多礼物放在漆黑几案上，谦恭地对春桂父母抱拳躬腰施礼说：“我来看望大叔、大婶，串个门儿。”
“张老疙瘩。”赵占元坐在硬木椅子上不阴不阳地问，“你当军官啦？”张作霖接过春桂送来的清茶，说：“是的。我升为哨官啦。”赵占元呷口茶水又问：“你用的什么手腕？”
“手腕？”张作霖看了一眼春桂和春桂娘，不解地说，“我在军营立了许多战功，才当的官。”他边说边从官服的怀兜里掏出几枚功牌放在几案上，“我是凭着真本事当的官。”春桂的斜眼眸闪着亮光，看着功牌，说：“张大哥，你可真有能耐！……”
“住嘴！”张占元剜了女儿一眼，“这功牌是谁的？上面也没刻上姓名。”张作霖从兜里掏出哨长札委（委任状），说：“大叔，您看看这个，这上面有我的名字。”赵占元瞟了一眼说：“好哇，抗击日寇，为国杀敌。”春桂娘问：“你当哨长，有很多钱吧？”张作霖摇了摇头。
张作霖从赵家出来，便直奔开木匠铺的高老惠家。他从赵占元不阴不阳的语气和春桂娘不冷不热的神态里感觉到，两位老人对自己不信任。如果自己提出要娶春桂为妻，恐怕会碰钉子。因此，他决定邀请德高望重的高师傅出面，到赵家为自己保媒。这一招果然奏效，高师傅到家一说，春桂父母便欣然应允了。
张作霖和春桂都已经二十一岁，在当时农村，算是晚婚了。婚事办得很简朴。张作霖仍然穿着军官服，十字披着红绸子，胸前缀朵大红花，骑着大白马；春桂身穿红袄红裤，头上蒙着红盖头，乘坐一顶两人抬小花轿。鞭炮炸响，锁呐声声，锣鼓阵阵，在乡亲们的簇拥下，迎亲队伍在村里土路转了一圈，便把花轿抬进张作霖的母亲家。
婚后，张作霖赶回田庄台，可毅军已经奉命回防旅顺，田庄台被日本军队占领了。张作霖没有追赶毅军，领着妻子到黑山镇开了个小兽医桩。转过年，妻子生下一个女儿，不久便死去了。
夜幕四合，星光惨淡，辽西的罡风肆虐地扑打着窗棂。张作霖搂着妻子躺在炕上，盖着蓝色碎花土布棉被。他唉声叹气地说：“这世道，许多人来给马看病不付钱，挣钱不容易。我想把兽医桩子关掉。”
“嗯？”春桂推开丈夫困惑地问，“不开兽医桩子你想干啥？”张作霖一字一顿地说：“我—想—当—土—匪！”妻子一虎身坐起来，惊骇地瞪大眼睛说：“你找死啊？当土匪杀人放火，不会有好下场。”丈夫说：“什么是兵？什么是匪？兵匪一家。有枪就有钱，就能称王。”妻子厉声说：“你可不能有当土匪的想法。你当兽医虽然挣钱少，生活清苦，可生活安宁啊。如果你当土匪……”
“安宁？”丈夫也坐起来说，“咱们生活能安宁吗？许多人来兽医桩找茬，跟我打架。我不能受这个窝囊气！”妻子说：“你跟你二哥整天惹是生非，打架斗殴，聚众赌博。我看早晚要惹出点事儿来！”
果然不出妻子所料。一次，张作霖和张作孚与李友恒、石福生等人打群架，被李、石二人告到广宁县（今辽宁北镇县）衙门，说张家两兄弟通匪，是胡匪的窝主。张作霖被衙役抓去，关进大牢。后又押解到奉天“提法司”审讯。多次提审，张作霖拒不承认。岳父赵占元四处活动，托人具保；又因查无实据，张作霖才被释放了。
张作霖被保释出来以后，便把妻子送回娘家，对岳父岳母说：“这回好了，你们就等着我往回送银子吧！”两位老人不知他说的话是啥意思，都愣怔怔地看着张作霖。可妻子却明白了，劝阻说：“雨亭，你可不能走邪路！你不能去当土匪啊。”
“当土匪？”赵占元嗔怒地说，“你大狱没蹲够啊！你还是老老实实地当你的兽医吧。”张作霖说：“我这是逼上梁山！”他头也不回地走了……
张作霖经巨匪头领冯麟阁的介绍，加入了土匪董大虎的绺子。后来又投靠了程敬芳、程敬双绺子，坐上了第三把交椅，名称为“榄把”（也称兰把子），职务是看管“秧子（人质）房”。凡是绑来的票，均由他看管，又称看守“小箱”的头目。
光绪二十四年（一八九八年），妻子又生下一个女儿张首芳（又名张冠英）。张作霖在胡匪绺子整天抢劫绑票，时间一长，他就感到厌倦了。又经妻子苦苦相劝，他便脱离胡匪队伍，回到赵家庙村。