土地革命战争时期，他任战士、班长、连长、营长等职，参加了湘鄂西根据地历次反“围剿”和举世闻名的二万五千里长征，还先后参加了龙家寨、陈家河、忠堡、板栗园、漆家河、龙漆口、跑马岭、小川镇等战斗。

抗日战争时期，他任副营长、营长、副团长、团长，参加了“百团大战”

和滑石片、黑马张庄、齐会、陈庄、米峪镇、砚湾、芦家庄等战斗。

解放战争时期，他曾任晋绥军区第十一分区司令员、师长等职，先后参加了卓资山、包头、大同、集宁、延安保卫战、西华池、青化砭、羊马河、潘龙等战斗，缴获大批战斗物资，多次率部创造了以少胜多的辉煌战绩。

中国成立后，他历任野战军师长兼西安警备司令部司令员，公安四师师长兼西安警备司令部司令员、西北军区公安部队司令部第三副司令员兼西安警备司令部司令员，西安市市政府委员，副军长，河南省军区副司令员、司令员等职，经常深入部队调查研究，高标准高质量地训练部队，为部队正规化建设和民兵工作做出了不懈努力。

张树芝同志1955年被授予少将军衔。他是第三届全国人民代表大会代表、中国共产党第九、十次全国代表大会代表，第十届中央委员。