陶谦幼年时父亲去世，少年时以性格放浪闻名县里，陶谦的父亲，曾经担任过馀姚县长，陶谦十四岁时以布作为战旗，骑着竹马与乡里小孩子一起嬉戏。
他的同乡、曾任苍梧太守的甘公出门时遇见陶谦，见到陶谦的外貌不凡，于是叫上车来与他交谈，感到非常高兴，把自己的女儿嫁给了陶谦。
甘公的妻子对此非常愤怒，但是甘公对其妻说：
“这个孩子外貌奇特，长大后必成大器。”
陶谦后来喜欢学习，先是考上诸生，在州郡为官，后被举为茂才，拜尚书郎，先后出任舒县令、卢县令。
其后迁幽州刺史，被征拜为议郎。
中平二年（185年）三月，北宫伯玉等率领羌胡进犯三辅，灵帝派遣左车骑将军皇甫嵩率军讨伐，皇甫嵩表请武将随行，召拜陶谦为扬武都尉一同出征，将叛军击败。七月，皇甫嵩因先前得罪中常侍赵忠、张让，在他们的诽谤下被贬官削爵。
朝廷另委派司空张温为车骑将军前往讨伐，张温请陶谦为参军，接遇甚厚，但陶谦素来轻蔑张温的作为，心怀不服。后大军回朝，陶谦在百官宴会上公然羞辱张温，张温大怒，意图将陶谦迁往边关，在别人的劝说下才将陶谦追回。张温于宫门迎接陶谦，陶谦并不领情，但张温对陶谦还是像以前一样好。
中平五年（188年）十月，青、徐两州黄巾复起，攻打郡县。
朝廷任命陶谦为徐州刺史，镇压黄巾军。陶谦一到徐州就任用亡命东海的泰山人臧霸及其同乡孙观等为将。结果一战便大破黄巾军，剩下的黄巾军也被迫逃出徐州境内。
黄巾败走后，陶谦上表拜臧霸、孙观为骑都尉，令其屯琅玡郡治开阳，驻守徐州北面。
在此之后，陶谦在徐州推行屯田。表荐下邳人陈登为典农校尉，在徐州境内实行屯田。陈登上任便“巡土田之宜，尽凿溉之利”，在陶谦、陈登的努力下，徐州农业生产得到恢复和发展，收获“粳稻丰积”。
此时北面的青州、兖州黄巾此起彼伏，徐州却相对太平无事，百姓富足，谷米屯满粮仓，青州、豫州等地的流民（如郑玄、许劭等）也纷纷涌向徐州。
同时，他还在徐州宣扬佛教。特别是下邳郡，陶谦任命与自己同郡的下邳相笮融督管广陵、下邳、彭城运粮。笮融利用手中掌握的粮食，起大浮屠寺，可容三千余人，悉课读佛经；又以信佛免役作号召，招致人户五千余，“每浴佛，多设酒饭，布席于路，经数十里，民人来观及就食者且万人”（笮融此举或出于陶谦的默许）。
而且陶谦任用地方豪族。
任用琅玡人赵昱、东海人王朗为别驾及治中从事。
任用徐州富商糜阳（糜竺族弟，糜竺一家搬往冀州后，余留家资留给糜阳打理，在糜竺支持下，糜阳亦成为徐州富商）为从事；
任命徐州曹家曹豹为都尉；
任用同乡曹宏为主簿；
任用陈家陈珪为治中、陈登为广陵太守；
任命与自己同郡的笮融督管广陵、下邳、彭城运粮；
由此可见，陶谦既用贤人、亦用小人。
但是，如此下来，“背道任情，广陵太守琅邪赵昱，徐方名士也，以忠直见疏，曹宏等谗匿小人也，谦亲任之，刑政失和，良善多被其害，由是渐乱”。
初平元年（190年）正月，关东州牧、郡守拥立袁绍为盟主，矛头直指在洛阳的董卓。当时天下郡县响应，大兴义兵，陶谦亲领兵五千丹阳精兵会盟。
初平三年（192年），王允、吕布谋杀董卓，后李傕、郭汜等反，攻陷长安，把持朝政。
朱儁当时在中牟，陶谦认为朱儁是名臣宿将，屡立战功，可以委以大任，于是联合徐州、扬州干吏，包括前扬州刺史周干、琅邪国相阴德、东海国相刘馗、彭城国相汲廉、北海相国孔融、沛相袁忠、泰山太守应劭、汝南太守徐璆、前九江太守服虔、博士郑玄等人共推朱儁为太师，移檄牧伯，同讨李傕等，奉迎天子。
后来，李傕利用皇帝，用计谋召朱儁入朝，愚忠的朱儁于是辞谢陶谦，应召入朝，陶谦也只好作罢。讨伐西凉军阀的大战，未曾正式开始，便草草结束。
初平三年（192年），经治中从事王朗与别驾赵昱建议，陶谦派赵昱向献帝进贡，以表示对汉室的支持，献帝接到陶谦的奏章后赞赏，李傕等人也需拉拢地方州牧，于是升陶谦为徐州牧、安东将军；赵昱被任命为广陵太守，王朗被任命为会稽太守。
同年，下邳人阙宣聚众数千人，自称天子，陶谦派军将其击杀。
当时，曹操之父、前任太尉曹嵩在琅邪躲避战乱，曹操命令泰山太守应劭迎接曹嵩到兖州。
曹嵩携带辎重一百余车，路过阴平县。
陶谦的一名部将张闿驻守阴平，张闿原为青州黄巾军管亥部将，因滥杀百姓，被管亥驱逐出黄巾，后来张闿又聚拢千人，为祸徐州阴平县，被陶谦剿抚，投降陶谦，陶谦遂命张闿为阴平县尉，驻守阴平县。
看到曹嵩的海量财富，抢劫成瘾的张闿与其士兵，哪会放过？于是借护送名义，在华县与费县的交界处发动袭击，杀死曹嵩和他的小儿子曹德，随后与士兵分了财货，逃去无踪。
听闻此信，曹操昏厥，陶谦亦昏厥。
曹操昏厥，是因为老父被屠，幼弟被杀，悲伤过度。
陶谦昏厥，是因为属下作孽，逃之夭夭，自然他这个上司要替其擦屁股，但是这个屁股他陶谦也不是好擦的——近来曹操全控兖州，收降青州黄巾，战兵将近十万，风头正盛。
自己当初听说曹嵩离去，本要派兵护送，送上一波友谊长存，没想到张闿贼子，给自己送了一个断子绝孙式的大礼！
陶谦遂命令全域捉拿张闿一众贼子，奈何张闿等人好似消失一般，杳无音讯，最终仅仅捉拿一个分了半车财宝的小兵——这家伙跑到青州北海挥霍，被刘备发现，一番严刑酷打，竹筒倒豆般说出真像：张闿说奉了州牧陶谦之命，截杀曹嵩！显然此是张闿为达目的，欺瞒属下之辞！
得知此信，刘备第一时间派人把小兵解到徐州陶谦处！令陶谦蛋疼的是，小兵被毒打过重，交给陶谦当晚，竟然死去！（此事一直是一个谜）
更让陶谦抓狂的是，曹操已经得到了小兵当初的供词（曹操如何得知，又是一个谜）！
这下陶谦算是：“黄泥巴掉进裤裆里——不是屎也成屎了！”
至于找寻张闿，旬月无果！
陶谦无奈之下，派从事携带重礼，到兖州拜会曹操，一是说明情况，二是赔礼道歉！
然而曹操哪会听使者之言？直接掀翻财物，杖杀使者，誓言要陶谦全家人头抵命！
陶谦闻之，亦激起斗志：
俗话说：两国交战，还不斩来使！你不但杀我使者，还要我全家人头！
虽然是我属下作孽，却非我命令；我虽有责任，却远达不到需用我全家抵命！
我陶谦好歹也是一州州牧，岂会任你欺辱？
陶谦遂外联孔融、刘备、廖化，内整兵甲，自己亦亲近彭城一线，督军备战。