在《革命哲学》的影响下，认识到军队的重要性，决定走从军之路。1963年，他进入利比亚班加西军事学院学习。1964年，他在军队中建立自由军官组织这一秘密团体，着手策划推翻利比亚伊德里斯王朝统治。1965年，卡扎菲从班加西军事学院毕业，获少尉军衔。1966年，他到英国比肯斯菲尔德装甲兵无线电通讯学校受训，学习装甲车的维修、号和射击技术。半年的培训学习结束后，卡扎菲回利比亚担任通讯兵团上尉军官。
1967年6月5日爆发后，利比亚政府决定派卡扎菲带领一支先遣队前去支援埃及。但这场战争仅打了6天，卡扎菲一行刚到达利比亚、埃及边境，战争就止了，卡扎菲决定返回。这场战争在阿拉伯国家中引起了巨大震动，利比亚人民对伊德里斯王朝的腐朽统治更加不满，人心思变。卡扎菲强烈意识到，在利比亚发动革命的客观条件日趋成熟，他决心加快采取行动的步伐。
1968年，利比亚国内形势急剧恶化。80岁高龄的伊德里斯国王多病缠身，无力理政，曾提出退位想法，但宫廷幕僚们以一时找不到合适继任人选为由，将其挽留在国王宝座上。宫廷大臣、军政高级官员借此机会以权谋私，贪污腐败，巧取豪夺，敲诈勒索，无恶不作。黎民百姓，怨声载道。当时的利比亚政局就像一堆干柴一样，一点燃。
利比亚各派政治力量都清楚地看到，伊德里斯王朝已处于之中，王朝政权随时都有被推翻的可能。据有关方面透露，当时至少有4个政治集团曾有发动政变夺取政权的图谋。第一个集团是包括前首相巴库什在内的知识分子和军官集团，这个集团谋划过接管政权的计划，但因内部分歧而迟迟没有采取行动。第二个集团是以军队参谋长阿卜杜勒·阿齐兹·沙勒希为首的王室力量，他们企图获得国王首肯体面接管政权，如此招不成再采取行动。由于国王迟迟未公开表态，他们贻误了行动时机。第三个集团是以军队一名上校为首的军官集团，据说该集团得到伊拉克支持，但由于种种原因，迟迟未能采取行动。第四个集团便是以卡扎菲为首的自由军官组织。这个组织的领导人和骨干成员名不见经传，但为发动政变做好了充分准备。
卡扎菲所依靠的是两个支部的骨干力量。他在萨卜哈学习时，与阿卜杜·萨拉姆·贾卢德一道创立了第一支部，此后又建立了一系列的支部，统称“第一支部”系统。在此基础上，卡扎菲号召支部的每个成员都应该创立自己的学习支部，称之为“第二支部”。按照卡扎菲亲自制定的条例，各个支部的成员彼此要互不相识;参加第二支部的成员需要卡扎菲亲自逐一审批。卡扎菲转到米苏腊塔学习后，又在这个城市建立了第一支部和第二支部。他还创立了自由军官组织的外围组织，即民间组织，在工人、农民、教师、商人和文职人员中吸收民间组织的成员。卡扎菲在班加西军事学院学习时，非常重视在军队中发展成员。他对发展对象逐个进行观察，搜集他们的材料，逐个审批。
卡扎菲为发动政变而进行的准备工作既精心又辛苦。他在谈到这段经历时说，为准备暴动，他们召开的会议越来越多，遇到的困难也就越来越多。他们必须在节假日开会，通常在深夜开会。他们必须把会议地点选在远离城市的地方，有时不得不奔赴数百公里远的地方开会，这些地方自然条件和气候条件往往都很恶劣。有的会议时间较长，他们就在野外露宿。为了解决活动经费，自由军官组织的成员都必须交出自己的全部工资。卡扎菲对发动政变的每个细节都做了精心安排。他把自由军官组织的骨干力量分配到全国各地，每个兵营里都配备两名军官，负责搜集与发动政变有关的各种情报，其中包括武器储备、军官名单及其上级领导等等。
1969年初，自由军官组织召开了一次重要会议。与会者一致认为，他们的组织已发展到相当成熟的程度，王室政权情报部门随时都可能侦破自由军官组织的计划，逮捕组织的领导成员。他们决定尽快采取行动，发动名为“耶路撒冷行动”的军事政变。会后，卡扎菲即向自由军官组织成员发出第一次警报，要求他们核查对士兵、交通工具、武器和弹药的控制情况。当收到一切准备就绪的信号后，他把发动政变的日期确定为1969年3月21日。
卡扎菲领导的自由军官组织举事前夕，情况发生了变化。他们获悉，埃及著名女歌唱家定于3月21日晚在班加西举办个人演唱音乐会。卡扎菲认为，这场音乐会将给他们的暴动带来诸多不便，第一，举办音乐会的音乐家是埃及女歌手乌姆·库尔舒姆。她是阿拉伯歌坛上最有影响的一位女歌手，在全体阿拉伯人看来，她是位音乐天才，是位传奇人物，颇受欢迎和尊重。在这一天晚上举事是一件极不得体的事，也是对乌姆·库尔舒姆极不尊重的事。第二，乌姆·库尔舒姆举办的这场音乐会是为巴勒斯坦法塔赫游击队举行的义演。支持巴勒斯坦事业是所有阿拉伯国家的责任，卡扎菲及其同事们对巴勒斯坦事业一直采取坚决支持立场，不愿做任何不利于巴勒斯坦事业的事。第三，卡扎菲领导的自由军官组织事先拟定了一份拘捕的王室政权高级人物名单，这份名单中的绝大多数人士将出席这场音乐会。按照惯例，这场音乐会可能要延续到次日凌晨，被拘捕人物的行踪不便掌握，这对拘捕他们造成许多困难。如在这种场合拘捕他们，也将造成不良影响。
卡扎菲再三斟酌，权衡利弊，决定推迟举事日期。卡扎菲把发动政变的日期改为3月24日，但他了解到，伊德里斯国王在这一天驾临班加西，王室和军队加强警卫工作，从而增加了发动政变的困难。卡扎菲决定第二次推迟发动政变的时间，把政变时间定于6月5日。
政变前夕，自由军官组织的一些成员突然被通知调防，卡扎菲怀疑他们的政变计划可能泄密。此外，这一年的6月5日正值第三次中东战争爆发3周年，卡扎菲担心官方可能举办纪念活动，给他们的活动带来不测因素。为防止意外，卡扎菲第三次推迟政变时间。
1969年7月.伊德里斯国王去土耳其和希腊度假消夏。8月，国王把利比亚上议院和下议院的领袖召到希腊首都雅典，交给他们一封信件，宣布退位。这一消息传到利比亚后，利比亚形势更加混乱，各种政治力量蠢蠢欲动。卡扎菲了解到，军队参谋长沙勒希兄弟领导的宫廷集团准备在9月4日之前采取行动。与此同时，卡扎菲被通知于9月11日去英国接受第二次为期6个月的培训。
卡扎菲感到，发动政变已经成为一件刻不容缓的事情。于是，他与贾卢德在的黎波里东南不远的塔尔胡纳召开了一次紧急会议，决定将政变时间确定为1969年9月1日凌晨2时30分。他们还制定了详细的行动计划，决定采用突然袭击的方式夺取政权。政变前，卡扎菲对王室的军力部署进行了分析。他认为，王室在班加西的兵力最强，因为国王卫队就驻扎在这里。这支卫队通常称为昔兰尼加卫队，对国王忠贞不贰，且装备精良，能否顺利解决这支卫队便成为整个政变计划成败的关键。为此，卡扎菲决定留在班加西，委派他的助手穆萨·艾哈迈德突袭昔兰尼加卫队，委派他的另一名助手穆斯塔法·卡鲁比占领贝卡军营和广播电台。他派贾卢德去的黎波里，主持在首都的行动。此外，他还派自由军官组织的其他成员分赴其他地区同时分头行动。
总的说来，这是一场不流血的政变，卡扎菲采取的迅雷不及掩耳的行动获得了极大成功。在整个政变过程中，仅在突袭昔兰尼加卫队时发生了小的冲突。穆萨·艾哈迈德率领的一队人马轻而易地解除了卫队岗哨的武装，占领了军营。双方在一阵对射中，1人被打死，15人受伤，卫队司令在家中被擒，成为俘虏。其他地区的政变行动基本上没有遇到抵抗。名单上的宫廷要员和军政高官基本上被拘捕。王储听到枪声立即从宫中逃出，藏到游泳池里，他于次日被捕后，立即表示效忠新政权。
1969年9月1日清晨6时，的黎波里广播电台开始播放军乐曲，表明政变已经取得完全成功。6时30分，卡扎菲在班加西广播电台发布政变成功后的第一号公报。自由军官组织事前未曾想到准备公报，卡扎菲得到政变成功的消息后，立即取来一张纸，仓促写了公报提纲，其他内容是他在电台广播时即席加上的。
卡扎菲在公报中说：“伟大的利比亚人民，为了履行你们的自由意志，实现你们崇高的愿望，诚地响应你们不断提出的变革要求和为之而奋斗的渴望，倾听你们对发动革命和起义的激励，你们的武装部队已采取行动，推翻了反动、落后和腐朽的制度。这个腐朽的制度令人作呕和恐惧。你们英雄的军队一举摧毁了这些偶像，从而结束了漫漫长夜，即从土耳其的统治到意大利的暴虐，然后是反动政权的时代，这是贪污腐败、裙带关系、背信卖国的时代。”卡扎菲宣布，一个新的利比亚诞生了，这是一个拥有主权的自由共和国，命名为阿拉伯利比亚共和国。
出于安全和稳定政局的考虑，在政变成功后一周左右，卡扎菲没有宣布自己的名字，也没有宣布自由军官组织中其他成员的名字。一周以后，利比亚公布了由12人组成的国家最高权力机构--革命指挥委员会的人员名单。此后，卡扎菲及其政变的神秘面纱才逐渐被揭开。这场政变被称为“九·一”革命。