自审计机关筹备组成立，审计署的机构设置和人员配备工作就已经开始。1983年8月，国务院批准审计署设办公厅、财政金融审计局、工业交通审计局、商粮外贸审计局、农林水利审计局、基本建设审计局、行政国防文教审计局、人事教育局等8个内设机构。于明涛为审计署第一任审计长。 鉴于全国审计机关的人员定编数偏低，不能适应工作需要，1984年经国务院同意，审计署增设外资审计局和政策研究室。1985年8月，又设立综合局，同时将行政国防文教审计局同农林水利审计局合并为行政事业审计局。1985年3月21日，国家主席李先念根据第六届全国人大常委会第十次会议同日作出的决定，任命吕培俭为审计署审计长。 1986年4月，审计署撤销财政金融审计局和工业交通审计局，分设财政审计一局、财政审计二局、金融审计局、工业审计局、交通审计局，并增设法规局，内设司局达14个。为适应对中央级行政事业单位财务收支实行定期审计的需要，1987年3月，经国务院批准，审计署将原行政事业审计局分设为行政国防审计局、农林文教审计局。 1988年第七届全国人民代表大会第一次会议审议通过国务院机构改革方案。7月，国家机构编制委员会第二次会议批准《审计署职能配置、内设机构和人员编制方案》。审计署机关设15个职能司（厅），即办公厅、综合司、法规司、工业交通审计司、金融审计司、商贸审计司、农林文教审计司、行政国防审计司、基本建设审计司、外资运用审计司、财政审计一司、财政审计二司、审计体系指导司、人事教育司、行政司。此外，还设立机关党委和老干部局，监察部在审计署设立监察专员办公室。1990年8月，增设外事司，财政审计一司、二司合并为财政审计司。 1993年3月，根据第八届全国人民代表大会第一次会议审议通过的国务院机构改革方案，审计署进行了机构改革。12月，国务院批准《审计署职能配置、内设机构和人员编制方案》。根据审计署的职责，审计署机关共设立14个职能司（厅），即办公厅、综合司、法规司、财政审计司、金融审计司、行政事业审计司、工业交通审计司、商贸审计司、固定资产投资审计司、农业审计司、外资运用审计司、审计管理司、人事教育司、外事司。此外，还设有机关党委，纪检、监察派驻机构和老干部服务机构。1994年5月12日，根据第八届全国人大常委会第七次会议决定，郭振乾被任命为审计署审计长。 1998年3月18日，根据第九届全国人民代表大会第一次会议的决定，李金华被任命为审计署审计长。在1998年国务院机构改革中，根据6月12日国务院办公厅印发的《审计署职能配置、内设机构和人员编制规定》，审计署机关撤销原综合司、审计管理司，将工业交通审计司和商贸审计司合并为经贸审计司，成立农业与资源环境保护审计司，增设社会保障审计司。内设职能部门由14个减少为12个。2001年11月20日，中央机构编制委员会批复审计署在办公厅加挂经济责任审计司的牌子。 2008年3月17日，根据第十一届全国人民代表大会第一次会议的决定，刘家义被任命为审计署审计长。2008年7月10日，根据第十一届全国人民代表大会第一次会议批准的国务院机构改革方案，国务院批准《审计署主要职责内设机构和人员编制规定》，审计署设13个内设机构。与2001年11月后的机构相比较，经贸审计司改名为企业审计司，外事司改名为国际合作司，增设境外审计司。 在审计署筹建过程中，国务院也积极推动地方审计机关的建立。1983年3月国务院发出《关于地方各级审计机关设置和人员编制问题的通知》，5月6日国务院办公厅发出《关于地方各级审计机关负责人职务名称的通知》。1985年底，全国已建立起地方审计机关3007个。其中，省、自治区、直辖市（含计划单列市）级审计机关35个；地、市、州、盟（含直辖市的区）级审计机关356个；县、市、旗（含省辖市的区）级审计机关2616个。到1993年底，全国共建立县级以上审计机构3179个。截至2008年3月，全国共设置审计机关3172个，其中中央审计机关（审计署）1个，省级审计机关（含新疆生产建设兵团审计局）32个，市（地）级450个，县（市）级2689个。
