声音是人类最早研究的物理现象之一，声学是经典物理学中历史最悠久而当前仍在前沿的唯一分支学科。从上古起直到19世纪，都是把声音理解为可听声的同义语。中国先秦时就说：“情发于声，声成文谓之音”，“音和乃成乐”。声、音、乐三者不同，但都指可以听到的现象。同时又说“凡响曰声”，声引起的感觉（声觉）是响，但也称为声，与现代对声的定义相同。西方也是如此，acoustics的词源是希腊文akoustikos，意思是“听觉”。世界上最早的声学研究工作在音乐方面。
《吕氏春秋》记载，黄帝令伶伦取竹作律，增损长短成十二律；伏羲作琴，三分损益成十三音。三分损益法就是把管(笛、箫)加长三分之一或减短三分之一，听起来都很和谐，这是最早的声学定律。传说希腊时代，毕达哥拉斯也提出了相似的自然律(但是用弦作基础)。中国1957年河南信阳出土的“帠佀”蟠螭文编钟是为纪念晋国于公元前525年与楚作战而铸的。其音阶完全符合自然律，音色清纯，可以用来演奏现代音乐，这是中国古代声学成就的证明。在以后的2000多年中，对乐律的研究有不少进展。
明朝朱载堉于1584年提出的平均律，与当代西方乐器制造中使用的乐律完全相同，但比西方早提出300年。古代除了对声传播方式的认识外，对声本质的认识与今天的完全相同。在东西方，都认为声音是由物体运动产生的，在空气中以某种方式传到人耳，引起人的听觉。这种认识现在看起来很简单，但是从古代人们的知识水平来看，却很了不起。例如，很长时期内古代人们对日常遇到的光和热就没有正确的认识，一直到牛顿的时代对光还有粒子说和波动说的争执，而粒子说取得优势。至于热，“热质”说的影响时间则更长，直到19世纪后期，F.恩格斯还对它进行过批判。
对声学的系统研究是从17世纪初伽利略研究单摆周期和物体振动开始的。从那时起直到19世纪，几乎所有杰出的物理学家和数学家都对研究物体振动和声的产生原理作过贡献。声的传播问题则更早就受到注意，几乎2000年前中国和西方都有人把声与水面波纹相类比。1635年就有人用远地枪声测声速，假设闪光传播不需时间。以后方法不断改进，到1738年巴黎科学院用炮声测量，测得结果折合到0°C时，声速为332m/s，与最准确的数值331.45m/s只差1.5‰，这在当时“声学仪器”只有停表和人耳和情况下的确是了不起的成绩。牛顿在1687年出版的《自然哲学的数学原理》中根据推理：振动物体要推动邻近媒质，后者又推动它的邻近媒质，等等，经过复杂而难懂的推导求得声速应等于大气压与密度之比的二次方根。L.欧拉在1759年根据这个概念提出更清楚的分析方法，求得牛顿的结果。但是由此算出的声速只有288m/s，与实验值相差很大。J.L.R.达朗伯于1747年首次导出弦的波动方程，并预言可用于声波。直到1816年，P.S.M.拉普拉斯指出只有在声波传播中空气温度不变时牛顿的推导才正确，而实际上在声波传播中空气密度变化很快，不可能是等温过程，而应该是绝热过程，因此，声速的二次方应是大气压乘以比热容比（定压比热容与定容比热容的比）γ 与密度之比。据此算出声速的理论值与实验值就完全一致了。
直到19世纪末，接收声波的仪器只有人耳。人耳能听到的最低声强大约是10-6W/m2(声压20μPa)，在1000Hz时，相应的空气质点振动位移大约是10pm(10-11m)，只有空气分子直径的十分之一，可见人耳对声的接收确实惊人。19世纪中就有不少人耳解剖的工作和对人耳功能的探讨，但至今还未能形成完整的听觉理论。对声刺激通过听觉器官、神经系统到达大脑皮层的过程有所了解，但这过程以后大脑皮层如何进行分析、处理、判断还有待进一步研究。音调与频率的关系明确后，对人耳听觉的频率范围和灵敏度也都有不少的研究。发现著名的电路定律的G.S.欧姆于1843年提出人耳可把复杂的声音分解为谐波分量，并按分音大小判断音品的理论。在欧姆声学理论的启发下，开展了听觉的声学研究（以后称为生理声学和心理声学），并取得重要的成果，其中最有名的是H. von亥姆霍兹的《音的感知》。在关闭空间（如房间、教室、礼堂、剧院等）里面听语言、音乐，效果有的很好，有的很不好，这引起今天所谓建筑声学或室内音质的研究。但直到1900年W.C.赛宾得到他的混响公式，才使建筑声学成为真正的科学。
19世纪及以前两三百年的大量声学研究成果的最后总结者是瑞利，他在1877年出版的两卷《声学原理》中集经典声学的大成，开现代声学的先河。至今，特别是在理论分析工作中，还常引用这两卷巨著。他开始讨论的电话理论，已发展为电声学。在20世纪，由于电子学的发展，使用电声换能器和电子仪器设备，可以产生接收和利用任何频率、任何波形、几乎任何强度的声波，已使声学研究的范围远非昔日可比。现代声学中最初发展的分支就是建筑声学和电声学以及相应的电声测量。以后，随着频率范围的扩展，又发展了超声学和次声学；由于手段的改善，进一步研究听觉，发展了生理声学和心理声学；由于对语言和通信广播的研究，发展了语言声学。在第二次世界大战中，开始把超声广泛地用到水下，使水声学得到很大的发展。20世纪初以来，特别是20世纪50年代以来，全世界由于工业交通事业的巨大发展出现了噪声环境污染问题，而促进了噪声、噪声控制、机械振动和冲击研究的发展高速大功率机械应用日益广泛。非线性声学受到普遍重视。此外还有音乐声学、生物声学。这样，逐渐形成了完整的现代声学体系。