八卷本尚未杀青时，字典的编纂者就已经考虑到一般读者的需要，并确定了编写简编本的原则及具体实施计划，于1988年下半年着手编纂，由李格非教授担任主编。简编工作的原则是：简缩篇幅，保持特色，订正讹误，突出实用。根据这一原则，编者以正编本为蓝本，删去了没有典籍用例的字头和义项，***收字头约21000个左右；删去了字书、韵书的说解，以及大部分注疏材料和考释性文字，保留了有典籍用例的字头和义项，保留了主要的古文字形体及其解说，保留了三段注音（上古韵部、中古反切和现代音读）。压缩之后，全书篇幅约为500万字，缩减了约四分之三的内容。
简编本的压缩幅度虽然大，却很好地保持了原书的特色，其留存内容足以满足一般文史工作者在阅读研究古文献时解决字词障碍的需要。《汉语大字典》的最大特色是“古今兼收，源流并重”，注重梳理汉字形、音、义的发展线索。简编工作非常注意对这一特色的继承。在字头确立上，只保留有文献用例的字头。如“一”部一画，原本收有10个字头，简编本只保留了“二丁丄七”4个字头，因为只有这4个字头有文献用例，其他6个只存于《说文》《正字通》《广韵》《集韵》等古代的字书和韵书之中，并无文献用例，对于一般读者来说，没有保留的必要。
字形方面，保留了部分能反映形体演变的古文字字形及说解，以“一”字为例，原本“一”字头下收15个古文字字形，简编本只保留了6个。从这里可以看出两书收古文字字形的原则是不同的：原本持保存文献的态度，凡是有实物、可确考的字形一概收列；简编本则本着能反映字形发展轨迹的原则，选择最典型的字形。在字形说解上也压缩了不少篇幅，原本在引用《说文》之后，接引了段玉裁的注和徐灏的笺，最后是编者按语，简编本删去了段注及徐笺。
字音方面是简编本对原书继承最多的地方，完全保留了原书的三段注音。
义项方面的压缩也不太多，因为原书收列义项一般都是有文献依据的，而有文献依据正是简编本进行简编工作的一项重要原则。“一”字头下，原本列20个义项，简编本列19个义项，差别不大。
本着实用的原则，对附录也做了精简。原本***11个附录，简编本只保存了《历代部分字书收字情况简表》《简化字总表》《汉语拼音方案》三个，删去了不太实用的《上古字音表》《中古字音表》《汉语大字典主要引用书目表》等8个。
值得一提的是简编本的《部首检字表》，因为字头大量减少，部首检字表自然要全部重新编排。简编本的《部首目录》仍然为200个，然而每个部首右边所标明的页码不是该部首在《部首检字表》中的页码，而是该部首在正文中的页码，给读者利用《检字表》检字带来了困难。这不能不说是简编本的一个小小失误。
总的来说，简编本是对原本的一次内容上的重大改造，使这部历史上最大最全的字典卸下“最”的包袱，精简篇幅，突出实用，使一般读者够用、实用。
简编本于1996年出版，143个印张，16开，单独一册。