退堂鼓的意思是古代封建官吏在退堂的时候打鼓，现在比喻跟人共同做事中途退缩。出自元代关汉卿《窦娥冤》第二折：“左右，打散堂鼓，将马来，回私宅去也”。退堂鼓是一种退缩的行为，反映出这个人的不自信。

升堂鼓、退堂鼓是两种点。由堂鼓和小锣分奏合成，堂鼓为令。升堂鼓用于府县官员坐衙之前，退堂鼓用于公毕之后。升堂鼓，以三击为令，旧有大字：“奉王命”。退堂鼓以四击为令，大字是：“谢主隆恩”。这些大字只是为鼓令找个依据，亦好区别升、退堂。