Skindbuksen blev etableret i 1728 og var oprindelig skænkestue for Grand Café, og hed dengang Café nr. 4 opkaldt efter gadenummeret og senere “Droskekælderen”.
Skindbuksen var populær blandt droskekuske, der oprindeligt var iført skind-overtræksbukser. Caféen fik derfor i folkemunde, navnet ”Skindbuksen”, som blev det officielle navn i 1930.
I Lille Kongensgade ligger flere af Københavns ældste beværtninger, bl.a. Hviids vinstue og Parnas som er en del af det gamle ”Minefelt”, hvor verdenskendte kunstnere og bohemer havde deres daglige gang.
Restaurant Skindbuksen blev i 2018 købt af musikeren Remee.