A ocupação da região começou ao longo da estrada Real de Santa Cruz, depois Suburbana (atual Av. Dom Hélder Câmara). Seus proprietários mais importantes foram Curvelo Cavalcanti e o Coronel Antonio Botafogo.

Em 1873, com a Estrada de Ferro Dom Pedro II já implantada, existia na região a parada “Gambá” ou estação “Gambá”, nome dado, segundo se conta, em função do Imperador Dom Pedro II ter ali visto vários gambás. Diz a versão popular que a esposa de Assis Carneiro – leiloeiro dono de chácara junto à área montanhosa da Serra dos Pretos Forros - pediu ao Diretor da Estrada de Ferro: “Por Piedade, Dr., mude o nome de nossa estaçãozinha”. O apelo deu certo, pois o diretor respondeu: “Perfeitamente minha senhora, ela se chamará Piedade”, daí se originando o nome da atual estação e do próprio bairro.

Da estrada Real de Santa Cruz partia a estrada do Inácio Dias, que, atravessando Piedade, cruzava o colo entre a Serra dos Pretos Forros e o morro do Inácio Dias, fazendo a ligação com Jacarepaguá. Mais tarde essa estrada seria aproveitada pela inacabada estrada da Covanca, na década de 1920.

Fato histórico marcante foi o assassinato do famoso escritor Euclides da Cunha, em 1909, na Estrada Real nº 214, pelo Capitão Dilermando, morador de Piedade.

Piedade foi o primeiro bairro do subúrbio carioca a ter energia elétrica, em 1905, juntamente com o bairro do Encantado. No decorrer dos anos progrediu, destacando-se a existência do River Futebol Clube (1914), da Fábrica de Refino de Açúcar (1927), do Várzea Country Clube (com reserva florestal) e da Universidade Gama Filho, cuja história começou em 1939, quando o ministro Luiz Gama Filho criou o Ginásio Piedade. Atualmente, a Universidade Gama Filho é uma importante instituição do ensino superior do estado, contando com o campus Gonzaga da Gama Filho e o colégio Gama Filho.

O bairro é predominantemente residencial, com comércio reduzido. Nas suas encostas situam-se as comunidades do Jardim Piedade (Caixa D’ Água), Morro do Dezoito, dos Marianos e Engenheiro Alfredo Gonçalves.