První zmínky o obci, nebo přesněji o tvrzi - dnešním zámku ležícím uprostřed obce - se datují k roku 1267. Jejím majitelem Pluh z Rabštejna, který byl úředníkem Oldřicha z Hradce. Území mu bylo dáno jako léno v rámci probíhající kolonizace.
Až do 15. století byla tvrz (a s ní i celá vesnice) ve vlastnictví Pluhů ze Žďáru. Odtud název obce.
Roku 1802 vyhořel se zámkem sousedící panský dvůr a s ním většina vesnice.
Z erbu Pluhů vychází podoba obecního znaku a vlajky. Více se o tom rozepisuje August Sedláček v
Českomoravské heradlice na straně 72.
Zámek - více o zámku v Pluhově Žďáru.