Зимой шерсть светло-серая, а летом приобретает красноватый оттенок, сверху несколько сильнее, чем снизу. Своим названием данный вид обязан хвосту, верхняя сторона которого коричневая, а нижняя — белая. Убегая, этот олень поднимает хвост, сигнализуя сородичам об опасности. Рога носят только самцы. После брачного сезона они сбрасывают рога, а на их месте начинают образовываться новые. Оба рога имеют форму полумесяца, выпуклого вперёд и в стороны. На каждом из рогов от шести до семи отростков.

Величина белохвостого оленя варьирует в зависимости от подвида. У животных, обитающих на севере США, высота в холке составляет 1,0-1,1 м, а вес самца составляет от 100 до 150 кг. Самки незначительно меньше и легче. По мере продвижения на юг, подвиды становятся меньше. На островах Флорида-Кис живут белохвостые олени со средней величиной в холке 60 см и весом 35 кг, что является следствием островной карликовости. Продолжительность жизни составляет приблизительно десять лет.