Впервые в русских источниках Ельня упоминается под 1150 г. Монголо-татары, вторгшиеся в 1239 г. в Смоленские земли, прошли и через Ельню, опустошив ее. В середине XV в. Ельня упоминается как дворцовое село Смоленского уезда. Находилось оно на спорной территории, где постоянно шли столкновения русской и литовской сторон. Так, в 1500 г. в одной из стычек русским удалось захватить в плен даже воеводу польско-литовских войск князя Острожского. В 1507 г. Ельня значилась в числе других волостей на переговорах с королем Сигизмундом, который просил ее возвращения у Москвы. Уступили, и надолго.
Лишь в 1667 г. по Андрусовскому перемирию Ельня вновь вошла в состав Российского государства. Город расположен на правом берегу р.Десна, притока Днепра, на железнодорожной линии Смоленск — Сухиничи. В 1776 г. Ельня превращена в уездный город Смоленского наместничества. В 1797 г. уезд был ликвидирован, но в 1802 г. восстановлен. К тому времени еще сохранилось в нем древнее укрепление (насыпь, не превышавшая по периметру 300 м и слркившая гульбищем). Это и есть древнее городище Ельня. Есть в Ельне несколько исторически значимых мест. Музыкальная школа расположена в доме ее владелицы М.И.Стуневой. Здесь когда-то бывал в гостях у хозяйки дома ее брат — композитор М.И.Глинка. В здании типографии районной газеты работал будущий известный поэт М.В.Исаковский. Свято чтут жители города и воинское кладбище, где похоронено 7800 воинов Советской армии, погибших в боях под Ельней.