Николай Кармалин родился в 1824 году в семье дворян Рязанской губернии.
Образование получил в 1-м Московском кадетском корпусе. После учебы ему было присвоено звание — прапорщик Московской лейб-гвардии полка.
В 1844 году был произведен в подпоручики. Чуть позже поступил в Николаевскую академию Генерального штаба и вскоре был пожалован чином поручика. В 1849 году окончил курс академии и за отличные успехи в науках получил чин штабс-капитана. После чего был командирован в главную квартиру действующей армии в Венгрии. Там, поступив в отряд генерал-адъютанта Граббе, принимал участие при осаде крепости Коморна.
В 1850 году был переведен в Гвардейский Генеральный штаб, а через год был назначен старшим адъютантом штаба Гвардейского пехотного корпуса по части Генерального штаба. В 1852 году был произведен в капитаны и переведен в штаб Главнокомандующего Гвардейским и Гренадерским корпусами наследника цесаревича Александра Николаевича.
Помимо основных должностных обязанностей, Кармалин дополнительно читал лекции по тактике для старших офицеров корпусов и состоял в должности адъюнкт-профессора Николаевской академии Генерального штаба.
Военная карьера Николая Кармалина развивалась достаточно стремительно:
1854 год — назначение дивизионным квартирмейстером 1-й легкой гвардейской кавалерийской дивизии. В то время Кармалин находился в составе войск, охранявших побережье Финского залива в Санкт-Петербургской губернии от возможной высадки англо-французского десанта.
1855 год — произведен в полковники, через год назначен исправляющим должность обер-квартирмейстера Гвардейского пехотного корпуса.
1857 год — вступление в должность начальника штаба 2-й гвардейской пехотной дивизии.
1859 год — перевод в Генеральный штаб с назначением исправляющим должность начальника штаба 3-го армейского корпуса.
1861 год — произведен в генерал-майоры.
В 1862 году, Николая Кармалина переводят на Кавказ в распоряжение командовавшего Кавказской армией. Там он временно
исправлял должность генерал-квартирмейстера действующей армии. Затем Николай Николаевич командовал войсками, расположенными на левом берегу реки Алазань, исправлял должность начальника Верхнего Дагестана. Вскоре