Карлтон родился в ирландском городе Страбейне в семье землевладельца 3 сентября 1724 года. Детство и юность его малопримечательны и похожи на обычное детство и юность любого мальчика из обеспеченной ирландской семьи.

21 мая 1742 года Карлтон добровольно поступил в британскую армию, и за десять лет сделал неплохую военную карьеру. Так, в 1752 году Карлтон стал наставником Чарльза Леннокса, герцога Ричмонда, по рекомендации Джеймса Вульфа, с которым он, к слову, участвовал в осаде Квебека. После ранения в 1762 году Карлтон ушел на заслуженный отдых с передовой, занимая в Квебеке, ставшем британской провинцией, важные должности. В 1766 году он был назначен управляющим и лейтенант-губернатором провинции, однако титульным губернатором Квебека по-прежнему оставался Джеймс Мюррей, которого он сменил лишь два года спустя.

В 1772 году Карлтон женился на Мерайе Говард в Лондоне, и чета вернулась в Квебек, чтобы осесть здесь.

Год 1782 принес Карлтону новую должность – его назначили главнокомандующим британских сил в Северной Америке; таким образом, он сменил на этом посту Генри Клинтона. Но на тот момент понятно было, что война за независимость была выигран США, поэтому основной задачей Карлтона стал поиск путей примирения с американскими руководителями, а также эвакуация 30 тысяч солдат и 27 тысяч беженцев, преимущественно в Канаду и Новую Шотландию.

В 1783-86 годах Карлтон пребывал в Англии, пока не получил назначения на пост губернатора всех американских колоний, принадлежащих Британии. В том же 1786 году специально для Карлтона был создан титул графа Дорчестера, и именно этим именем он подписывался во всех официальных документах. В Англии, окончательно уйдя на покой, Дорчестер продолжил генеральскую карьеру, хотя преимущественно жил в сельской местности попеременно в нескольких резиденциях. Умер он в достаточно почтенном возрасте, в 84 года, естественным образом.