Aussi appelée Ered Mithrin en sindarin, les Montagnes Grises formaient une chaîne de montagnes située à l'extrême nord du Rhovanion, séparant le Désert du Nord de la Forêt Noire, au sud. Elle rejoignait les Monts Brumeux à l'est, au Mont Gundabad, et était délimité à l'ouest par la Brande desséchée. Deux fleuves importants prenaient leurs sources dans ces montagnes : L'Anduin qui se jetait dans la Baie de Belfalas en Ethir Anduin, et le Greylin qui allait se jeter dans le Lac d'Esgaroth. Elles avaient souvent été peuplées de Dragons au sang glacé, mais en l'an 2000 du troisieme age, le prince Fram tua Scatha, et assura la tranquilité de la région pendant près de six siècles. C'est à cette époque qu'on dénombre les premiers Nains dans la région.
En effet, l'avidité des Nains de Khazad-dûm et leur soif de Mithril avaient libéré le Balrog de la Moria. Celui-ci se fit rapidement maître de la Moria, tuant Durin VI et poussant Thráin Ier et son peuple à aller fonder le Royaume sous la Montagne, en Erebor. Plus tard, en 2210 3A, son fils Thorin Ier et la majeure partie des débris du Peuple de Durin s'en alla peupler l'Ered Mithrin, où l'or et les minerais étaient abondants et peu exploités. Là ils devinrent riches, et prospérèrent durant presque quatre siècles.
Au-delà des Montagnes Grises s'étendaient des étendues glacés et hostiles peuplées de Dragons, et en 2589 3A, après une longue absence, ils revinrent plus grands et plus forts, ravageant les montagnes et les terres alentours. Ainsi commencèrent les guerres entre les Dragons et les Nains, et la même année Dáin Ier et son fils cadet Frór furent tués. Après ces incidents, les Nains survivant décidèrent d'abandonner l'Ered Mithrin, et furent dispersés en Terre du Milieu : Grór, dernier des trois fils de Dáin Ier et frère de Frór, s'en fut avec ses compagnons aux Monts du Fer, alors que son frère aîné Thrór s'en fut en Erebor.