町名の由来は、町のシンボルである瞰望岩（がんぼういわ）を指すアイヌ語「インガルシ（見晴らしの良いところ）」といいます。
この岩は市街地にそびえており、アイヌ民族の古戦場でもあり、祝祭が行われた厳粛な場所でもありました。(北海道の名勝「ピリカノカ」の1か所に指定されています)
現在は、広大な「太陽の丘えんがる公園」となり、キャンプ場・遊園地・球場などがあり市民の憩いの場となっています。

明治24年、北見道路が開通しましたが、この道路は網走分監の囚人による、最も過酷といわれる労役のもとに開通しました。特に遠軽～北見峠間は最悪で、今も瀬戸瀬に犠牲者の霊を慰める碑が立っています。

遠軽の歴史は、明治29年1月、仙台の日本基督教会、東北学院の創立者の一人である押川方義、東北学院神学部出身の信太寿之などによって「北海道同志教育会」が創立されました。
キリスト教主義の私立大学を設立するという希望に燃えるキリスト教徒の理想郷建設に端を発していることから、一般的な北海道植民事業とは異にしています。
当時、遠軽は学田地と呼ばれ、湧別原野第４小作地として解放されたところで、明治29年に押川方義ほか４名への貸付予定地として許可されました。
明治30年5月7日、最初の移民30戸、121人が学田に入植したのが遠軽歴史のはじまった日です。