1907년에 야마구치[山口]현에서 태어났다. 1925년에 후쿠오카 고등학교 문과 갑과(甲科)에 입학하여 1928년 3월에 졸업했다. 같은 해 4월에 교토제국대학 문학부 사학과에 입학하여 1931년에 고고학 전공으로 졸업하였고 곧바로 대학원에 진학하여 하마다 고사쿠의 지도를 받았다. 아리미쓰가 대학원에 진학한 해에는 고적조사연구회 ‘古蹟調査硏究會’가 설립되었는데, 하마다의 권유로 8월부터 조수로 경주연구소에 근무하게 되었다. 같은 해 9월부터는 조선총독부의 고적조사 사무촉탁을 겸직하면서 각종 유적조사 사업에 종사하게 된다.
아리미쓰가 조선 고고학에 관심을 가지게 된 배경은 연구실의 주임인 하마다 고사쿠가 동아고고학회의 핵심 관계자였기 때문에 중국과 한반도에서 실시된 각종 유적조사와 관련된 정보에 자주 노출되었기 때문이라고 한다. 그뿐만 아니라 연구실에는 일찍이 하마다를 보좌하면서 금관총을 비롯한 많은 유적의 현장조사와 정리작업에 참가했던 우메하라가 강사로 있었던 점도 영향을 미친 것으로 보인다.
1937년에는 조선총독부 학무국의 기수가 되었으며, 1941년부터는 조선총독부 박물관의 주임과, 경성제국대학 법문학부의 강사로 촉탁되었다. 해방 후 직위를 박탈당했으나 한국 주둔군의 문교부 고문으로 촉탁되어 국립박물관의 개관과 고적조사 사업에 협력하여 경주에서 호우총 고분 발굴조사를 지도한 것으로 알려진다. 호우총 발굴은 1946년에 이루어진 조사여서 흔히 한국 고고학에서 실시한 최초의 발굴조사로 알려지지만, 실제 조사를 주도한 것은 아리미쓰라는 사실은 그 후 한국 고고학의 정체성 확립과 관련하여 간과할 수 없는 일이다.
1949년에는 후쿠오카현 교육위원회의 사무국 촉탁이 되었고 이듬해 3월에는 교토대학 문학부의 강사가 되었다. 이후 미국 캘리포니아대학에서 강사로서 일본문학 등을 가르쳤으며 귀국하여 1952년 8월부터 교토대학 문학부의 조교수가 되었고, 1957년에 교수로 승진하였다.
그후 문화재전문위원으로 오래 활동하였으며 가시하라 고고학연구소 부소장과 소장을 역임하고, 1989년부터 고려미술관연구소장직을 맡았으나 2011년에 사망했다. 근년에는 고적조사연구회 주관으로 본인이 조사하였으나 보고서가 발간되지 않았던 유적의 보고서 발간작업을 실시하였다.
아리미쓰는 1940년대에 진파리 고구려 고분의 조사에도 참가하였는데, 이는 당시 고적조사 사업을 주도하였던 후지타 료사쿠[藤田亮策]가 낙랑과 고구려 유적의 조사 연구와 관련된 연구자들의 세대교체를 노린 배려였다고 한다.