斎藤はもともと無口で黒い感じのイメージがあるが、実は少し優しい一面もあり、仕事では真面目に取り組んだ。 家では子供の遊び相手だったのだ。 また、明治になって、自分の妻「やそ」を失い、最初は悲しんだが、そのうち会津の大目付の娘、高木時尾と結婚した。