東北の小藩で前藩主の用人をつとめた三屋清左衛門（北大路欣也）は家督を息子にゆずり、離れに起臥する隠居の身。家庭を顧みる余裕もないほど仕事に明け暮れた日々が一変、「残日録」と自ら名付けた日記に日々のことを綴る、悠々自適の生活を送っている。しかし自ら望んでの隠居であったはずが、世間から隔絶されてしまったような寂莫感が襲う…。そんな寂寥の日々も束の間、清左衛門のもとには、親友の町奉行・佐伯熊太（伊東四朗）らから、種々の事件が舞い込んでくるように。隠居の身の気軽さから、事件解決に奔走する清左衛門であったが、段々と藩を二分する政争に巻き込まれてゆく。

隠居生活にも慣れ、日々の暮らしを楽しみはじめた清左衛門のもとに、ある日、幼き頃からの友・大塚平八が訪ねてくる。大汗をかきながら家老への仲介を願う平八の頼みを快諾するが、そこには平八の一世一代の大勝負がかかっていた。さらにもう一人、今は〝零落〟してしまった旧友、金井奥之助と偶然に再会する。自らの不遇を嘆くばかりの奥之助から磯釣りに誘われ、出掛けていくのだが、そこで予期せぬ出来事が起こり… 。清左衛門と町奉行の佐伯が足しげく通う小料理屋の「涌井」。女手一つで店を切り盛りする女将のみさのところへ、かつての情夫が金をせびりに現れた。その窮地を救った清左衛門に、これまでの人生を問わず語りに話すみさ。次第にふたりの心の距離は縮まっていくのだった。そんな中、江戸で現藩主の弟・石見守が急死したとの報が届く。きな臭さを感じ取る清左衛門のもとを、程なく用人の船越喜四郎が訪れた。藩政を牛耳る朝田派の所業を糾弾する手助けを頼まれた清左衛門は、船越とともに筆頭家老・朝田弓之助と対峙して…。老いと孤独という現実に向き合いながら、日々を真摯に生きようとする清左衛門。「日残リテ昏ルルニ未ダ遠シ―――」清左衛門の日常は続いていく。

隠居生活の慰みにと、川釣りを始めた清左衛門。釣友であり、かつて中根道場の同朋だった安富源太夫の言葉に動かされ、親友の町奉行・佐伯熊太や小沼惣兵衛らかつての道場仲間を集めて三十年振りの旧交を温める。若かりし頃の話に花が咲き、楽しい一夜を過ごした清左衛門だったが―またある時、清左衛門が江戸詰めの頃に訳あって世話を焼いたことがある松江が屋敷を訪ねてくる。国許での縁談が決まったという報告に喜ぶ清左衛門だが、嫁ぎ先の家の良からぬ噂話を知って、事の真偽を確かめるべく動き出す。さらに清左衛門は、道場主の中根弥三郎から、とある果たし合いの立会人を頼まれることに。老いを感じつつも、旧友たちとのつきあいなど日々を忙しく過ごす清左衛門。夜ごと『残日録』に綴る胸の内は‥。「日残リテ昏ルルニ未ダ遠シ---」藩を揺るがす大事件がやがて起きようとしている頃、清左衛門の周りを穏やかな時間が静かに流れていた。

隠居の日々を、趣味の川釣りと道場通いに費やす清左衛門（北大路欣也）。ある日、釣りから帰ると、嫁に出した娘の奈津（美村里江）が子連れで訪れていた。久しぶりに孫の顔を見て喜ぶ清左衛門だったが、奈津の様子に些か気掛かりを感じるのだった。そうした折、親友の町奉行・佐伯熊太（伊東四朗）から、先代藩主の側室だったおうめ（我妻三輪子）が、父親知れずの子を身ごもったと聞く。かつて藩の奥を仕切っていた滝野（三田佳子）がそのことに立腹しているため、怒りを諌めてほしいと頼まれるが、事情を調べていくうち、かねてより清左衛門を疎ましく思っている朝田家老（金田明夫）が関わっていると分かり…。また清左衛門は、奈津が夫のことで憂慮を抱えていると知る。親心からその真偽を確かめようと動き出したが、そこにもまた朝田一派の影がちらついて…。不穏な空気が漂う中、我が子の幼き頃を想い、己を顧みる清左衛門。欅の老木に自らを重ねて思うこととは…。「日残リテ昏ルルニ未ダ遠シ─」

桜の花がほころび始めた春の頃、清左衛門は生まれたばかりの孫とのふれあいを何よりの楽しみとして、穏やかな日々を過ごしていた。ある日、清左衛門を訪ねてきた江戸詰めの近習頭取から、十年前に御納戸頭・半田守右衛門が起こした収賄事件が、実は濡れ衣だった可能性があると聞かされる。さらに、頼まれて半田の行状を調べていくうちに、思いもよらぬ事実を知ることになる。同じ頃、かつての道場仲間で、過去の失態により不遇のまま隠居となった清成権兵衛と再会する。清成の誘いで道場の同輩・植田与十郎も交えて酒を酌み交わし、剣の手合わせをして旧交を温めるがその矢先、藩内の派閥争いを根とする事件が起こり…。家族と共に生きる悦び、旧友たちとの思い出、そして彼らが抱える複雑な思いなど、清左衛門の心の中を様々なものが去来していく。「日残リテ昏ルルニ未ダ遠シ―」

孫の成長に喜びを感じながら、平穏な日々を送っていた清左衛門。ある日、墓地へ向かう葬列に一人の百姓が割って入り暴挙を働くのを目にする。その百姓は、20年前、清左衛門の前で殿へ何事かを直訴しようとしたものの事ならず、武士をやめた赤松東兵衛の姿だった。さらにその葬列の亡骸が、大関助太夫の養子となっていた赤松の実子であり、数日前に城内で起きた刃傷沙汰で斬殺されたことを知る。事件が不自然な形で片付けられようとしていることを不審に思った清左衛門が、20年前の一件との関わりを調べようと動き出した矢先、新たな悲劇が起きて…。不条理な死の連鎖に憤怒する清左衛門が、盟友・佐伯熊太や里江の幼なじみでもある青年剣士・鶴谷亥八郎の助力を得ながら悪の根源を暴くために奔走。やがて明らかになる闇の正体とは―。「日残リテ昏ルルニ未ダ遠シ―」