リチャード・サットン

リチャード・スチュアート・サットン（、1957年または1958年生）は、カナダの計算機科学者。アルバータ大学計算機科学科教授、アルバータ機械知能研究所 (Amii) のフェロー兼チーフ・サイエンティフィック・アドバイザー、Keen Technologiesのリサーチサイエンティスト。

現代の強化学習の創始者の一人とされ、特に時間差分学習やの開発に大きく貢献した。共著の教科書『Reinforcement Learning: An Introduction』（との共著、1998年初版／2018年第2版。邦訳『強化学習』森北出版）は同分野の標準的教科書として広く読まれている。これらの業績により、2024年度のチューリング賞を指導教員でもあったバルトと共同受賞した。

生涯生い立ちと教育オハイオ州トレドに生まれ、イリノイ州のオーク・ブルック（シカゴ近郊）で育つ。1978年にスタンフォード大学で心理学の学士号 (B.A.) を取得した後、マサチューセッツ大学アマースト校に進み、の指導のもと、1980年に修士号 (M.S.)、1984年に博士号 (Ph.D.) を計算機科学で取得した。

博士論文 Temporal Credit Assignment in Reinforcement Learning では、後に強化学習の中核概念となるアクター・クリティック・アーキテクチャと時間的信用割当の枠組みを導入した。研究の方向性は、教師あり学習では知的行動を説明できず、試行錯誤による学習が必要であると主張したの1970年代の論考から強い影響を受けたという。

経歴 1984年：マサチューセッツ大学アマースト校・博士研究員 1985年 - 1994年：GTE研究所（マサチューセッツ州ウォルサム）・プリンシパル・メンバー・オブ・テクニカルスタッフ 1995年 - 1998年：マサチューセッツ大学アマースト校・上級研究員 1998年 - 2002年：シャノン・ラボラトリー（ニュージャージー州）・プリンシパル・テクニカルスタッフ・メンバー 2003年 - 現在：アルバータ大学計算機科学科教授。同大学の Reinforcement Learning and Artificial Intelligence Laboratory (RLAI) の設立に携わる。 2017年 - 2023年：ディープマインド・著名研究員（Distinguished Research Scientist）。同社のエドモントン研究拠点 DeepMind Alberta の立ち上げに参加。 2024年 - 現在：Keen Technologies リサーチサイエンティスト。

2023年には、ゲーム開発者のジョン・カーマックと汎用人工知能 (AGI) 開発に向けて提携することを発表した。

業績サットンとバルトは、マルコフ決定過程 (MDP) を数学的基盤として、確率的な環境下でエージェントが報酬を最大化するように行動を学習する枠組みを構築した。従来のMDP理論ではエージェントが環境のモデルを完全に知っていることが前提であったが、サットンらの強化学習は環境や報酬が未知の場合にも適用できる点で画期的であった。

主な学術的貢献として以下が挙げられる。時間差分学習 (TD学習) - 1988年の論文 Learning to predict by the methods of temporal differences で導入された、モデルフリーで価値関数を逐次的に学習するアルゴリズム群。 Dynaアーキテクチャ - 学習、計画、行動を統合した枠組み（1991年）。オプション枠組み - 強化学習における時間的抽象化のための数理的枠組み（1999年、、との共著）。関数近似を伴う - 現代的な方策勾配定理を定式化した（2000年）。

2019年に発表したエッセイ「 (The Bitter Lesson)」では、「人間が考える考え方を組み込むアプローチは長期的には機能せず、計算資源を活用する汎用的な手法こそが最終的に勝つ」と主張し、人工知能研究のあり方について大きな議論を呼んだ。

近年は大規模言語モデル (LLM) に対して批判的な立場をとっており、LLMは独立した訓練段階を必要とする模倣学習であって、環境との継続的相互作用から学ぶ「経験の時代 (Era of Experience)」のアーキテクチャが必要だと論じている。

主な著書・論文著書

邦訳：『強化学習』三上貞芳・皆川雅章共訳、森北出版、2000年12月、ISBN 978-4-627-82661-8

邦訳：『強化学習（第2版）』奥村エルネスト純・鈴木雅大・松尾豊・三上貞芳・山川宏監訳、森北出版、2022年11月、ISBN 978-4-627-82662-5

主要論文

受賞・栄誉 2001年：AAAIフェロー 2003年：国際ニューラルネットワーク学会（INNS）会長賞 2013年：マサチューセッツ大学アマースト校 Outstanding Achievement in Research 賞 2016年：カナダ王立協会フェロー (FRSC) 2021年：王立協会フェロー (FRS) 2021年：IJCAI Award for Research Excellence 2024年：チューリング賞（と共同受賞、「強化学習の概念的・アルゴリズム的基盤の開発」に対して） 2026年：C&C賞

私生活 2015年にカナダの市民権を取得し、2017年にはアメリカ合衆国の市民権を放棄したことが米連邦官報により報じられた。

脚注

リチャード・サットン

Źródło i licencja