イリヤ・サツケバー(Ilya Sutskever, 1986年12月8日 - ) は、機械学習を専門とするである。

サツケバーは、深層学習の分野において、いくつかの主要な貢献を果たしてきた。特に、およびジェフリー・ヒントンと共に、畳み込みニューラルネットワークであるAlexNetの共同発明者である。

なお、日本語ではイリア・スツケヴァーとも表記される。

解説 サツケバーは、OpenAIの共同設立者であり、以前は同社のチーフサイエンティストを務めていた。2023年に起きたサム・アルトマン解任騒動において、サツケバーはCEOのサム・アルトマンを解任したOpenAIの取締役会のメンバーの一人であった。アルトマンは1週間後に復帰し、サツケバーは取締役会を辞任した。2024年6月、サツケバーは、およびダニエル・レヴィと共に、Safe Superintelligence社を共同設立した。

幼少期と教育 サツケバーは、当時ソビエト連邦の一部であったロシアのニジニ・ノヴゴロド(当時はゴーリキーと呼ばれていた)で生まれ、5歳の時に家族と共にイスラエルに移住し、15歳までそこで暮らした。

サツケバーは、2000年から2002年までイスラエル・オープン大学に通った。その後、16歳のときに家族と共にカナダに移住し、オンタリオ州のトロント大学に通った。

サツケバーは、2005年にトロント大学で数学の理学士号を、2007年にコンピュータサイエンスの理学修士号を、そして2013年にコンピュータサイエンスの博士号を取得した。彼の博士課程の指導教官は、ジェフリー・ヒントン(2024年にノーベル物理学賞受賞)であった。

2012年、サツケバーは、ヒントンおよびアレックス・クリジェフスキーと共同でAlexNetを構築した。AlexNetの計算需要を満たすために、彼はオンラインで多くの GPUを購入した。

経歴と研究 2012年、サツケバーはスタンフォード大学のアンドリュー・ンのもとで約2か月間ポスドクとして過ごした。その後、トロント大学に戻り、ヒントンの研究グループからスピンオフしたヒントンの新しい研究会社DNNResearchに参加した。2013年、GoogleはDNNResearchを買収し、サツケバーをの研究員として雇用した。

Google Brainでは、サツケバーはおよびと協力してsequence-to-sequence学習アルゴリズムを作成し、TensorFlowの開発にも携わった。彼はまた、AlphaGoの論文の多くの共著者の一人でもある。

2015年末、サツケバーはGoogleを去り、新たに設立された組織OpenAIの共同設立者兼チーフサイエンティストとなった。

サツケバーは、ChatGPTの開発において重要な役割を果たしたと考えられている。2023年、彼はOpenAIの新しい「Superalignment」プロジェクトを共同で主導すると発表した。このプロジェクトは、4年以内に超知能のAIアライメント問題を解決しようとしている。サツケバーは、超知能がまだ遠い先のことのように思えても、この10年で実現する可能性があると述べている。

サツケバーは以前、OpenAIを統括する非営利団体の6人の取締役の一人であった。は、サム・アルトマンの解任は、同社がAIの安全性にどの程度コミットすべきかについての対立が原因の一部であると推測した。取締役会直後の全社集会で、サツケバーはアルトマンの解任は「取締役会が義務を果たしたこと」であると述べたが、翌週にはアルトマンの解任に関与したことを後悔していると表明した。アルトマンの解任とグレッグ・ブロックマンの辞任により、3人の上級研究者がOpenAIを辞任した。その後、サツケバーはOpenAIの取締役会を辞任した。その後、彼はOpenAIのオフィスから姿を消した。一部の情報筋は、彼がチームをリモートで率いていると示唆したが、他の情報筋は、彼がもはやチームの仕事にアクセスできず、チームを率いることはできないと述べた。

2024年5月、サツケバーは、彼にとって「非常に個人的な意味を持つ」新しいプロジェクトに集中するために、OpenAIからの離脱を発表した。彼の決断は、リーダーシップの危機と、AI開発の方向性と調整プロトコルに関する内部論争によって特徴付けられた、OpenAIの激動の時期に続いた。超調整プロジェクトのもう一人のリーダーであるは、数時間後にOpenAIのリーダーシップにおける安全性と信頼の低下を理由に離脱を発表した。

2024年6月、サツケバーは、ダニエル・グロスとダニエル・レヴィと共に設立した新しい会社、Safe Superintelligence Inc.を発表した。同社はパロアルトとテルアビブにオフィスを構えている。収益を生み出す製品をリリースするOpenAIとは対照的に、サツケバーは、新会社に関して「最初の製品は安全な超知能であり、それまでは他のことは何もしない」と述べた。

2024年9月、同社はAndreessen Horowitz、Sequoia Capital、、などのベンチャーキャピタルから10億ドルを調達したことを発表した。

受賞・講演等 2015年、MITテクノロジーレビューの35 Innovators Under 35に選出。 2018年、Nvidia Ntech 2018およびAI Frontiers Conference 2018での基調講演。 2022年、英国王立協会フェロー(FRS)に選出。 2026年、米国科学アカデミー賞産業応用部門

主な思想

深層学習への根本的な信頼 サツケバーの研究の出発点には、深層学習(ディープラーニング)の能力に対する強固な確信がある。ジェフリー・ヒントンのもとで形成されたこの信念は、「脳もニューロンからなるニューラルネットワークである以上、十分な規模と十分なデータがあれば、ニューラルネットワークは人間と同等の認知能力を達成できる」という論理に基づいている。また彼は、「深層学習に対して賭けを外してはならない(one doesn't bet against deep learning)」という原則を繰り返し語っており、障壁に直面するたびに研究者がほぼ例外なく突破口を見出してきたことをその根拠としている。

言語モデルによる「世界モデル」の学習 サツケバーは、大規模言語モデルの学習を単なる統計的パターン照合としてではなく、テキストを生み出した世界のプロセスそのものを内部表現として獲得する「世界モデル学習」として捉えている。この観点は、次の単語予測という単純な目標が、なぜ驚異的な汎化能力と推論能力を生み出すのかを理論的に説明しようとするものであり、スケーリング則(スケーリング・ロー)を擁護する根拠の一つともなっている。

スケーリングの時代から「研究の時代」へ スケーリング(計算資源・モデル規模・データ量の拡大)こそが性能向上の主要な推進力であるというパラダイムに対し、サツケバーは2024年末以降、明確な見直しを示している。彼はNeurIPS 2024の基調講演において、既知の形態での事前学習(プレトレーニング)は「データが化石燃料のように枯渇しつつある」ため終焉を迎えると指摘した。またDwarkeshポッドキャスト(2025年)では、スケーリングへの過剰依存が研究の多様性を損なったと述べ、AIは再び「研究の時代(age of research)」に入ったと論じている。

AGIの到来と超知性のリスク サツケバーは、AGI(汎用人工知能)の実現を「確実なこと」と見なしており、超知性がもたらしうる可能性として「すべての問題の解決」と「無限に安定した独裁政権の実現」という両極端を並置している。この認識は、彼がOpenAIのSuperalignmentプロジェクトを共同主導した動機とも、後にSafe Superintelligence Inc.(SSI)を設立した動機とも直結している。

AI安全性とアライメントへの姿勢 サツケバーは、AI安全性を自動車・航空機・医薬品よりも社会にとって大きなリスクとして捉えており、規制の必要性を率直に認めている。また、AGI開発における「軍拡競争」ダイナミクスへの深刻な懸念も表明しており、複数の組織が先を競うことで、安全性の確認に割ける時間が削られると警告している。アライメントの手法としては、超知性が人間に対して親が子に抱くような感情を持てるよう、開発段階での「刷り込み(imprinting)」の重要性を強調している。

AIの意識と知性の多面性 サツケバーは2022年、「今日の大規模ニューラルネットワークはわずかながら意識を持つかもしれない(slightly conscious)」という発言をXに投稿し、広く注目を集めた。また彼は、「知性だけをあらゆる人間的資質の中で最高のものと見なすと痛い目に遭う」と述べており、純粋な知的能力の最大化ではなく、価値観・感情・関係性を含む広義の知性観に基づいてAI開発を進めることの重要性を示唆している。

発言 前節のサツケバーの思想の理解を助けるため、彼自身が説明・言及した言葉を引用する。

深層学習とスケーリング 「大規模なニューラルネットワークをインターネット上の膨大なテキストで学習させるとき、私たちが行っているのは、実はひとつの「世界モデル」を学習させることなのです。表面的には、テキスト中の統計的な相関関係を学んでいるだけに見えるかもしれません。ですが、その統計的な相関を本当にうまく圧縮しようとすると、ニューラルネットワークはテキストを生み出した「プロセス」そのものを、何らかの形で内部に表現するようになります」 (原文:When we train a large neural network to accurately predict the next word in lots of different texts from the Internet, what we are doing is that we are learning a world model. It may look—on the surface—that we are just learning statistical correlations in text. But it turns out that to 'just learn' the statistical correlations in text, to compress them really well, what the neural network learns is some representation of the process that produced the text.)

「十分に大きなデータセットで十分に深いニューラルネットワークを訓練すれば、必ず成功する――これが私の確信でした。その論理は、崩しようのないものです。人間の脳がこれらの課題を解けるということ、しかも素早く解けるということ、それ自体が証拠なのです。脳は結局のところ、ニューロンが遅いだけのニューラルネットワークにすぎません。であれば、より小さくても関連性のあるニューラルネットワークを取り出し、データで訓練すればいい。コンピュータの中の最良のニューラルネットワークは、私たちの脳でその課題を担うニューラルネットワークと何らかの対応関係にあるはずです」 (原文:In a nutshell, I had the realization that if you train a large neural network on a large and deep neural network on a big enough dataset that specifies some complicated task that people do, such as vision, then you will succeed necessarily. And the logic for it was irreducible; we know that the human brain can solve these tasks and can solve them quickly. And the human brain is just a neural network with slow neurons. So, then we just need to take a smaller but related neural network and train it on the data. And the best neural network inside the computer will be related to the neural network that we have in our brains that performs this task.)

AGI(超知性) 「今日のAIについての心配は、もちろん意味がある。ただ、私の本当に懸念はそこではありません。問題が本当に難しくなるのは、数年後、たとえば10年後にAIがどれほど強力になっているかを想像したときです。そのとき私たちの夢さえも超えてしまうような途方もないことが、できるようになっているかもしれない。それほどの力があるからこそ、信じられないほど素晴らしいことも実現できる。しかし、それはまた、とんでもない危険をもたらすことにも、なりかねません」 (原文:The place where things get really tricky is when you imagine fast forwarding some number of years, a decade let's say, how powerful will AI be? Of course with this incredible future power of AI which I think will be difficult to imagine frankly. With an AI this powerful you could do incredible amazing things that are perhaps even outside of our dreams.)

「最終的に、AIシステムはとてつもなく、また非常に強力になっていきます。そのとき私たちには、もはやそれを理解する力がないでしょう。AIは私たちよりはるかに賢くなっています。だからこそ、その段階に至るまでに「刷り込み」をしっかりと行っておくことが、絶対的に重要なのです。AIが私たちに対して感じる気持ちが、私たちが自分の子どもに感じる気持ちと同じようなものになってほしい――そういうことです」 (原文:The upshot is, eventually, AI systems will become very, very, very capable and powerful. We will not be able to understand them. They'll be much smarter than us. By that time, it is absolutely critical that the imprinting is very strong, so they feel toward us the way we feel toward our babies.)

「AGIとは「すべての問題を解決するもの」である一方、「無限に安定した独裁政権を生み出す可能性」を持つものでもあります。AIが人間よりも賢くなった暁には、それが実際に何をするのかは「非常に予測しがたい」ものになります」 (原文:AGIs will solve all the problems that we have today [but also hold] the potential to create infinitely stable dictatorships... a system that reasons [is] more unpredictable.)

AIの安全性と社会的リスク 「複数のチームがAGIを先に作ろうと競い合う「軍拡競争」の状態になってしまうと、それぞれのチームは、自分たちが作るAGIが深く人間を思いやるものであることを確かめる時間が、どんどん少なくなっていきます。私が思い描いているのは、まるで雪崩のようなAGI開発です。この巨大で止めようのない力が走り出したとき、地球の表面が太陽光パネルとデータセンターで覆い尽くされる未来になることは、かなりあり得ることだと思います」 (原文:If you have an arms race dynamics between multiple teams trying to build the AGI first they will have less time to make sure that the AGI that they will build will care deeply for humans because the way I imagine it is that there is an avalanche like there is an avalanche of AGI development. Imagine you have this huge unstoppable force and I think it's pretty likely the entire surface of the Earth will be covered with solar panels and data centers.)

「AI安全性については規制が必要だと思います。率直に言って、自動車や航空機や医薬品よりも、社会にとって大きなリスクになりうると思っているからです」 (原文:I think we need to regulate AI safety, frankly... It is, I think, actually a bigger risk to society than cars or planes or medicine.)

スケーリングの限界と「研究の時代」 「現在知られているような形での事前学習(プレトレーニング)は、間違いなくいつか終わりを迎えます。なぜか。それは、ハードウェアやアルゴリズムや大規模クラスターの改善によって計算能力は伸び続けているのに、データは増えていないからです。私たちが持つインターネットはひとつだけ。データはAIにとっての化石燃料のようなものです。ある特定のやり方で生まれたもので、今私たちはそれを使っている。ピークは過ぎた。もうそれ以上は生まれてこない。今あるデータで、やっていくしかないのです」 (原文:"Pre-training, as we know it, will unquestionably end. Why? Because while compute is growing through better hardware, better algorithms and larger clusters, the data is not growing because we have but one internet. You could even go as far as to say that data is the fossil fuel of AI. It was created somehow, and now we use it, and we've achieved peak data - and there'll be no more [so] we have to deal with the data that we have.")

「超知性がどこへ向かうのかという、この分野の行く末は明らかです。今まさに、それが作られようとしているのです。超知性は今日のAIとは根本的に異なる性質と特性を持ちます。それがいつ、どのようにして実現するのかは言いません。ただ、確実に実現する、ということは言えます」 (原文:"I'm not saying how… and I'm not saying when. I'm saying that it will." / "that is obviously where this field is headed. This is obviously what is being built here" / superintelligent AI will have "radically different qualities and properties")

脚注