26歳でGoogle DeepMindのメカニスティック解釈可能性チームを率いるNeel Nandaが、AI業界でのキャリア構築について語る貴重なインタビューである。大学卒業のみで博士号を持たない彼が、わずか4年でAI安全性研究の第一人者となり、50名以上の研究者を指導してきた経験を基に、効果的な研究手法、LLMの活用術、コールドメールのコツ、AI企業での働き方、研究者としての成長戦略について実践的なアドバイスを提供している。
- AI業界のキャリアについて語るNeel Nanda
- 成功の秘訣は運とタイミング
- 効果的なコールドメール術
- LLMを活用した学習戦略
- 音声入力とLLMの活用
- LLMからの建設的フィードバックを得る方法
- 研究におけるLLMの高度な活用法
- 安全性研究における興味深い視点
- 大企業内での影響力の発揮
- AI安全性エコシステムにおける過信の問題
- キャリアアドバイスの価値
- 大企業での影響力
- 外部研究者へのアドバイス
- 企業ガバナンスにおける影響力
- 安全性とリスク管理
- より安全性重視でない企業で働くことについて
- AI企業への就職アドバイス
- 研究の生産性について
- 研究の3段階
- 研究成果の伝達について
- 研究指導の価値
- 博士課程の価値について
- アドバイスの一般化可能性について
- 重要なアドバイス
AI業界のキャリアについて語るNeel Nanda
Rob Wiblinです。本日は伝説的なNeel Nandaさんにお話を伺えることを嬉しく思います。彼はGoogle DeepMindでメカニスティック解釈可能性チームを率いています。
メカニスティック解釈可能性とは、AIモデルがなぜそのような行動をとるのか、どのように動作しているのか、なぜある選択を別の選択よりも優先するのかを理解しようとする研究プロジェクトです。数年前まで、私たちはこれらについてほとんど洞察を持っていませんでした。
Neelさん、あなたは4年前にはまだ小さな取り組みだったこの研究プロジェクト全体を、現在では数百人が貢献する意味のあるものへと成長させるのに貢献した少数の人々の一人だと思います。ポッドキャストに再びお越しいただき、ありがとうございます。
Neel Nandaです。ここに来られて本当に嬉しいです。
Rob Wiblinさん、あなたについて人々がすぐには気づかないかもしれないことの一つは、あなたがまだ26歳だということです。メカニスティック解釈可能性の研究に携わってからまだ4年ほどしか経っていないにもかかわらず、この分野に基礎的な結果をもたらしました。Anthropicで働き、現在はGoogle DeepMindでチームを率いています。多くの論文を発表し、多数の引用を獲得しています。
また、この4年間で約50人の人々を指導し、そのうち7人が現在最先端のAI企業で重要な仕事をしており、数人は政府や規制の重要な役職に就いています。つまり、この4年間は忙しく、非常に生産的だったと言えるでしょう。
キャリアの早い段階でこれほど多くのことを達成できたのはなぜでしょうか。
成功の秘訣は運とタイミング
まあ、私が信じられないほど賢くて優秀だからだと言いたいところですが、私は自分の仕事が得意だと思いますが、主に運だと思います。これは実際、このような質問に対してもっと一般的な答えであるべきです。
もう少し詳しく説明すると、適切な時に適切な場所にいたことと、機会が生じたときにそれを掴むのが得意だったこと、そして自分に適した機会を作るのが上手だったことの組み合わせだと思います。私はメカニスティック解釈可能性に適切なタイミングで参入しました。多くの興奮がありましたが、それは小さなものでした。スタートアップや研究分野のような急成長するものに参入すると、実際にどれだけ優秀かとはそれほど関係ない方法で、非常に短期間で最も経験豊富な人の一人になることができます。
後で議論すると思いますが、自分に適した機会を作る方法についても話します。もう一つの大きな要因は、人を管理し監督することが本当に楽しいと感じていることです。多くの研究者はこれを非常に嫌々やっていると思いますが、私はかなり得意なようで、10人から20人の他の研究者をより良くするだけで、はるかに大きな影響を与えることができます。これを十分に行うと、積み重なっていきます。
そして最も重要なことは、博士課程で5年間を無駄にしなかったことです。
Rob Wiblinさん、そうですね、あなたが実際に学部の学位しか持っていないことを言い忘れていました。そこで多くの年月を節約できた可能性があります。
あなたはコールドメールについて言及していますね。きっと多くのメールを受け取っていると思います。あなたのような立場の人へのコールドメールのほとんどは、深いレベルで関わることが非常に難しいと想像します。
どのようなコールドメールがあなたの注意を引き、実際に関わりを持つようになりますか。
効果的なコールドメール術
コールドメールに関する私の主なアドバイスは、これを読む人は忙しく、メールのどこかの不確実な時点で読むのをやめるということを前提とすることです。したがって、可能な限り簡潔で、重要な情報をできるだけ優先し、理想的にはキーワードや文章を太字にする必要があります。
個人的に、メールを受け取ったとき、通常少し見て、1分以内に返信できればかなり返信する可能性があります。それ以上の労力が必要な場合、私はかなり高いハードルを設けています。質問することの一つは、私が望んでいることは1分でできることか、特定の質問のようなものかということです。もしそうなら、それを非常に目立つようにしてください。
そうでなければ、誰かの注意を引くことがより重要になります。そこで良いことがいくつかあります。
非常に影響力があると思われることの一つは、本質的に能力を示すことです。これを行う一つの方法は、印象的なことをしたり、資格を持っていることです。分からないですが、人々は時々自慢することを嫌がりますが、正直に言って、彼らが自慢してくれれば本当に助かります。人々に「私について最も印象的なことをここに書いてください。優先順位をつけるのに役立ちます」と言ってもらいたいです。
LLMを活用した学習戦略
最近のLLMやAIツールを使って、4年前にはそれほど有用でなかったときよりも、若手研究者が知識の最前線に近づいたり、研究能力を向上させたりできる程度はどの程度だと思いますか。
とても大きいです。
現在分野に参入しようとしていてLLMを使っていないなら、間違いを犯しています。これは、すべてにLLMを盲目的に使うことを意味するのではなく、ツールとして、その強みと弱み、そしてそれらがどこで役立つかを理解することを意味します。これは実際、過去6ヶ月から12ヶ月でかなり変わったと思います。
以前は日常生活でLLMをあまり使っていませんでしたが、数ヶ月前にLLMのパワーユーザーになるための探求を始め、今では会話の中で「あなたの問題にはこのようなLLMの使用を検討してみましたか」とランダムに言うようになりました。
人々はこれについてどう考えるべきでしょうか。LLMが実際に非常に得意なことの一つは、分野への参入障壁を下げることです。専門家レベルのパフォーマンスを達成するのは苦手ですが、ジュニアレベルのパフォーマンスではかなり得意です。必ずしも完全に信頼できるわけではありませんが、ジュニアの人々も同様なので、これは間違った基準です。
人々が必ずしも正しく理解していないことがいくつかあります。これらの中には、LLMが得意な人にとっては非常に明白に思えるものもありますが、お付き合いください。
最初のものは、システムプロンプトが本当に役立つということです。手伝ってもらいたいタスクの種類について、モデルに非常に詳細な指示を与えることができ、これによってモデルがより良くなります。私は主要なプロバイダーが持っているプロジェクト機能の大ファンで、そこでは多くの異なるプロンプトと有用な文脈文書を提供し、そこで話すことができます。
プロンプトのいくつかのコツがあります。プロンプトが得意でないと感じるなら、LLMにプロンプトを書いてもらうだけです。個人的に非常に有用だと思うことの一つは、音声入力で考えたりブレインストーミングしたりする方が簡単だと感じることです。そしてLLMは、私のとりとめのない音声入力を取って、それが一貫した出力であるかのように扱うのが本当に得意です。
音声入力とLLMの活用
つまり、あなたは音声で話しかけているということですか。音声だけで。私はいつもそれを試すことに消極的でした。音声が途切れ途切れになって、転写が非常に混乱し、出力が悪くなると思っていたからです。しかし、あなたは音声入力を整理してかなり良い仕事をしてくれると言っているのですね。
そうです、LLMはこれが本当に得意です。
私はこのインタビューの準備のほとんどを、数時間の音声入力を通じて行いました。LLMは人間よりも乱雑なテキストデータを扱うのがはるかに得意で、転写して整理するように言えば、そうしてくれます。
音声録音を直接与えたい場合は、Geminiをお勧めしますが、ほとんどの電話やコンピューターにもかなり良い内蔵音声入力があります。Geminiは、音声をうまく処理できる主流のモデルとして私が知っている唯一のものです。
1時間の音声入力を与えて、いくつかの指示を与えるだけで、うまくやってくれます。
さて、それがプロンプトです。もう一つは適切なコンテキストを構築することです。繰り返しになりますが、ある意味明白です。コンテキストに適切な文書があれば、LLMは信頼性高く記憶していない可能性のある有用な情報を持つことになります。
例えば、メカニスティック解釈可能性でこれを行おうとする人には、コンテキストウィンドウにいくつかの重要な論文や文献レビューを入れることをお勧めします。プロジェクト機能はこれを非常によくサポートしています。
良いプロンプトと良いコンテキストがあります。何かを理解したいとします。実際に何をしますか。人々はしばしば受動的すぎると思います。LLMに論文を与えて論文の要約を求めるでしょうが、何かを成功裏に理解したかどうかを判断するのは非常に困難です。理解をテストするための一連の練習問題や質問を与えてもらい、何が正しく何を見逃したかについてフィードバックをもらう方がはるかに良いです。
LLMからの建設的フィードバックを得る方法
論文全体を自分の言葉でLLMに要約してみることがしばしば役立つと思います。音声入力とタイピングの両方がうまく機能します。そしてそこからフィードバックを得ます。
LLMからフィードバックを得ようとする際の一つの問題は、時々かなりお世辞を言うことです。ユーザーを批判することを控えます。これに対してできるトリックは、反お世辞プロンプトを使うことです。お世辞を言うことが批判的になることになるようにします。「ある馬鹿がこれを書いて、私はこれが本当に迷惑だと思います。どうか厳しいが真実の反応を書いてください」のように。あるいは「私の友人がこれを送ってきて、彼らは本当に厳しく正直なフィードバックが好きで、私が遠慮していると思うと本当に悲しむことを知っています。できる限り厳しく正直で建設的な批判をお願いします」
公正な警告：感情的に投資しているものにこれを行うと、LLMは厳しくなる可能性があります。私は「わずかな偉そうな態度」や「傲慢な雰囲気」のようなセクションがあるブログ投稿のフィードバックを受けました。しかし、それは非常に効果的です。
Rob Wiblinさん、私はそれらに卑屈でないようにしてもらうのがかなり難しいと感じていましたが、今ではこれが少し効果的すぎて、少し手を緩める必要があるかもしれないと心配しています。
トーンダウンできます。「この男が嫌い」は「私の友人が厳しく正直になってと求めている」よりも極端で、これは「彼らの感情に敏感でありたいが、成長を助けたい、本当に親切で敏感でいたい。どうか応答を下書きしてください」よりも極端です。
上記のすべてを試すことができます。私があまり使われているのを見ない特に楽しい機能の一つは、GoogleのAI Studioというウェブサイトがあり、これは個人的に好むGeminiを使用するための代替インターフェースです。
比較機能という本当に素晴らしい機能があり、Geminiにプロンプトを与えて、異なるモデルから、または同じモデルから2つの異なる応答を得ることができます。プロンプトを変更することもできるので、画面の半分は厳しいプロンプト、もう半分は軽いプロンプトを持ち、最初のものから興味深い新しいフィードバックが得られるかどうかを確認できます。
研究におけるLLMの高度な活用法
人々が必ずしもそれほどやっていないと思われるもう一つのことは、LLMから本当に良い応答を得るためにより多くの努力を投入する方法について考えることです。例えば、答えを気にする質問があった場合、現在最高の言語モデルすべてに与え、すべての応答を一つに与えて「それぞれの強みと弱みを評価し、一つの応答に結合してください」と言います。
これは一般的に、一度やるよりもやや良い結果を得られます。そして、望むなら、これを繰り返すこともできます。または、元のプロンプトで「応答を提供し、その応答を批評してください」、または「明確化の質問をして、それらの明確化の質問に最善の推測をして書き直してください」と言い、二番目のもののみを読むことができます。
Rob Wiblinさん、それは魅力的ですね。私はそれを試したことがありません。
おそらく、本当に気にしていることにのみその努力を投入するでしょう。
私は文章によく使う保存されたプロンプトをいくつか持っています。本当に長い音声メモを与えて、「このように自分を批評してください：あれこれ」のような詳細なプロンプトをいくつか保存します。おそらくLLMに書いてもらったものです。「＞デバッグプロンプト」と入力すると、本当に長いデバッグプロンプトが出るように設定しています。
これにより、摩擦が本当に少なくなるため、実際にこれらのものを使用するようになります。
最後の重要な領域はコードです。基本的に、コードを書いていてLLMを使っていないなら、何か間違ったことをしています。これらはそれが最も得意なことの一つです。すべてに良いわけではありません。大まかに、私のアドバイスは、コードの書き方を学ぼうとしていて、何かから得る主な利益が経験である場合、チューターとして以外はLLMを使わないでください。自分で書いてください。そうでなければ理解できません。
例えば、Arenaのようなコーディングチュートリアルを行っている場合、何かを成し遂げようとしているだけで、コードを気にしない、それが良いかどうか気にしない、それに基づいて構築することは決してない場合、GeminiのCLIやClaude Codeのようなコマンドラインエージェントで、基本的にコンピューター上に置いて、ターミナルで口頭指示を与え、プログラムを書いてもらうことができ、しばしば非常にうまく機能します。
通常、最初の数回で動作するか、混乱します。混乱した場合、またはコードが良いことを気にする場合、LLM統合が非常に良いコーディング環境であるCursorをお勧めします。コードについて質問をして、それらで助けてもらうことから、最初から何かを完全に書いてもらうこと、部分的または文書全体を編集することまで、何でもできます。
安全性研究における興味深い視点
あなたの興味深い意見の一つに、安全性の仕事が能力を少し向上させないなら、それはおそらく悪い安全性の仕事だというものがあります。それを説明し、擁護していただけますか。
私はしばしば安全性コミュニティの人々が「しかし、これは能力の仕事ではないのか」という意味で「モデルをより良くするのではないか」という理由で安全性の仕事を批判するのを見ます。これは批判として意味をなさないと思います。なぜなら、安全性の目標は、私たちが望むことをするモデルを持つことだからです。制御のような関連するものでさえ、私たちが望まないことをしないモデルを持とうとすることです。
これは信じられないほど商業的に有用です。私たちはすでに、報酬ハッキングのような安全性の問題がシステムを商業的に適用しにくくしているのを見ています。幻覚、ジェイルブレイクなどの問題があります。そして時間が経つにつれて、AGI安全性の観点からより重要な安全性の問題も重要になり始めると予想しています。
これは、有用であるとして仕事を批判することが実際には意味をなさないことを意味します。実際、私はシステムを私たちが望むことをより良くすることへの道筋がない仕事を、評価のような何か異なる影響理論であるか、確実にこの技術で私たちが望むことをより良くするシステムを作る計画がないように聞こえるとして批判するでしょう。要点は何ですか。
私は、あなたが何でもしていいと言っているわけではないことを強調したいと思います。一般的な能力よりも安全性を差別的に進歩させる仕事と、そうでない仕事があると思います。しかし、それはかなり微妙だと思いますし、人々は「しかし、システムがより有用な製品になるのを助けるなら、企業はそれをしないのか」のような反論を持つかもしれません。そして、私はこれがこの種のことがどう機能するかの現実的なモデルではないと思います。
Rob Wiblinさん、その問題を提起しようと思っていました。あなたの安全性の仕事がモデルをより有用に、特により商業的に有用にすることに大きく貢献するなら、おそらく企業はあなたが関与するかどうかに関係なくそれに投資するでしょう。なぜなら、それは実際に販売できる製品を作る重要な経路上にあるからです。しかし、物事はそれほど整然とアドホックではないと思うのでしょう。
大企業内での影響力の発揮
種類的にはそうです。私がそれについて考える方法は、深さと準備時間のようなものです。何かが問題になると、人々はそれを修正しようとしますが、多くの緊急性があり、より創造的な解決策を研究する余地があまりありません。適切に物事を行う余地が十分にありません。
しばしば、何かに対する複数のアプローチがあり、他のものより良いと思うものがあっても、実証されていないものを試すことに関心がありません。例えば、安全性の問題を修正する標準的な方法は、問題を修正するより多くのファインチューニングデータを追加することです。これはしばしば機能します。しかし、欺瞞のようなもので
は機能しないと思います。
そして、人々が現実的な選択肢として見る他のツール、例えば思考連鎖監視や解釈可能性を用いた評価などが、プロセスの重要な部分として見られる現実的な選択肢があることを確認したいと思います。そして、商業的インセンティブが引き継ぐのを待つだけでは、実際にはこれを得ることはできないと思います。
モデルを本当に良くする安全性の利益なしに仕事があると思いますし、私たちが望むことをより多くすることが中心的な仕事があると思います。人々は二番目の種類のことをしようとするべきです。しかし、質問は「これは差別的に安全性を進歩させるか」であり、「これは能力を全く進歩させるか」ではありません。そして、それが両方を大きく進歩させたなら、それは素晴らしいかもしれません。
AI安全性エコシステムにおける過信の問題
あなたのメモのもう一つの意見は、AI安全性エコシステムの一部である人々が一般的に、未来がどうなるかについて非常に過信である傾向があるというものです。それを説明していただけますか。
一般的な質問として、安全性の人物がポッドキャストや講演で聞かれるのは「あなたの破滅確率は何か。あなたのタイムラインは何か」のようなものです。これらは途方もなく複雑な質問です。技術の未来を予測することは、悪名高いほど信じられないほど困難です。
それは地政学、経済学、機械学習がどう進歩するか、これらのものがどれほど商業化可能か、ハードウェア生産がどうスケールアップできるかなどに関係します。アライメントがどれほど困難かということを問うのは、本当に複雑な質問です。
そして、人々は経験的に何が起こるかについてしばしば間違っていたと思います。コミュニティとして、もう少し知的謙遜を持つべきだと一般的に思います。
私は公の場で私の破滅確率やタイムラインが何かを答えることを拒否する方針を持っています。なぜなら、人々は著名な人が言うことに、「解釈可能性が得意なNeelがタイムラインについて何かを知っているという事実について」考えることなく、あまりにもアンカーしすぎると思うからです。
より重要なことに、それが実際に行動に関連するとは思いません。私たちは、AGIを信じられないほど早く得る世界、中程度の次の10から20年の世界、そしてはるかに長い世界に住むことができると思います。これらはすべてもっともらしいです。これらのすべてがもっともらしい以下に十分に得ることができる合理的な議論が本当に見当たりません。だから、これらがすべて現実的な懸念であるかのように行動するべきです。そして、すべてに有用なことをするか、最優先だと思うもの、つまり「AGI近い」世界を選ぶべきです。
Rob Wiblinさん、あなたはAGIがいつ来るかを正確に知らないが、それが近く来ると信じていたかのように行動するべきだと言っているのですね。なぜなら、それは特に重要なシナリオであり、特に重要な仕事がなされるシナリオだからですか。
種類的にはそうです。私が言っているのは、私たちは不確実であるべきで、この不確実性を考慮して、安全性コミュニティによる行動のポートフォリオがどうあるべきかを考えるべきだということです。
私は、かなりの部分が短いタイムラインの世界に向けられるべきだと思います。なぜなら、これが十分にもっともらしく懸念すべきことだと思うし、そこで行われる仕事の多くは他の世界観の下でもかなり良く見えるからです。
私がかなり好きな一つのフレーミングは「明日のAGI」です。明日AGIが起こったら、私たちが大丈夫な状況にあるようなことをしようとすることです。
そして、コミュニティが本当に短期的なことだけをするのは間違いだと思います。明らかに、ポートフォリオの一部は少なくとも6ヶ月以上の見返り期間のあるものに向けられるべきです。いくつかのものはおそらく5年以上の見返り期間のあるものに向けられるべきです。
しかし、それはリソース配分の問題です。おそらく私の確率に応じて、ポートフォリオを配分する正確な方法は変わるでしょうが、おそらくそれほどではありませんし、とにかく最適からかなり遠いと思うので、それほど決定に関連しません。
十分にもっともらしく懸念すべきことですが、確実性として取るべきではありませんし、AGIが5年以上かかったら、コミュニティの信頼性全体を大幅に燃やしたり、コミュニティを台無しにするようなことをするのは間違いだと思います。
Rob Wiblinさん、あなたはAI技術安全研究をしたいと最終的に決めたのはどのような経緯でしたか。
正直に言うと、かなり曲がりくねった道のりでした。2013年頃、私がまだ14歳だった長い昔に、本当に良いハリー・ポッターのファンフィクションに出会いました。それがきっかけでEAについて学び、AI安全性について読み、大まかに「そうですね、この人たちはかなり合理的に見えます。この議論を受け入れます」と言いました。
その後、私は非常に長い間、これについて絶対に何もしませんでした。大学では、Jane Streetのような場所でクォント・ファイナンスのインターンシップをいくつかしました。そして一般的な信念に反して、クォント・ファイナンスは結構素晴らしいです。AI安全性を気にしないなら、お勧めします。そして、その道を歩んでいた世界もありました。しかし、一部は80,000 Hoursのキャリア・アドバイシング・コールのおかげで、ここで感謝します。お勧めしますし、人々は彼らをチェックアウトするべきです。
Rob Wiblinさん、80000hours.org：いいねとチャンネル登録を！
私は実際にはAI安全性研究を理解していない、これが実際に何を意味するのかを理解していないことに気づきました。5、6年前の非常に数学的な仕事、MIRIの論理的帰納の仕事のようなものに出会っていました。そして私は「これがどう有用なのか理解できません」と思いました。
今でもこれがどう有用なのか理解していないので、過去の私に点数をあげます。
しかし、興味深い仕事をしているコミュニティの人々と連絡を取ることになりました。「GPT-3がある今、以前にはできなかった興味深いことができる」という議論に触れました。当時のOpenAIの内部の非常に高度なシステムへの暗号的な言及もありました。
私が学部を終えた後、これが一つの頂点に達したと思います。修士課程をする予定でしたが、世界的なパンデミックが起こり、それがより疑問視される計画になりました。
Jane Streetで働くという非常に良い選択肢がありましたが、人生には2つ以上の選択肢があることに気づきました。これに気づくのに私は時間がかかりすぎました。また、AI安全性に行って、それがひどいものだったとしても、やめればいいだけです。
だから、技術的AI安全性をやりたいかどうかまだ確信していませんでしたが、「まあ、確認するべきでしょう」と思いました。そこで、ギャップイヤーを取り、異なる研究所で3つのAI安全性インターンシップをしました。
正直に言うと、どれも大して楽しくありませんでした。研究分野とそれほど相性が良くありませんでしたし、これの多くはCOVID中だったので、いまいちでした。しかし、問題について、分野についてもっと多くを学び、これが現実的で、有用な仕事がなされており、私が行っていたことでなくても、私ができることだと確信するようになりました。
その後、Chris Olahから、Anthropicの初期従業員の一人になるという申し出を幸運にも得ました。私は彼らの解釈可能性チームの4番目の人でした。今では25人以上か何かになっています。そして、私はこの分野に恋に落ちました。
EAのメッセージを聞いているときに私が苦労していたことの一つは、「たとえ世界にとって最善の選択肢だと思っても、それをやりたくなければ、やりたくないのです。楽しまないことを日々行うとは思えません」ということでした。
その年に私にとってクリックしたことの一つは、世界は公平ではないということです。これはまた、時々無料の勝利を得ることもあることを意味し、非常に楽しく、知的に刺激的で興奮できる影響力のある研究方向があることもあるということです。そして、メカニスティック解釈は他のものではクリックしなかった方法で私にクリックしました。
そして、それ以来、私はメカニスティック解釈を行っています。そのアドバイシング・チャットに感謝です！
リスナーに呼びかけたいことの一つは、私がこの決定を今行うとしたら、AI安全性に行くべきだということがはるかに明白だということです。GPT-3が起こったばかりでした。これは長い間前のことです。これらの問題が現実的であることもはるかに明確ではありませんでした。
そして今、AIは世界を再形成しています。これは起こっている最も重要なことの一つです。これの最前線にいない、それがより良く行くのを助けないキャリアを望むとは想像できません。
そして私の不確実性の多く、安全性に取り組むことはどのように見えるのか、人々は何をしているのか、実際に経験的な仕事があるのか、は今では明らかに解決されています。
MATSのような教育材料やプログラムがあり、はるかに良いインフラがあると思いますし、周りにはるかに多くの役割があります。このポッドキャストを聞いている誰かが、私が言ってきたことと関係があり、「これらが現実の問題であることに同意するので、AIがより良く行くように何かをするべきですが、どうすればいいかよく分からず、これは少し威圧的に見え、いつこれをするべきか、どのように見えるべきかよく分からない」と思うなら、今すぐやるべきだと思います。
キャリアアドバイスの価値
Rob Wiblinさん、明確なアドバイスをもらえるのは良いことです。通常、人々は少し言葉を濁す傾向があります。
明確化の一つ：人々、特に技術的、数学的思考または コンピューターサイエンス重視の人々は、技術的AI安全性研究をするべきだと仮定していると思います。これは良い道だと思います。
しかし、この時点で、AIは全世界を再形成していると思います。AGIへの移行がうまく行くことを望むなら、才能があり、これらの問題を理解している人々がそれらに取り組む必要がある多くのことがあります。本当に良い政策立案者、公務員と政治家の両方が必要です。
ジャーナリストと一般的に公衆を教育し、コミュニケーションを取る人々が必要です。経済的影響をモデル化する人々が必要です。これらのことを予測する人々が必要です。そして、これは頭に浮かんだことです。つまり、これは私の生涯のある時点で、私が何かについて非常に間違っていない限り、劇的に世界を再形成するものです。現在のバブルが破裂したとしてもです。この良い転換のために多くの人々が多くのことをする必要があります。
Rob Wiblinさん、80,000 Hoursのアドバイシング・コールで主に出てきたことは何でしたか。より広範囲の異なる選択肢を考慮するようにあなたに影響を与えたことを私は理解していますか。
正直に言うと、彼らがAI安全性をするようにと言い続けるので、私はコールを出て少し迷惑に感じていました。彼らへのポイント。良いコール。
Rob Wiblinさん、そのような具体的なアドバイスを与えるのは危険です。誰かがそれを受け取って、それが間違ったアイデアかもしれないからです。しかし、この場合は…
そうです。それから出てきた最も有用なことは、より確立された研究者と連絡を取ることで、彼らと話して「はあ。あなたは私が理解する研究をしている、理解できる高いステータスの仕事をしている正気の人です。これは私が自分自身が参入することを想像できるキャリア・パスのように感じます」と言えることでした。
そして、このようなポッドキャストでやろうと思っていることの一つは、もう少しそれを提供することです。
大企業での影響力
Rob Wiblinさん、Google DeepMindのような最先端AI企業、特に大組織で影響を与えようとすることについて、何か興味深いことを学びましたか。
組織の仕組みについて、実際の企業で働く時間にかなり多くを学んだと思います。しかし、始めに、DeepMind特有のことではなく、大きな組織一般について学んだことについて話したいと思います。それは、一人の意思決定者がある目的に従って行動している単一の実体のように考えるのは非常に簡単だということです。
しかし、これはおそらく1,000人以上の組織を運営する実用的な方法ではありません。スタートアップなら、みんなが何が起こっているかを知り、お互いを知り、文脈を持つことができます。しかし、十分な人数がいると、構造と官僚制が必要になります。
意思決定権が委任される多くの人々がいます。組織にとって重要な異なることを保護する責任を持つ多くの利害関係者がいて、それらの利益を代表します。これらの意思決定者は忙しい人々で、しばしば彼らが聞くアドバイザーや副意思決定者がいます。
そして時々、決定はツリーのかなり下の方でなされますが、重要であるか、十分な disagreement があると、決定をすることができる人になるまで、より多くの上級者に行きます。しかし、これは、大きな組織が単一の完全に一貫した実体のように行動することを期待して物事に行くと、間違った予測をすることを意味します。
Rob Wiblinさん、どのようなことですか。それは相反する決定をすることになることを意味しますか。こちらの一つのグループがこの方向に押し、あちらの別のグループが別の方向に押し、すべてを監督する管理者にエスカレートされるまで、実質的な非一貫性を持つことができるということですか。
そのようなことは起こりうります。
しかし、私が最も印象的だったことは、これらの企業は内部的に効率的な市場ではないと考えることです。私が何を意味するかを説明すると、株式市場で取引することを考えるとき、私は一般的にしません。それは、お金を稼ぐべきことがあったなら、他の誰かがすでにそれをしているだろうという根拠でです。
そして、私は「会社をお金を稼がせることがあったなら、おそらく他の誰かがそれを起こらせているでしょう。会社をお金を稼がせないなら、おそらく誰もそれを起こらせないでしょう。したがって、安全性チームがどれほどの影響を持てるかよく分からない」という似たような直感を持っていました。
これは多くの方法で信じられないほど間違っていると今思います。金融の類推内でさえ、市場は実際に完全に効率的ではありません。ヘッジファンドは時々多くのお金を稼ぎます。なぜなら、より多くを知り、人々が見逃していることを見つけることができる専門家がいるからです。AGI安全性チームとして、私たちは他の人々が見逃しているAGI安全性関連の機会を見つけることができます。
しかし、より重要なことに、金融市場には非効率性を見つけて修正することが唯一の仕事である大量の人々がいます。企業は一般的に、会社全体を見渡して非効率性を見つけて修正することが唯一の仕事である人々を持っていません。特に安全性的に価値を加える方法に関してです。
人々はしばしば忙しいです。人々は多くのことを気にする必要があります。私が異なることを優先させる文化的要因がしばしばあります。例えば、機械学習の人々のかなり一般的な考え方は、今日そこにある問題に焦点を当てることです。
今、非常に確信を持っている問題に焦点を当て、それらを修正することです。将来の問題を予測するのは本当に困難です。それを試すことさえ気にしないでください。問題に気づいて修正することを優先してください。
多くの文脈で、これは実際に非常に合理的だと思います。
安全性では、より微妙な問題があることができ、問題を修正するのに時間がかかることができるので、早めに始める必要があるため、より困難だと思います。そして、これは、そのような機会を特定できれば、誰も気にしない多くのことがあることを意味します。人々は積極的にそのことが起こることに賛成かもしれません。しかし、安全性チームがそれらを起こらせなければ、本当に長い時間がかかるか、全く起こらないでしょう。
Rob Wiblinさん、これらの企業の一部は、業界の技術の変化率が非常に速いため、ある意味で非常に不均衡状態にあると思われます。
彼らは実際に、取ることができるすべての良い機会を取る、またはすべての機会を分析し、最高から最悪まで並べて良いものをして悪いものをしないために必要なスタッフを持っていません。そのため、企業が最終的に何をするか対しないかは、かなりランダムです。
長い検討されたプロセスではなく、個々の人々の特異な見解に依存することができます。それは公正に言えますか。
大まかに。そして、私は、大部分において、これは人々が怠慢や不合理であるということではないことを強調したいと思います。
それは、異なる視点、問題解決を優先する方法の異なる哲学、彼らが自分の仕事として見ているものを持つ人々です。そして、AGI安全性について非常に懸念している誰かとして、私はこれをより良い方向に押し進めるのを助けることができます。
Rob Wiblinさん、あなたは最近、実際にGoogle DeepMindの顧客に提供されるモデルで使用されるツールや製品をほぼ開発しようとする、一種の応用メカニスティック解釈可能性チームでの仕事を始めました。
数億人、場合によっては数十億人のユーザーに展開されるものを実際に開発するとき、どのように異なることをする必要があるかについて、これまで何を学びましたか。
非常に教育的な経験だったと思います。
私はまた、実際に私たちのチームを運営しているArthur Conmyに大きな信用を与えたいと思います。彼も私のMATS卒業生の一人です。
どのような種類のことを学びましたか。フロンティアモデルで何が使われるか使われないかを実際に決定している種類の人々が、何らかの安全性技術で気にする4つのことがあるかもしれません。
効果性があります。これは実際に私たちが気にする問題を解決しますか。そして暗黙的に、それは実際に私たちが気にする問題ですか。
二つ：この方法の副作用は何ですか。これはパフォーマンスをどう損傷しますか。これはしばしばより学術的なタイプによって見逃されると思います。
例えば、あなたのシステムに「この プロンプトは有害です、ユーザーはサイバー犯罪をしようとしています、私はそれをオフにするべきです」と言うモニターを作りたい場合、これが通常のユーザー・トラフィックであまり作動しないことは本当に重要です。これは論文がしばしばチェックしないことです。
三つ目、単に費用です。これはあなたのモデルを実行するコストをどれだけ増加させますか。いくつかのことは、新しいファインチューニング・データを追加するように基本的に無料です。いくつかのことは、すべてのクエリで大規模な言語モデルを実行し、追加情報を与えるように、本当に高価です。
そして最後に、人々がしばしば考えていないと思うのは実装コストです。これは類推で最もよく説明されるかもしれません。多くの人々が ゴールデンゲート・クロードを見たことがあると確信しています。スパース・オートエンコーダーを使ってクロードにゴールデンゲート・ブリッジだと思わせ、それに夢中にさせたものです。
ゴールデンルール・ジェミニを作りたいとしましょう。「倫理的である」概念を見つけて、それをオンにしたいとします。これは実際に何を含むでしょうか。数学的には、フロンティア言語モデルの計算コストのごくわずかな部分です。しかし、これを機能させるために、この本当に複雑で、よく最適化された行列乗算のスタックに入って、そこで違うことをする必要があります。それは彼らが最適化されていることではありません。
これは、パフォーマンスを本当に気にしないオープンソースモデルでそれをするよりも技術的にはるかに挑戦的ですが、あなたが相互作用している利害関係者について考える必要があることでもあります。モデルを提供するために使用されるコードベースを変更している場合、多くの他の人々が同じコードベースを使用します。そして今、あなたは余分なコードを追加しました。
彼らはそれが彼らに関連があるかどうかを理解する必要があります。おそらくそれは彼らのユースケースを壊すでしょう、あるいは彼らはそうかもしれないと思うだけで、私の時間を無駄にするでしょう。実際にかなりの抵抗があります。
トランスフォーマーの仕組みを変更するような新しいアーキテクチャを導入したい場合、サービング担当者と相互作用する必要があるだけでなく、事前訓練担当者と基本的に全員と相互作用する必要があります。なぜなら、あなたは物事の仕組みを変更したからです。一方、モデルによるテキスト出力を取るブラックボックス分類器のようなものであれば、それはかなり簡単で、一般的に抵抗が少ないでしょう。
私がかなり印象的だと思ったことの一つは、人々が今日気にしていることと、AGI安全性にとって長期的に有用だと思う技術との間の共通点を見つけることがいかに重要かということです。
他の人々があなたの技術を気にし、種類の連合を構築してそれが実装されるように押し進めるのを助けるのは、彼らが望んでいることが実際にそれほど安全性に関連していなくても、本当に多くの方法で非常に有用です。
経験とデータを持つことは本当に役立ちます。それをより安価にすることを反復することができるでしょう。先例を設定しますが、インフラも設定します。すでに行っていることに「この追加のことを追加する」のような安全性関連のわずかな変種を使うよう人々を説得するのは、「この新しいコンポーネント全体を追加してください」よりもはるかに簡単です。
コンポーネントを実装して「私のプルリクエストを受け入れてください、そうすればそれが起こります」と言うよりも、「私が約束する本当に良いアイデアであるこのことを作るために、あなたの信じられないほど忙しいエンジニア時間の一部を費やしてください」と言うよりも、人々を説得するのがはるかに簡単です。
外部研究者へのアドバイス
Rob Wiblinさん、最先端AI企業の外にいる人々はどうですか。Beth Barnesと数ヶ月前に話しましたが、多くのAI研究者にとって、最先端企業の外で、より独立して、または他の組織のより小さな研究チームで運営している場合、ある意味ではいくつかの研究ラインをより簡単に進めることができるという見解を彼女は持っていたと思います。
そこでは、優先順位を決め、好むことを何でもする非常に自由な手を持っています。しかし、それは確実に、優秀な技術を開発して、企業がそれらを真剣に受け取ったり適用したりするのが非常に困難になるというリスクを作ります。
組織の内部にいないので、始めから実装に障壁が追加されます。しかし、製品を提供する際の、これらの企業の一つの内部での制約が何であるかを理解していなかった可能性もあります。そのため、間違った木を吠えていたり、実際に適用するのが非常に困難になるような方法で物事を開発していたりするかもしれません。
いつか企業に取り上げてもらいたい仕事をしているが、彼らの内部にいない人々にアドバイスはありますか。
本当に良い質問です。
人々が心に留めておくのに非常に有用だと思うことの一つは、Geminiに何らかの安全性技術を使うよう説得したい場合、私とGDM AGI安全性チームは外部の誰よりもこれを行うのにはるかに良い立場にあることです。なぜなら、私たちはそのチームが気にする種類のことの良いモデルを持っているからです。例えば、モニターが無害なプロンプトでどれだけトリガーするかをチェックすることを知っています。人々が気にする評価を知っていますが、それらは必ずしも公開されていません。モデルと直接作業できます。それらを実装できます。
これは、外部の人々の目標は、研究所の安全性チームが証拠ベースを充実させることを試すのに十分に時間を使う価値があると思うほど十分に説得力のある仕事をすることであることを意味します。
実用的なレベルでこれは実際に何を意味しますか。何かが生産で使われるために必要なことについて私が言っていたことの多くは依然として適用されます。あなたが取り組んでいる利害関係者の数について考えるべきです。私の技術はどれほど複雑ですか。どれほど高価ですか。副作用は何ですか。できる限り最高の評価を作ろうとしますが、研究所の安全性チームが注意を払っていることも確認したいです。
安全性研究をしている多くの人々は研究所の誰かを知っています。彼らの見解を得ることはしばしば本当に役立ちます。人々は時々このアドバイスを聞いて、リーダーや最上級の人々に連絡を取る必要があると思います。しかし、誰かが私のマネージャーであるRohin Shahにメールを送ると、彼は非常に忙しく、それほど時間がありません。一方、過去1年間に私のチームに参加した誰かにメッセージを送ると、彼らははるかに助けることができ、十分に知っており、実際に有望であれば私のような人にエスカレートすることを知っているかもしれません。
そして、RedwoodやMETRのような外部組織の一部が非常にうまくやっていると思うことの一つは、研究プロセス全体を通じて研究所の人々と多く話すことです。これは彼らが良いモデルを持ち、双方向の対話がありうることを意味します。
これは、研究をした後に人々に注意を払ってもらおうとするよりもうまく行く可能性がはるかに高いと思います。言うは易く行うは難しですが。
企業ガバナンスにおける影響力
Rob Wiblinさん、Google DeepMindのような企業が直面する興味深い挑戦は、多くの異なる製品で、商業的競争、地政学的競争があるこのAI支配の未来に向かって突進しているときに、すべての企業が内部ガバナンス体制について、どのような種類の安全装置を持つか持たないかについて、非常に重要になりうる決定をしなければならないということです。彼らは非常に加速されたタイムスケールでこれを行うことを強いられており、分析したいかもしれないすべての質問を分析するのに十分な時間がない可能性があります。
企業内の誰かがこれらのプロセスを肯定的な結果に向けて導くのをどう助けることができると思いますか。そして、それは人々が大きな影響を与える重要な方法として心に留めておくべきことですか、それとも持つべき間違ったマインドセットかもしれませんか。
それは素晴らしい質問です。
主要な意思決定者があなたを信頼し、あなたの話を聞く場合、多くの影響を与えることができると思います。
これは必ずしも「政治をプレイすること」のように見えるわけではありません。中立で信頼できる技術的アドバイザーとして見られることに多くの潜在的な影響があると思います。本当に自分のことを知っており、安全性を本当に理解しているが、イデオロギー的でもない誰かです。
安全性コミュニティは時々、人々が聞くようにするための唯一の方法だから、すべてを危険としてハイプしなければならないという問題を持っていると思います。DeepMindの安全性チームが、恐怖のための恐怖である物事と、実際にやや懸念すべき物事を実際にやや懸念すべきものとして呼び出すことを私は非常に気にしています。なぜなら、実際に懸念すべき何かが起こっているときに人々が聞く唯一の方法だからです。
そして、人々はしばしば「あなたは非常に組織をナビゲートしたり、広く尊敬される技術的専門家である」ような私がちょうど概説した種類のことの全体を見逃しています。しかし、DeepMind内で安全性に影響を与えている人々の大多数はそれをしていません。代わりに、組織の残りの部分とインターフェースしている少数の上級者がいて、例えば私のチームの人々が持つことができる影響の多くは、より安全な変更を推進しているそれらの人々をサポートするために良い研究をすることです。
良いエンジニアと良い研究者ができることは、技術が機能することを示したり、新しい技術を発明したり、コストを削減したり、技術の効果性とそれが大きな副作用やコストを持たないことの良い証拠ベースを構築したり、単に技術を実装したりできるからです。意思決定者が「はい、あなたがすでに私たちのために書いたコードを受け入れます」と言うのははるかに簡単です。
そしてこれはある意味では、組織をナビゲートする人よりも時間がかかります。そして、組織で人々が尊敬している人々がいる場合、私はDeepMindの安全性リーダーシップの一部を非常に尊敬していますが、Rohin ShahやAnca Draganのように、それらの人々を強化しようとすることは素晴らしいことです。
チームを強化しようとすることも非常に影響力があると思います。最近、AGI安全性チームで、みんなの研究を加速することが仕事である小さなエンジニアリングチームを始めました。そして、これは成熟した技術会社なので、改善できるものは何もないと思うかもしれません。
しかし、かなり特異なユースケースを持つ小さなチームの研究反復速度を改善する多くの方法があります。そして、このチームは非常に影響力があったと思います。
そのチームを運営するVikrant[Varma]は、実際に私に、人々が気づかないかもしれないことの一つは、優秀なエンジニア、深い複雑な技術スタック内で働くのが速く有能な誰か、で研究を加速するアイデアに興奮を感じる場合、特にGoogleで働いている場合、研究やMLについて本当に何も知らなくても、かなり大きな影響を与えることができるということです。そして、それがあなたを表している場合は、ぜひ私にメールを送ってくださいと宣伝してくれと頼まれました。
安全性とリスク管理
Rob Wiblinさん、すべての主要AI企業内の意思決定者にとって難しいことの一つは、この時点でどのような種類の安全装置が必要か、来年必要になるか、今後5年間で必要になるかを知ることが本当に非常に困難だということです。対して、実際に安全性の針を動かさないものがどれか。それは時間と投資の無駄で、商業的不利な立場に置くかもしれません。
企業内の技術的に精通した人として、意思決定者に正確な情報を提供することができる非常に有用なことは、実際にどのような脅威が展開しているか、そしてどのような種類の安全装置が実際にそれらを無力化するのに役立つかについてです。
そして、それは単に全体的な世界観だからといって「常により安全なことをするべきだ」と常に言うよりも、善意を構築し実際に影響を与える可能性がはるかに高いということですね。
それはかなり良い要約だと思います。「単により安全なことをする」は実際に信じられないほど単純化された視点だとも思います。
フロンティア言語モデルのような信じられないほど複雑なシステムがより安全になることができる方法のスペースは本当に大きく、影響を与えるスキルの一部は、その共通基盤を見つけることだと思います。
明確にするために、今日のモデルに直接関連する安全性研究のみをするべきだと言っているわけではありません。むしろ、私が言っているのは、それは最終的に関連性を持つ必要があるということです。
あなたがちょうど言ったことに私が追加するかもしれない一つの注意点は、生産モデルで技術を使用することは、安全性チームがそれに取り組むことを決定するよりもはるかに困難だということです。
私たちは、何に取り組むかについて私たちの最良の判断を使うためのかなりの自律性を持っており、何かが6ヶ月か12ヶ月で大きな問題になり、人々が緊急性を見ると思うなら、今そのための準備を始めることができます。
そして一般的に、政策変更を起こす有名な言い方の一つは、危機まで待つことです。安全性の問題が生じたとき、良い解決策が準備できていることを強く好みます。なぜなら、多くの安全性の問題は、テストや類似のもので現れる警告サインと暫定的な前兆を持つと個人的に思うからです。
何かが発売をブロックしているので本当に緊急にそれを修正しようとしているときに作れるものは、適切に準備した場合にできることよりもしばしば深くなく効果的でないことが多いです。そして、私たちの影響への道の一つは、この種の準備です。
Rob Wiblinさん、「危機」とはどういう意味ですか。将来的に、製品が企業が望まないことをしていて、ユーザーにより安全な方法で提供し続けることを可能にする解決策を探してスクランブルをかけているときのことを想像していますか。そして、実際に問題に対処するであろう健全な技術を事前に準備し、将来的にそれらを使用する需要がはるかに高いときに、パッケージ化され、潜在的に準備できている状態にしたいということですか。
そうです。ある意味で、それが起これば、安全性チームは適切に仕事をすることに失敗したと思います。
私が望むのは、将来の危機となるであろうこれらのことが、人々が本物だと思う評価で事前に旗を立てられ、実際の事件が起こる前に修正できることです。
そして私は、DeepMindのフロンティア安全性フレームワークやAnthropicの責任あるスケーリング政策のようなこれらのリスク管理フレームワークの大ファンです。なぜなら、私たちの条件で「管理された危機」を作ることだと思うからです。
例えば、Gemini 2.5 Proは、攻撃的サイバー能力で人々を助けることができることの早期警告サインをトリガーしました。私たちがこれらのテストを行い、これに気づくのは非常に良いことだと思います。なぜなら、緩和策を整備すると言った閾値があるからです。
だから今、「これが適切に緩和されていなければ実際に危険である可能性がある」をトリガーする時までに準備ができている良い緩和策を事前に開発することに多くのエネルギーと関心があります。
そして、私たちは今、フロンティア安全性フレームワークに欺瞞的整合性を持っています。そして時間が経つにつれて、これらのリスクの証拠ベースがより強くなるにつれて、現在より理論的な種類のリスクをそこに入れることがはるかに簡単になります。
私たちはすでに整合性偽装のようなものを見ています。そして、リスクが何になるかを事前に特定し、それらの良い評価に合意し、その閾値に達したときにどのような種類の緩和が必要かについて合意できれば、それは危機のすべての悪い効果なしに、危機と同じ種類の効果を作ります。
より安全性重視でない企業で働くことについて
Rob Wiblinさん、合理的に安全性に焦点を当て、強力な機械学習の腕前を持つ誰かにとって、Google DeepMindのようにすでにかなり安全性に焦点を当てた企業で働くことと、名前を伏せておく企業で働くことのどちらが、より多くの影響を与える可能性が高いでしょうか。そこではより少ない安全性文化とより少ない安全性投資があり、それを重要な個人的優先事項として持つ比較的少数の人々の一人になるかもしれません。人々はより安全性重視でない研究所で働くことを真剣に考慮すべきでしょうか。
それは中間のどこかだと思います。
フロンティアAIシステムを作っているすべての研究所が、その研究所のリーダーシップの哲学が何であれ、優秀な安全性チームを持つことを非常に気にしています。しかし、この種のことを通すのがより困難で、関心が少ない種類の研究所では、大きな影響を与えることができる特定の種類の人々がいると思いますが、多くの人々は大部分そうではないでしょう。
そのような研究所で影響を与えるアプローチ方法は、より良いモデルを作りたい人々とより安全なモデルを作りたい人々の間に多くの共通基盤があると思います。世界は必ずしもトレードオフでいっぱいではありません。
例えば、どの研究所でも、報酬ハッキングを減らすためにモデルの思考連鎖を監視することに取り組んでいる人々を愛するでしょう。
これは私の意見ではかなり商業的に適用可能です。しかし、はるかに安全性関連のものに非常に自然に流れ込む種類のものでもあり、今日の安全性にもやや関連しています。なぜなら、モデルがあなたが好まないことをすることの思考連鎖を監視することは非常に一般的だからです。
より精巧な制御スキームを実装したい場合、それは優秀な基盤です。
しかし、リスナーはこれが自分に合うかどうかをどう判断できるでしょうか。これに良い人の種類は、組織で働き、効果的にナビゲートした経験がある誰かです。
代理店を持ち、自分自身のために機会に気づき、作ることができる誰かです。
おそらく非常に重要なことについて意見を異にする多くの人々と働くというアイデアに快適な誰か、理想的には、毎日仕事に歯を食いしばって行くような感じではない。それは「これは仕事です。これらは人々です。私は彼らと意見を異にします。それを脇に置くことができます」というもので、私ははるかに健康的な態度だと思い、燃え尽きにつながる可能性が低く、外交でもより効果的にするでしょう。
そして最後に、独立して考えるのが得意な人々です。私は個人的に、周りの人々とは非常に異なる視点を維持するのが少し困難だと感じます。
私はできますが、積極的な努力が必要です。これが非常に得意な人もいれば、私よりもはるかに苦手な人もいます。あなたが私のレベルかより悪い場合、おそらくこれをするべきではありません。
AI企業への就職アドバイス
Rob Wiblinさん、AIでキャリアを追求し、これらのフロンティアAI企業の一つに雇われることに興味がある人々にどのようなアドバイスがありますか。提供できる一般的なアドバイスはありますか。
人々が本当に気にかける2つの主要なスキルがあると思います。研究をする能力、特に研究をした実証された経験、そしてエンジニアリングスキル、部分的にはソフトウェアエンジニアリングスキル、部分的には機械学習エンジニアリングスキルです。
機械学習は、誰もが自分のモデルを訓練することが少なく、大規模な訓練実行と人々が異なる部分を持つことが多いことを考えると、現在はそれほど重要ではありません。
ここでいくつかの追加の考えがあります。この分野に最初に入ったとき、「エンジニアリングスキル」が何を意味するのか非常に混乱していました。
人々の最初の接触は、しばしばLeetCodeのようなもので、コーディング面接で聞かれる単純なパズルで、コードを書くことさえなく、解決法を説明するだけのものです。これは私の意見では、実際にはそれほど有用ではなく、非常に特定の種類のエンジニアリングスキルです。
技術会社で働くために非常に重要なことは、私が深い、経験豊富なエンジニアリングスキルと考えるものです。
それは、何百人もの人々が同じコードベースで働いており、無数の他の人々のコードに依存し、一度に全体を頭に入れることが現実的にできない大きく複雑なコードベースで働く能力です。
何が間違っているかを理解するために深く潜るべきときと、何かを抽象化すべきときを知る必要があります。現在では、これをナビゲートするのを助けるためにLLMをどう最もよく使うかを知る必要があります。
私はこれを区別したいのは、この種の技術会社で直接働くことなしに、このはるかに困難なスキルを得ることがはるかに困難だと思うからです。そして、それは必須ではありません。素晴らしい研究者であるならば補うことができますが、それはかなり価値があります。
ML エンジニアリングもあります。特に効率的なMLコードを書き、物事を訓練することができること、ここで本当にそのスキルが意味するのは、効率的にすること、しかし100回本当に混乱した方法で不可避的に間違いが起こったときにデバッグすることです。通常のプログラミングとは違って、何が間違ったかを教えてくれる本当に良いエラートレースを得ることはありません。代わりに、パフォーマンスが悪いだけです。
これは、特に過去6から12ヶ月にわたって、コーディングエージェントが本当に良くなった方法でやや変わっているかもしれないと思います。
しかし、これらのより上級のエンジニアリングスキルは、自動化するのがはるかに困難で、実質的により長く有用であり続ける可能性が高いと思います。
研究の生産性について
研究と研究経験の前線では、それについて考えることをお勧めする一つの方法は、論文は一種のポータブルな資格証明書だということです。論文をどこで書いたか、非常に権威あるPhDをしていたか、ランダムな独立研究者であったかは重要ではありません。
良い仕事をし、人々がそれが良い仕事であることを理解するのに十分な時間があれば、彼らは気にします。人々はしばしばヒューリスティックに依存します。権威ある研究所でPhDをしていたなら、それは人々が注意を払う時間を費やす可能性を高くする要因です。
しかし、良い研究実績がある限り、PhDはそれほど重要ではないことが多いです。フロンティア言語モデルに関連する研究をすれば、人々はより気にするでしょう。
また、あなたの仕事について知っていて、それがクールな研究だと思う研究所の人々がいることも、あなたの利益になりうります。あなたが賞賛する研究所の人々に連絡を取って、あなたの仕事について話したり、会議で彼らに会おうとしたりするようなことです。
または、オープンな求人広告に応募するときに研究所の人々に連絡を取ること、人々は多くのメールを受け取るのでしばしば機能しませんが、期待値では非常に有用だと思います。
Rob Wiblinさん、研究をうまく行い、AI企業に雇われる方法についてのあなたの答えの中の共通のテーマは、生産的で思慮深い研究者であることです。あなたが過去4年間で印象的な量の研究を発表し、現在Google DeepMindで8人のチームを率い、過去4年間で50人かそこらのジュニア研究者を監督してきたことは誰も否定しないでしょう。
良い研究者を作るものについて、そして、多くのことを成し遂げるために彼らが採用する傾向にある種類の実践について、何を学びましたか。
人々はしばしば、良い研究者になるために必要な正確なスキルと考え方をやや誤解していると思います。
もっと詳しく説明すると思いますが、高いレベルで、コーディングが得意である必要があります。実験ができるように物事を成し遂げることができるように。しばしば、特に学術や独立研究では、複雑なインフラを構築したり、複雑なライブラリ内で働いたりするのではなく、Pythonノートブックのようなインタラクティブなもので行っている非常にハッキーで小規模なコーディングが得意であることで十分です。
だから、主要なスキルはハッキーになって、物事を正しくすることができることです。
これに関連するのは、単に速く反復するスキルです。物事を速くでき、速く反復でき、新しい結果を見て決定できる人々と、そうでない人々の間の生産的な出力と成功率がどれほど異なるかは非常に印象的です。
それは私を優先順位付けの関連ポイントに導きます。研究は信じられないほどオープンエンドなスペースで、他の多くの仕事よりも、不確実性の下で行動することが得意である必要があります。これは心理的なことです。これを他の人よりもはるかに困難だと感じる人もいます。
私は以前は数学者でした。どこでも普遍的真理があり、とても良かったです。
悲しいことに、これは機械学習の場合ではありません。
しかし、問題により深く潜るべきときと、ズームアウトするべきときを知ることでもあります。人々はしばしば、これら2つの方向のうちの1つに偏りすぎて始めます。
もう一つの重要なこと、特にメカニスティック解釈では、この種の経験的科学的考え方と懐疑主義の概念です。
あなたは可能な決定の信じられないほど大きな木をナビゲートしようとしており、実験的証拠を得て、それを解釈する必要があります。これがあなたに何が真実で何が真実でないかについて何を教えるか、あなたの証拠に弱点と欠陥があり、実際により強く押すべきか、それで本当に更新することはできないか対して、十分に良くて先に進むことができるかを理解する必要があります。
そして、過去数週間の研究を振り返り、おそらくかなり愛着のある仮説を取って、それらがどう欠陥があるかを考え、それらの堅牢性をテストするためにできる実験を考えることができるようになることです。
最後の重要なスキルは複雑で、しばしば誤解されています。私は「研究の味」と呼んでいるもので、基本的に研究プロジェクトで正しい高レベルの決定が何になるかについて良い直感を持つことを意味します。
Rob Wiblinさん、人々は研究の味について何を誤解していると思いますか。
人々が誤解していることの一つは、それがプロジェクトを選ぶことだけについてだと思っていることですが、実際には多くのレベルに適用されます。この用語が実際に何を意味するかを解こうとするブログ投稿があります。説明にリンクできることを願っています。
特に厄介なことの一つは、これらのスキルが異なるフィードバックループを持つことです。
コーディングは、コードが機能したかどうかを分または時間で知ることができます。解釈可能性の概念的理解は、しばしば時間内に理解できます。論文を読むことができ、おそらくより経験豊富な人に尋ねることができます。
そして、優先順位付けのようなものがあります。そこでは、それが良いアイデアだったかどうかをかなり長い間知らないことがしばしばあります。
そして研究の味があります。そこでは、実験を設計するようなものは、数日から数週間以内にフィードバックを得られるかもしれません。「これは良い方向だったか」は数週間、おそらく数ヶ月以内。「これは良いプロジェクトだったか」は数ヶ月以内です。
これをニューラルネットワークのように考えることはかなり教育的だと思います。あなたは研究質問について良い予測をするように直感を訓練しようとしています。なぜなら、「この研究質問はうまく行くかどうか」の科学は実際にはないからです。最終的にはそれは直感に帰着しますが、しばしば直感は論理や議論や証拠に基づいています。
そして、高品質のデータと多くのデータを得たいと思います。
早い段階では、簡単なスキルをはるかに速く学び、研究の味をはるかに遅く学ぶことを期待するべきです。研究に参入する人々への私のアドバイスは、研究の味について心配しないことです。それは大きな痛みです。他のスキルを最初に学べば、研究の味を学ぶのがはるかに簡単になります。
これは理想的にはメンターを見つけて、研究の味のために彼らを使うように見えます。しかし、それほど幸運でなければ、これはかなり野心的でないプロジェクトをするように見えることができます。論文への増分的改善や、良いアイデアかどうか実際に気にしないランダムなアイデアです。
何かを試してみることを望み、うまく行かないなら喜んでそれを諦めます。
研究の3段階
Rob Wiblinさん、研究プロセスには3つの異なる段階があるとあなたのメモに記載されており、人々がどれにいるかについて少し混乱し、特定の日に行っている仕事に対して間違った態度を持つ可能性があるようです。
3つの異なる段階は何で、それぞれに必要な異なる考え方は何ですか。
私はそれらを探索、理解、蒸留と呼んでいます。
探索は、研究問題を持つことから、問題の深い理解と何が真実で何が真実でないかについてのある種のことに移行するときです。人々はしばしばこれが段階であることさえ気づいていないと思いますが、特に解釈可能性では、プロジェクトの半分以上であることがしばしばあります。尋ねるべき正しい質問を理解し、持っていたかもしれない誤解を理解することです。
そして、問題について何が真実であるかについてのいくつかの仮説を持ったら、「なぜこのモデルは自己保存するのか」のような何らかの行動について興味深いことがあると思うことから、探索は「私はそれが混乱しているという仮説を持っている」のような地点に到達することです。
そして理解は、仮説から何らかの結論を証明しようとする、または少なくとも自分自身を納得させるのに十分な証拠を提供しようとするときです。
探索は非常にオープンエンドです。そこで心に留めておくべき北極星は「情報を得たい」ということで、これはしばしばそれほど方向性がある必要はありません。
理解しているときは、しばしば特定の仮説を心に留めて、これに対する証拠と反証を得る実験の計画を立てたいと思います。自己保存の場合、「モデルが混乱している場合、プロンプトのこの部分を変更すると、それを混乱させなくするかもしれない」のようになるかもしれません。
そして蒸留は、このことが真実だとかなり確信していることから、それを世界に伝え、より厳密にし、プロジェクトの内部にいなかった誰かが納得するかもしれないものにすることです。
Rob Wiblinさん、それは実際に人々をどうつまずかせるのですか。
人々はしばしば探索が段階であることを本当に理解していないようです。
彼らは、試そうとしている仮説がわからない、または頭の中にこのプロジェクトがどこに向かっているかの明確な計画や影響理論がない場合、失敗しているように感じます。これは、人々がしばしば立ち往生したりストレスを感じたりすることを意味します。
また、正しいものを見つけたと思ったために穴に落ちるが、実際には問題について十分に知らないという間違いもあります。
そして探索は、単にいじくり回すことを意味するわけではありません。時間単位あたりの情報取得について合理的に考えることができます。モデルの思考連鎖を読むような、かなり豊富なデータを与えるかもしれない特定の種類のツールがあります。数値である何らかの技術の精度を測定するようなことは、おそらく豊富なデータを与えないツールがあります。
私はこれを表面積を得ることと考えています。
非常にオープンエンドで、見たり考えたりする多くの異なることがあるツールをしたいと思います。反復速度を最大化したいと思います。非常に厳密でない安価な技術の束があれば、一つの本当に高努力のことよりも、それらを速くするべきです。
それは理解のためです。
そして厳密である必要はありません、なぜなら目標はアイデアと仮説を形成することだからです。しばしば、微小な仮説を選んでそれをテストし、一週間以内にズームアウトすることが理にかなっています。
これすべての実用的な実装の一つは、一日おきか二日おきにチェックインすることをお勧めすることです。何か学んだか？答えがノーなら、ツールを変えることを検討してください。
そして探索には異なる考え方が必要です。いじくり回すのは本当に得意でも、素晴らしい実験を作る科学的モードに本当に入るのは苦手な人もいるかもしれません。
人々がしばしば犯す間違いの一つは、たくさんの実験や本当に包括的な実験をしようと頑張りすぎることで、そのことが機能することを本当に確立するキラー実験の種類について考えるのではありません。
理想的には他の実験も行います。しかし、質と量の両方について考える必要があります。
それから蒸留：人々が犯す間違いは、研究プロジェクトの細部に数週間から数ヶ月費やしたので、すべてがあなたには明確だということです。実際に重要な、あなたの仕事を読む人々である他の誰にも、これは明確ではありません。
人々がいる場所で彼らに会い、すべての関連する文脈を提供する必要があります。これに対する私の実用的なアドバイスは、人々からフィードバックを得て、アイデアを彼らに投げかけ、ドラフトを彼らに投げかけ、何が彼らを混乱させるか、何を理解していないかを見て、それを修正することを優先することです。
ここで非常に役立つもう一つのことは、あなたの論文のポイントが何であるかについて非常に意図的であることです。
人々はしばしばプロジェクトで行ったすべてについての物語を語る必要があると思います。しかし実際に、人々は論文から数個のアイデアしか覚えません。私が物語と考えるもの、数個のアイデアです。そしてあなたはそれらを「なぜこれらのアイデアが真実で、なぜあなたはこれを気にすべきか」でサポートします。
論文を始めるときは、アイデアを説明し、非常に簡潔に、あなたの証拠を説明します。それからアイデアを詳細に説明します。
それからあなたの証拠を詳細に説明します。しかしこれすべては、人々にアイデア、この物語を覚えて信じてもらうという目標を中心に集中しています。
そして、研究の仕方についていくつかのブログ投稿があり、論文の書き方についても一つ含まれており、説明に載せることを願っています。
研究成果の伝達について
Rob Wiblinさん、コミュニケーション段階で本当に物事を抽出する必要があるようですね。なぜなら、人々があなたの論文から一つの文を覚えてくれれば、ある意味では非常に幸運だからです。しかしそれは、彼らに伝えようとしている文が何かについて本当に一生懸命考える必要があることを意味します。
そして誰かが3つの文、物語の始まりを覚えてくれたら、それは何になるかもしれません。
あなたは論文がバイラルになることでかなり成功を収めました。
論文から実際に世に広めたい核心的なポイントの抽出である、ツイートや抽出を作ることに多くの時間を費やしますか。
ええ、かなり多くの時間を。そしてこれは私のMATS研究者に焦点を当ててもらおうとしていることです。ハイプとコミュニケーションを区別したいと思います。重要なことは、人々が論文のアイデアと、なぜ気にすべきかを理解することです。
これはハイプを構築しようとするのと同じように見えることがありますが、実際には何かに基づいています。
よく知られたジョークは、抽象、序論、図、タイトル、そして他のすべてに同じ時間を費やすべきだということです。なぜなら、もしあなたが何かの長さに、それを読む人数をかけるなら、それらはほぼ等しいからです。
タイトルを良くするためにプロジェクトの20%を費やす最良の方法をまだ理解していません。しかし…
Rob Wiblinさん、実際に私たちは番組でそれにほぼ近づいています。なぜなら、YouTubeやTwitterで、特定のエピソードを聞きたい理由は何かを本当に抽出することがとても重要だからです。私たちはまだ20%には達していませんが、上がっています。
あなたのプロセスに触発されました。
少なくとも、ショートリストを作り、フィードバックのためにそれらを回すべきです。自分の直感だけに頼らないでください。
また、TwitterはMLで人々が研究を伝達する主要な方法の一つだと思います。良かれ悪かれ。現在はBlueskyへの関心もあります。
あなたの論文について良いツイートスレッドを書きたい場合に心に留めるべき重要なことは、95%の人々はツイート1を超えて読まないということです。
だからツイート1はあなたの物語全体を含む必要があります。これはあなたに簡潔であることを強制します。それは良いことです。
Rob Wiblinさん、これは280文字のツイートですね、新しいツイートスレッド全体ではなく。
本当に長いツイートはしないでください。なぜなら、人々はそれらをクリックしなければならず、クリックしないからです。
そしてもう一つのことは、あまりにも多くの文脈を必要とせずに、理解できる方法で何か興味深いことを伝える単一の目を引く図を持つことです。これはしばしば多くの努力に値し、それはまた典型的にあなたの論文の最初の図であるべきです。
繰り返しますが、これはハイプについてだけではありません。これは実際に非常に効果的なコミュニケーション形式だと思います。より多くの人々があなたの仕事を見て、正しい理解を得れば、それは素晴らしいことです。
心に留めるべきもう一つのことは、あなたのツイートを見る人々は、他の多くのもののなかで、ただ彼らのフィードにいるということです。あなたがML研究者であることさえ必ずしも知らないでしょう。だから、考えられるすべてのことのマインドスペースにそれを位置づける必要があります。彼らが認識するかもしれないキーワードを使うようなことです。
しかし、ジャーゴンを知らない人々に理解してもらいたいなら、ジャーゴンを使わないでください。解決されている問題は何かという動機の文を持ってください。
良いツイートスレッドには芸術形式があり、人々は持っていないようです。とても悲しいことです。
Rob Wiblinさん、分野の中に位置づけられた論文の完全な結果を説明し、これについてコメントするのに必要な専門知識を持っていることを伝え、そしてジャーゴンなしでそれをする、約280文字で？
あなたの専門知識を伝える必要はないと思います。「論文」と言うだけで良いと思います。そして、最初のツイートに論文へのリンクを入れることは決してなく、
抽象と著者名とタイトルのスクリーンショットを単に載せることは決してしないでください。それは本当に退屈で、誰も読まないからです。
Rob Wiblinさん、結果がどれだけ魅力的かをハイプしたいと感じる非常に強いプレッシャーがあります。またはポッドキャストがどれだけ魅力的かを、内容とその限界について率直であることに対して。
あなた自身はそのトレードオフをどのように取りますか。
だから、私が常にこのバランスを取るのが素晴らしい仕事をしているかどうかはわかりません。しかし大雑把に、仕事の限界について作品の中で目立つように話すことは非常に重要だと思います。
理想的には、重要な限界があるなら、それは抽象に載るべきです。なぜなら多くの人々は抽象しか読まないからです。
私の意見では、人々があなたの仕事について間違って肯定的な印象を持つのは悪いことです。特に、私が思うに人々がしばしば追跡しないかもしれないインセンティブは、経験豊富な研究者は、ハイプでいっぱいで実質がない論文をいつ見分けるかがかなり得意で、一般的に著者の意見を下げるということです。
そしてしばしばこれらは、将来あなたを雇うかもしれない、PhD学生として受け入れるかどうかを決めるかもしれない、または潜在的にあなたと協力するかもしれない人々です。これは本当のコストです。
また、誠実性を持つことは良いことで、これらが一致することは素晴らしいことだと思います。
だから確実に限界について議論しなければなりません。
そうでなければ人々は「どの馬鹿がこれを書いたのか」と思うでしょう。しかしまた、それらを最後に埋めると、人々は終わりまで読まないので、しばしば人々はそれでもそう思うかもしれません。
そしてあなたは多くの人々に印象を与え、多くのハイプを得るかもしれません。そして私は、これが有用でないと嘘をついて言うつもりはありませんが、ニュアンスのあるコミュニケーションはしばしばかなりインセンティブを与えられていると思います。
研究指導の価値
Rob Wiblinさん、過去数年間で50人ほどの人々を監督することで、研究指導者が実際に価値を加えることができる方法について何を学びましたか。
特に、これほど多くの人々と関わっているので、個人的にそれほど多くの時間を投入することはできないと推測します。個々の人は主な焦点にはなれません。では、週にわずか数時間、あるいはそれ以下で、どうして大いに助けることができるのでしょうか。
私のMATS研究者のために収束したシステムは、かなりうまく機能しているようですが、6ヶ月ごとに新しく8人を受け入れることです。彼らをペアにします。各ペアはプロジェクトを行っており、週に一度、彼らと1時間半のチェックインを行います。
そして私は人々を先に進ませるのがあまり得意ではないので、現在16人ほどいて、ちょっとした問題になっています。しかし8人なら、週の夜一晩で完全にできます。素晴らしいです。
では実際に何をするのですか。そして週1時間半がなぜ十分で、何もないよりも重要なのですか。
これは、研究には得るのが異なる困難さを持つ異なるスキルがあるという核心的なアイデアに戻ると思います。しかしこれのもう一つの部分は、それらが使うのに異なる時間コストを持つということです。
あなたの時間の大部分はコードを書くことに費やされ、これについて非常に良いフィードバックループを得ることができます。私は彼らのためにコードを書くことはできません。そのための時間がありません。実際には、私は研究者が書いているコードを読むことさえしばしばなく、バグでいっぱいでないことを願っているだけです。
しかし、優先順位付けや研究の味のようなスキルがあります。それらは私がどうにか開発し、私の時間には非常に安価な方法で使うことができますが、彼らが複製するのは困難でしょう。
だから私の理想は、かなりうまく自律的にでき、これらのスキルを自分自身でかなりうまくできる人々を選ぶことです。
博士課程の価値について
Rob Wiblinさん、あなた自身は博士号を持っていませんね。そうやって多くの年月を節約した可能性があります。部外者として、AI業界での最良の動きが、何らかの方法でML研究の仕事を業界で得ることができるなら、4年、5年、6年を費やして論文を書き、完全な博士号を取ることを想像するのは困難です。
少なくともキャリアを直接進歩させることからそれほど多くの時間を離れることは、今この瞬間ではないという、それが正しい直感ですか。
複雑です。人々が犯す一般的な間違いの一つは、博士号を終える必要があると仮定することです。これは完全に間違いです。博士号をスキルを学び得る環境として見るべきです。
そしてより良い機会があれば、1年間の休学をすることはしばしばかなり簡単です。時にはやめるべきです。本格的な組織で研究をする仕事を持つオプションがあり、それがあなたの博士号よりうまく行くと期待するなら、それが博士号をする要点です。終わりました。早く終わりました。去ってください。わかりません。
最近雇った誰か、Josh Engelsは、解釈可能性で博士号をしており、本当に素晴らしい仕事をしていました。そして私はすでに彼が優秀であることを確信し、私のチームに参加するために数年早く やめることを彼に説得することができました。私は非常に偏っていることを知っていますが、これは正しい選択だと思います。
それは別として、人々はそもそもそれらをするべきですか。
研究に参入する最も有用な方法の一つはメンターシップだと思います。博士号の指導者や研究室の他の人々からメンターシップを得ることができます。業界の研究チームに参加すれば、同僚やマネージャーからそれを得ることができます。
しかし、異なる場所は、あなたが学ぶことと、どれほど価値ある経験になるかで大きく変わります。人々がしばしば気づかないことの一つは、あなたが一緒に働く人のマネージャーとしてのスキル、業界でのマネージャーか博士号をする際のあなたの博士号指導者かは、信じられないほど重要で、良い研究者であることとは非常に異なるスキルです。
しばしば最も有名な博士号指導者は最悪です。なぜなら彼らは本当に忙しく、あなたのための時間がないか、良い研究者であることが単に患者の指導者であること、人々を育てることを気にかけること、彼らのために時間を作ることに翻訳されないからです。同じことが業界の役割にも適用されます。
私のチームの人々が学び、研究の自律性を持ち、研究者として成長できる環境を作ると思いたいです。
他に何もなければ、私のチームの人々が素晴らしい研究者であれば、私の人生がはるかに楽になります。インセンティブは非常に一致しています。
しかし、はるかに少ない自律性を得て、単にエンジニアになることを望まれるかもしれないチームがあります。または研究をすることができるかもしれませんが、非常に特定の議題で。そして私はエンジニアリングが本当のスキルセットだと思います。
博士号で学ぶのはしばしば困難で、業界で学ぶのは簡単ですが、研究をすることもそうです。
特に呼び出したいことの一つは、新しい研究議題を設定し、創造的な新しいアイデアを思いつくことができる人々がまだ必要だと思います。しばしば博士号はこれにより良い環境です。なぜなら、あなたは望むことを何でもでき、誰も本当にあなたを止めることができないからです。そしてしばしば指導者はこれで良いです。業界のマネージャーはそれほどそうではありません。
博士号をして推薦する私が尊敬する人々の一部は、これを重要な理由の一つとして強調しています：私たちは新しい研究議題をリードできる人々が本当にもっと欲しいのです。そして、しばらく自分でこれを理解するために荒野に投げ出されることは、これを学ぶ最良の方法の一つになりうるということです。
これを学術では、しばしば高い自律性を持っているが、あまりサポートがないと考えることができます。ある人々は繁栄し、ある人々はひどくやります。有名なように、公衆衛生の負担は性感染症のそれより悪いです。説明にそのブログ投稿をリンクできます。
私は博士号をしてとても惨めだった多くの人々を知っています。
また、博士号をするのが大好きで、去りたくなかった、または終えて本当に良かったという人々も知っています。業界では、しばしば自律性は低いですが、チーム間で大きく変わります。しかし、より大きなプロジェクトの一部になることができ、より良いリソースを持ち、しばしばエンジニアリングについてはるかに多くを学び、しばしばフロンティアモデル研究により関連するスキルを学ぶでしょう。
しかしチーム間の分散が典型的に支配的です。
具体的なヒントの一つ：何らかのチームで働くこと、または何らかの学術研究室で働くことを検討している場合、その指導者の学生や、そのチームの他の人々と、あなたが彼らがおそらく正直になると思う率直な文脈で話し、その指導者について多くの質問をしてください。どれだけの時間を費やすか、この人と働くことからどのような利益を得るか、彼らについて変えることができるなら何を変えるかなど。
そしてその人が素晴らしい評判を持っているが、学生が悪いことを言うなら、それは罠で、そこに行くべきではありません。
役割に参入しようとするジュニアの人々と、役割を雇っている人々の間に大きな情報の非対称性があることが非常に苛立たしく思います。私は、誰かを雇おうとしていて、これが彼らにとって最良の選択肢かどうか確信が持てない場合、単にそれを彼らに言うことを重視しています。しかし多くの情報の非対称性があります。
適切な種類の情報を集めれば、より良い決定をすることができることを期待してください。
そして時々、あなたに権威を持つ人、特に特定の博士号指導者は、ひどく、彼らの利益をあなたのものより優先させます。可能な限り長い間学生を卒業させないようにして、最大の研究労働を得ようとするようなことをする指導者について聞いたことがあります。そして私はこれがひどいと思い、そのような指導者を大幅に判断します。
アドバイスの一般化可能性について
Rob Wiblinさん、エピソード全体を通じてあなたからキャリアと人生のアドバイスをたくさん得ています。そのようなことは過去数年間で番組の焦点があまりなくなりました。一つの理由は、一人にとって有用なアドバイスが他の誰かにとって潜在的に有害である可能性があることをより心配するようになったからです。なぜなら人々は非常に異なり、異なることを聞く必要があるかもしれないからです。
人生とキャリアのアドバイスがどれだけ一般化するかということについて、私は少し懐疑的で少し神経質です。それについて何か考えはありますか。あなたは、あなたより若い人々を助けようとする、あらゆる種類の異なるアドバイスを人々に与えなければならない立場にいます。
あなたが提案することが悪いかもしれないことをどれだけ心配していますか。
これをこのような文脈と1対1の設定で与えるアドバイスに分けてみましょう。このような文脈では、何人もの人々に話しているだけで、あなたがちょうど言ったことすべてに同意します。人々は私が言うことすべてを大量の塩と一緒に取るべきです。
私は言うことを選んだことでこれをコントロールしようとしていますが、おそらく間違いを犯したでしょうし、確実に私のように考える人々としてモデル化することに滑り込みやすいです。
しかし、やや有用なことを言えると思ういくつかの理由があります。私が成功した理由の大きな部分が幸運だったことは確実に非常に意識しています。適切な時に適切な場所にいました。だから私は、「ここで探すべき良い機会の特徴です」のようなメタレベルのもの以外は、その種のことについて特別にアドバイスしようとはしていません。
研究の仕方のようなことには、この時点でまともなサンプルサイズがあります。
確実に特定の種類の人にフィルターをかけ、解釈可能性は特定の種類の分野なので、人々は私が言うことを一粒の塩と一緒に取るべきです。
そして私は「異なる人々は異なるアドバイスが必要だ」ということにも非常に強く同意します。等しいが反対のアドバイスの法則についての素晴らしいブログ投稿があります。
私は「ある人々は極端なAをし、ある人々は極端なBをします。正しいことは中間のどこかです。私が正しいことだと思うものはこのように見えます」という形のアドバイスを与えることで、これを少し緩和しようとします。
しかし、そうです、人々は確実に注意すべきです。
また、彼らはすでにしすぎていることをもっとする必要があると思うバイアスを典型的に持つということも注意すべきです。なぜなら、もし反対方向にバイアスがあったなら、おそらくすでにその方向に傾いていたでしょうから。
Rob Wiblinさん、そうですね。
それでも時々判断できると思います。そして、私がかなり良い感じを持っているコールドメールの書き方のようなものがあります。なぜなら、それはより多く、私が物事をどう知覚するかについてだからです。しかし確実にその一部では、すべての印象的な方法を前面に出すようなところで、人々の走行距離は変わるかもしれません。
重要なアドバイス
Rob Wiblinさん、さて、私たちは終わりにしなければなりません。ここでの予約の終わりに達しました。
このエピソードで多くの異なる分野で多くの異なるアドバイスを共有していただきました。以前に、物事を抽出し、人々が覚える一つの文を持つことの重要性について話していました。
人々にこのエピソードから思い出してもらいたい、かなり一般的だと思うアドバイスの一つは何ですか。
私が学んだ最も重要な教訓の一つは、あなたは単に物事をすることができるということだと思います。
これは陳腐に聞こえるかもしれませんが、ここで学ばなければならなかった非自明なことがたくさんあると思います。
最初のものは、物事をすることはスキルだということです。私は完璧主義者です。しばしば物事をしたくありません。「これはリスクがあるようです。これはうまく行かないかもしれません」と思います。
そして私がこれを破った方法は、一ヶ月間毎日ブログ投稿を書くという挑戦を自分に与えたことでした。そしてそれが過去4年間の私のパートナーと出会った方法です。
Rob Wiblinさん、素晴らしい。
そしてそれはまた、メカニスティック解釈の分野を構築するのに役立った公開のアウトプットの束を作るのにも役立ちました。
これのもう一つの部分は、私が運の表面積を最大化することと考えるものです。
良い機会があなたの道に来る可能性のある機会をできるだけ多く持ちたいと思います。人々を知りたいと思います。
時々イエスと言う人でありたいので、人々があなたに物事をもたらします。多くのことに関わりたいと思います。
また、少し変わっていたり、異常だったりすることを喜んでしたいと思います。私のYouTubeチャンネルで最も人気のある動画の一つは、3万回の視聴で、有名なメカニスティック解釈の論文の一つ「トランスフォーマー回路の数学的フレームワーク」を3時間かけて読み、意見を述べたものでした。編集なしで、YouTubeに上げました。人々はこれに興味を持ちました。
そして最後の例として、私は偶然にDeepMindチームを運営することになりました。
個人研究者になることを期待してDeepMindに参加しました。その後、予期せずに、参加してから数ヶ月後にリーダーが辞任することを決めました。そしてその後の数ヶ月で、私は彼らの代わりに踏み込むことになりました。これが得意になるかどうかわかりませんでした。
かなりうまく行ったと思います。私にとって、これは運の表面積を持つことの重要性の例でもあります。そのような機会が生じることができる状況にいること。しかし、ダウンサイドがかなり低い限り、少し怖く見えても、うまく行くと確信していなくても、物事にイエスと言うべきです。
最悪の場合、私は単にチームをリードするのが下手な仕事をしただけです。辞任しました。他の誰かを選ばなければなりませんでした。
Rob Wiblinさん、かなりうまく行ったようですね。本日のゲストはNeel Nandaさんでした。80,000 Hours Podcastにお越しいただき、ありがとうございました、Neel。
Neel Nandaです。お招きいただき、ありがとうございました。
コメント