ハーバード大学IT サミット2025における基調講演である。マイケル・D・スミス教授が生成AIの教育現場での活用について、実際の授業での実験結果を基に詳細に解説している。スペルチェックを例に、従来のUnixパイプラインとChatGPTプロンプトを比較し、生成AIの信頼性と説明可能性の問題を明らかにしている。学生の課題における生成AI使用の境界線を探り、過度な信頼が引き起こす問題を具体的事例で示している。また、批判的思考とデータサイエンスの授業で生成AIを活用した設計スプリント形式の成功例も紹介している。
開会の挨拶と基調講演の紹介
皆さん、おはようございます。おはようございます。お越しいただいて本当に嬉しいです。素晴らしい参加者数です。ところで、今朝空に浮かんでる黄色い明るい球体に気づきましたか？また見ることができて本当に素晴らしかったです。そして天候にも恵まれました。第12回年次ITサミットには最高の天気です。皆さんがここにお越しいただいて本当に感動しています。素晴らしい基調講演があります。
そして今日は皆さんのために素晴らしいセッションが準備されています。私の名前はクララ・イェリンコバです。大学副学長兼CIOを務めており、ここに座っているCIO評議会を代表して皆さんを歓迎いたします。彼らが今日のホストです。拍手をお願いします。
私は単に色々な事務的なことをお話しするだけですので、メールをチェックしたければどうぞ。
今日はマイク・スミスから始めます。彼が素晴らしい基調講演をしてくれますが、絶対に聞いてくださいね。素晴らしいものになりますから。その後、1時間ずつのセッションを2ブロック行います。一つは10時15分開始、もう一つは11時30分開始で、皆さんが会場間を移動するのに十分な時間を設けています。
昼食は12時30分から提供され、1時30分にここアナンバーグでデザートレセプションをもって終了します。皆さんご承知の通り、今は大学にとって困難な時期です。私たちは皆それを感じています。過去数ヶ月は、ハーバードの使命とその世界への影響、すなわち画期的な研究の道筋、そして社会に奉仕する知識の追求に新たな焦点を当てることとなりました。
ITコミュニティとして私たちがここに集まり、私たちの仕事がハーバードの使命に与える影響に焦点を当てる機会を得られたことに感謝しています。そして、この部屋にいる一人ひとり、ハーバードで技術をサポートする一人ひとりが、ハーバードの使命の成功に貢献する何かを持っているということを、私たち全員が認識することが重要です。そして私たちは常にその瞬間を大切にすべきです。
エンドユーザーを支援したり、特定の技術が動作するようにしたり、使命に特化していないように感じることをしている時に、それを見ることが時には非常に困難であることは分かっています。しかし皆さんがしていることの一つ一つが本当に重要なのです。なぜなら技術はハーバードが行うすべてを支えているからです。そしてすべてを支えることに加えて、それは常に進化しています。
数分後に、マイク・スミスからハーバードの教員と学生が生成AIの使用をどのように探求しているかについて聞くことになります。それは最近突然現れたように見えますが、技術に携わる私たちは皆、これが実際には長い進化の過程であることを知っています。
そしてその進化は、理論を前進させ、技術を前進させるために皆が行う日々の仕事なしには起こりません。また、生成AIがどれほど素晴らしくても、私たちが毎日サポートしている非常に基礎的な技術セットによって支えられ、その上に成り立っていることを理解する必要があります。
ITコミュニティとして、私たちが教育と研究の未来を形作る積極的なパートナーであることを覚えておくことが重要です。そして不確実な時代においても、特に不確実な時代においてこそ、私たちのスキル、専門知識、革新的なアイデアを使って大学の崇高な目標に貢献することができるのです。その精神で、今日のブレイクアウトセッションでは、ハーバード全体で技術が使用されているいくつかのエキサイティングな方法を紹介します。
セッションは4つのテーマにグループ分けされています。教育、学習と研究、インフラストラクチャアプリケーションと運用、イノベーションとサービスの未来、そしてスキル能力と戦略です。質問をして、これらのアイデアが皆さんの仕事にどのように情報を提供するかを考えることをお勧めします。私たちがより多くコラボレーションすればするほど、ハーバードとして一緒により強くなります。セッションで質問したいことに加えて、マイクに質問したいことも本当に考えてほしいのです。なぜならこの2つの椅子は、皆さんが彼に質問する機会を得られることを意味するからです。
マイクを紹介する前に、サミットを実現するために働いてくれた多くの人々に感謝したいと思います。まず第一に、私たちのホストであるCIO評議会、私たちのコラボレーションは成功にとって本当に重要です。これは長いリストですので拍手は控えてください。イベントの組織における私たちのパートナーであるデジタル教育センターは、イベント管理と出展者の調整における専門知識で私たちを助けてくれます。ありがとうございます。
実際にこれを実現してくれる出展者の皆さん、彼らの寛大なサポートがこのサミットを支えています。展示ホールで彼らのブースを見ることができますし、時間を取って彼らを訪れる機会を持ってほしいと思います。このような貴重なスペース、サービス、サポートその他を提供してくれるキャンパスパートナー。皆さんの助けなしにはこれはできませんでした。
このイベントのあらゆる側面を監督し、プログラムとロジスティクスを調整するために年間を通じて働いてくれる企画委員会、これは率直に言って真に英雄的な努力です。80の提案を審査し、それを絞り込んで今日見るセッションを見つけて厳選してくれたプログラム審査委員会。
部屋の予約からウェブサイトの更新、ベンダーの調整、マイクの運営まで、すべてのイベントスタッフがこのイベントを成功させています。本当にありがとうございました。そしてもちろん、私たちのスピーカー、パネリスト、セッション貢献者の皆さん、このセッションのために知識を共有し、準備してくださりありがとうございます。皆さんがお越しいただいたことにも感謝します。ありがとうございました。
マイケル・D・スミス教授による基調講演
そして今、今日の基調講演者を紹介できることを嬉しく思います。マイク・スミス、マイケル・D・スミス、マイケル・D・スミス教授、ジョン・H・フィンリー・ジュニア工学・応用科学教授、そしてハーバード大学特別功労教授です。
マイクは称賛される教育者であり、10年以上にわたって文理学部の学部長を務めました。彼のリーダーシップは学部教育、教員開発、そして基礎研究と応用研究の両方への深いコミットメントによって特徴づけられました。彼のキャリアにはコンピューターサイエンスと技術起業における画期的な仕事が含まれています。マイクはedXの立ち上げに積極的に関与し、2012年から2018年まで取締役を務めました。
また、様々な革新的な技術ベンチャーやプロジェクトのアドバイザーでもあります。数週間前のこの5月、マイクは学部教育における優秀性でハーバード・カレッジ教授職を授与されました。マイクをITサミットにお迎えできることは本当に嬉しいです。彼を歓迎することに参加してください。
おはようございます。ここにいることができて本当に嬉しいです。お招きいただきありがとうございます。今日は私の教室で生成AIをどのように使ってきたかについて少しお話しします。私たちが学んだこと、それが教訓の部分になります。
そして、この技術の軌道が皆さんと私の両方にどのような影響を与えているかについて考えていることについてもお話しします。クララが今言っていたように、今日のここハーバードでのプログラムの素晴らしさは、この機関の3つの重要な特徴に本当に依存していると思います、と言うことから始めたいと思います。優秀な人々。私たちには多くの優秀な人々がいます。この部屋にいるのと同じように。
私たちが集まって仕事をすることを可能にする素晴らしい物理的空間。そして、クララが今強調していた仕事の一部分ですが、この機関全体で十分に認識されていないと思うものがあります。それは皆さんが私たちのために管理してくれるデジタル技術です。このグループが知っているように、これはますます重要になっています。
そして私はこの大学が認識していると思いますし、将来皆さんがやろうとしていることに対してさらなるサポートを見ることができるという期待を持っています。ですから、その分野で皆さんがしてくれるすべてのこと、そしてその分野で皆さんがこれからしてくれるすべてのことに感謝します。今日は皆が起きているかどうかを確認するために、いくつかのインタラクティブな質問をしようと思います。これから始めます。
これは何でしょうか？知っていたら声に出してください。少し手助けしましょう。コメントを付けてみます。これで少し良くなりましたか？これが何かわかる人はいますか？スペルチェック。その通りです。このスペルチェックの特別な実装の歴史的意義は何でしょうか？誰か知っていますか？
私はブライアン・カーニハンの「Unix：歴史と回想録」という本を読んでいました。このスクリプトはUnixにおけるパイプの力の実証としてスティーブ・ジョンソンによって書かれました。そして70年代後半から80年代前半にかけて、Unixの力とそのシステムで何ができるかを多くの人々に実証するためにブライアン・カーニハンによって頻繁に使用されました。ブライアンは言います。これは典型的なUnixアプローチです。ここではプログラムがツールとして存在し、パイプがそれらのツールを組み合わせて使う力を与えてくれます。
そして彼は言いました。再び、Unixカルチャーの一部として、そして私は引用しますが「多くのことをやろうとする大きなモノリシックなプログラムではなく、一つのことをうまくやる小さなプログラムが、このグループにとって非常に重要で、彼らは未来について考えていました」。今、私たちは一つのことを本当にうまくやる小さなプログラムがもはや存在しない世界にいます。
私が使うアプリケーションは、プロダクトデザイナーがそれらのアプリケーションにプッシュして私たちに売ろうとするあらゆる合理的な機能を考え出そうと試みているように本当に感じられます。スペルチェックは、もちろん、今日使うほとんどすべてのアプリケーションで発生する例です。あるいはここのスライドに書いてあるように、Grammarlyのような専用のプログラムを使うこともできます。GrammarlyはすべてのライティングニーズのためのEnglish Language書き込みアシスタントとして自分自身を語っています。
これは、これらのシステムとこれらのアプリケーションを宣伝する企業が、すべての人のためのすべてとして宣伝している生成AIの分野ではさらに真実です。私はChatGPTに「あなたの目的は何ですか？」と尋ねさえしました。そしてそれは「私の目的は、あなたがより効果的に考え、学び、創造することを助けることです」と答えました。基本的にあなたがすることすべてです。
今、ブレインはUnixにパイプを追加することについても言いました。小さなプログラムのコレクションを使うことには強い利点があります。再び、そのUnixアプローチです。そして私がこのスライドで引用したように「普通のユーザーが新しい方法で組み合わせることができる」。彼は作業していたUnix部屋の文化について話しました。人々が今、発明の熱狂に入り、実際にそのタスクを一から完全に書く必要なく、いくつかの新しいタスクを行うためにプログラムを組み合わせる輝かしいアイデアを思いついていました。
私たちは確実に生成AIツールでこれを見ています。しかし、もちろんメカニズムはパイプラインではなく、プロンプトです。しかし再び、普通のユーザーがそれを行うために大きなアプリケーションを書こうとすることなく、自分にとって重要な新しいことを行うことができます。パイプラインからプロンプトへの接続についてもう少し深く掘り下げてみましょう。そして私はスペルチェックの私の領域で続けます。
そして、そのためには、もちろん、スペルチェックするものが必要です。そこで私は使うことにしました。後ろからは読めませんが、大丈夫です。左側は2月11日のコミュニティへのクララのメールメッセージで、私はその本文を取り出して右側のテキストファイルに入れました。Unixツールを使ってスペルチェックするのが少し簡単になります。
今、非常に明確にしておきますが、クララのメッセージにはスペリングエラーはありません。私はそれをチェックし、Grammarlyで確認しました。Grammarlyは彼女の文法について少し文句を言いましたが、この中で本当に大きなものはありませんでした。
しかし、それを裏返して、そのスペルチェックパイプライン、そのUnixパイプラインに与えて、クララのメッセージでどれくらいうまくやるかを見てみましょう。ここに再びそのパイプラインがあります。Klara.txt、テキストファイルの内容を取る。大文字を小文字にして大文字を取り除く。すべての句読点を取り除く。改行またはスペースを改行に置き換えて、1行に1単語になるようにする。その全体のリストをソートして、すべての単語がソート順になるようにする。
その中のすべての重複を取り除いて、ユニークな単語だけにする。そして、そのリストを辞書にある単語のリストと比較する。そして得るものは、辞書にない場合、それはスペルミスの単語でなければならないということです。そして私たちはここで44の フラグされた単語を得ます。今、私たちはこのリストを見ることで、これらの単語がスペルミスされていないことを皆知っていますが、私は辞書を使っています。Unixにあった無料のものです。
1934年に出版されたウェブスターの第2国際辞書です。これらの単語のいくつかは含まれていません。そしてブレインのスクリプトまたはここのスクリプトは完璧ではありません。ハイフンでつながれた単語などを処理しませんが、見て、うん、素晴らしい。すごい、ここにはスペルミスの単語がないと言うのに良い小さなリストです。もちろん、これは今日私や皆さんや学生がすることではありません。
Grammarlyがなければ、おそらく生成AIシステムに頼って、プロンプトを書くでしょう。ここにプロンプトがあります。おそらく皆さんが書くものです。このドキュメントのスペルチェックをしてもらえますか？そして、ここにヘッダーがあり、以下にドキュメントがあります。それをお願いします。ちなみに、私はこれらの実験をするのにChatGPT-4oと私たちのSandboxを使っていました。
それを行うと何が得られるでしょうか？ここにChatGPTから返ってきたメッセージの始まりがあり、非常にうまくいったように見えます。多くのことを教えてくれると思いますが、ChatGPTがスペルチェックを行ったという証拠、証明がこのスライドにどれくらいあるかを実際にどうやって知ることができるでしょうか？これについて思慮深くしようとしているのなら、私にはこの中でたくさんの証拠が見えません。
では、ChatGPTにスペルチェックを行うように頼む他の方法で、実際に私たちが求めていることを行っているというより多くの証拠を得ることができるでしょうか？私たちにはそのようなものがあります。これは何年も何年も前に書かれたスクリプトですが、スティーブ・ジョンソンはUnixのUnix言語でプロンプトを書きました。
ブレインは英語でそれに素晴らしいコメントを付けました。私は彼のコメントを盗んで、それをChatGPTプロンプトに変えるつもりです。そこで私は、以下のドキュメントを小文字に変換し、句読点を削除し、単語を行に分割し、ドキュメントの単語をソートし、重複を排除しました。ドキュメントに見つかったが、辞書にない行を印刷してください。簡単に思えます。スペルチェックのようです。Unixでうまくいくことを知っています。
何が起こるでしょうか？ここに返答の始まりがあります。要求された通りにこのドキュメントを処理するために、すべてのテキストを小文字に変換します。そして、私が求めた各々のことを列挙します。すごい。素晴らしい。ここの6番を読むと、結果を辞書と比較します。望むなら カスタムのものを提供できます。
そうでなければ、基本的な英語単語リストを使います。それが実際に使っている単語リストを知りたいです。それは教えてくれませんが、ここにあります。では、Klara.txtのスペルチェックを求めるとき、このプロンプトがどうするかを見てみましょう。ここにChatGPTが返してきたもので、これらが非辞書語だと私に言いました。0から40になりました。
ハイフンでつながれた単語について知識があるようです。確実に所有格などについて知っていますが、私にはいくつかの質問があります。これらの単語が正しくスペルされていることを知っています。ですからChatGPTは理論的には私が求めていることを行っています。しかし今、なぜこれらの単語のいくつかをスペルチェックできないのかについて混乱しています。
実験しているので、数日後に、ChatGPTに全く同じ質問をしてみようと思いました。明確にするために、これが私が尋ねていることです。以下のドキュメントを小文字に変換し、句読点を削除し、単語を行に分割し、ドキュメントの単語をソートし、重複を排除します。単語を印刷してください。行を印刷してください。ドキュメントに見つかった行を印刷してください。ドキュメントに見つかった行を印刷してください。そこで何かタイプミスをしたかもしれません。しかし、とにかく、ここでの質問は皆さんにです。
これは決定論的なプロセスになるべきだと感じますか？このプロンプトをChatGPTに与えて、それが私の指示に従っているなら、毎回同じ答えが出るべきでしょうか？自分に正直になると、そうです。私がこのプログラムに私のためにやってほしいことについて非常に明確にしています。
ここにあなたが得るものがあります。それは新しいリストです。うまくいくとわかるでしょう。それは短いリストです。今、私は今回26の単語になりました。ちなみに、昨日それを行ったら14になりました。このリストの多くの単語は以前に見つけた単語と似ていますが、すべてではありません。うわあ、確実に決定論的ではありません。
今、私は3年生の時の私のひどいスペリングを弁護するためにこのアプローチを使えたらよかったのにと思います。しかし、ちょっと全体像に戻ると、スペルチェックでのこのすべての楽しみが実際に私たちに何を教えているのでしょうか？それは私たち皆が知っている一つのことを教えています。このようなAIには説明可能性の問題があります。私はそれにプロンプトを与えました。
それは何かをしました。どうやって最終的にそこに着いたのでしょうか？かなり決定論的なプロセスに見えるものに対して2つの非常に異なる答えで最終的にそこに着いたのはどこでしょうか。説明可能性は、もちろん、信頼の基礎です。これらのツールが私が求めていることを行っているという信頼を持つことができるでしょうか、特にかなり決定論的なことを行うように求めているときに？もちろん、これはチャットボットと作業することの唯一の課題ではありません。これらの多くは文献やそこにあるニュース媒体で議論されています。
私たちはしばしば使うプロンプトが重要だと話します。それは私たちがしばしば話すプロンプトエンジニアリングの基礎です。プロンプトエンジニアリングについて人々が話すのを聞くとき、焦点のほとんどは、良い答えを得ること、チャットボットに何かをタイプして、それが本当に望んでいることではないことをしてもらうフラストレーションを避けることだと思います。
チャットボットに何かを行うように求めるとき、この答えは正しいのか、それとも単に良く見えるだけなのかということも、この一部であるべきだと思います。ChatGPTに与えた最初のプロンプトの問題の一つは、単にこのドキュメントのスペルチェックをしてくださいと言ったことです。それが良い仕事をしたと感じました。ちょっとブレインのデモに戻ってみましょう。
ブレインは世界の多くの人々に実証しました。ある時、彼はCIA長官や他の重要な人々が彼のデモを見に来てもらったことがありました。彼はそれを見て言いました。これらの非常に忙しい人々とともに、この作業が長時間かかりすぎて、彼らを失ってしまうのではないかと少し心配していました。
コンピューターの世界で良いデモンストレーターは何をするでしょうか？事前にプログラムを実行し、出力をキャプチャし、2秒待ってからデモンストレーション中にキャプチャした出力を印刷する別のスクリプトを書きます。私たちは皆、おそらくキャリアのある時点でこれを行ったでしょう。CIA長官や他の人々は、ChatGPTがスペルチェックして戻ってきて、このエラーはありませんと言ったのと同じように、私たちが感銘を受けたように感銘を受けました。
それは私たちが起こることを期待していたことでした。しかし、ここでのプロンプトは、もちろん重要で、それが正しいかどうかについて心配しています。HBSの私たちの同僚も、生成AIシステムには知識フロンティアがあることをフィールド実験で文書化しており、彼らはフィールド実験を通してこれを示しました。求めているタスクの知識フロンティア内では、生成AIボットは非常に良い仕事をします。答えを得るでしょう。
それは正しいです。これらのスペースでは答えを信頼すべきです。その知識フロンティアの反対側では、タスクを求めると、そのタスクで本当に良くないでしょう。何をしているかとても明確かもしれませんが、していません。そして最悪の場合、幻覚を見ます。そして私たちが見分けるのは非常に簡単です。
もちろん、課題は、それが実際に考えていないでそのタスクを私たちのために行っていないときを把握することです。なぜなら、それは彼らの知識フロンティアの外側にあるからです。私が話しているこれらのチャットボットの品質は、私たちの教育的使命にとって何を意味するのでしょうか？私の関心領域です。いくつかの課題について少しお話しします。このリストを通ります。
そして少し後で、いくつかの機会について話します。なぜ私たちが教育的な設定でこのような生成AIを使いたいのか、これらの課題なしにその利益をどのように得ることができるのかについて話します。しかし、これらの課題に少し焦点を当てましょう。私は既に悪いプロンプトについて話しましたし、もし私たちが教育機関内でこれを使おうとしていて、学生たちに学習を助けるためにチャットボットにプロンプトを出すよう求めているなら、フラストレーションを避けたいのです。
学生たちを学習環境の準備ができていない状態にする最も早い道は、起こっていることに対してフラストレーションを与えることで、悪いプロンプトがそれを行うことができます。この未知のフロンティアについてはかなり議論されており、もちろん、信じられる幻覚から離れていたいと思います。
しかし、私が少し前に持ち出した信頼の問題についてもう少し言いたいと思います。他の論文もあります。ジャグドフロンティア論文の著者の一人であったデルアクワは、AIが熱心すぎるか良すぎるとき、人間がハンドルから手を離して眠り始め、AIが行うことを完全に信頼し、思考をオフにするようになるため、ユーザーの認知努力を0に押し下げることについて話しています。
私のクラスのいくつかで苦労しているこの質問に熱心に答える能力は、学生の認知行動を0に本当に素早く押し下げることができ、これは正確に私たちの教室で起こってほしくないことです。ですから、私たちはそれについて心配する必要があります。そして、ここで良く見える応答のこの質問です。私が説明しようとしていたスペルチェックの例、この過度に熱心で、幻覚を起こしやすい。
チャットボットは問題ですが、ここでの最大の問題だとは思いません。私たちがこれらの生成AIシステムのいくつかに不当な信頼を与えているということです。この点をもう少し強調するために、もう一つのクイズをあげたいと思います。そして、これは実際に完全に聴衆参加です。この質問セットがどのように見えるかをお話しします。タスクがあります。
これは教育的なタスクです。そして、論文を書くことを少し選びます。他のタスクを選ぶこともできました。そして、質問をします。質問は「私は何々を使って何々をすることができますか」という形になります。ここで私は、あなたは論文を書くように求められるクラスの学生として自分自身のことを考えるべきです。
その大きなタスクのいくつかのサブタスクを実行するために何かのツールを使うことができますか？さあ、私に答えてください。そのサブタスクにそのツールを使うことがこのタスクの下で大丈夫、範囲内だと信じるなら、私は片手を上げてほしいです。それが範囲外で、すべきではないと信じるなら、両手を上げてこのように交差させてください。理解できますか？準備はいいですか？さあ行きましょう。
論文を書く。スペルをチェックするためにGrammarlyを使うことができますか？範囲内か範囲外か。いいですね。素晴らしい。ほとんどの人は範囲内だと予想し、言うと思います。そして、ほとんどの人が今日これは完全に範囲内だと言うと思います。私たちは大学でスペルをテストしていません。ですから、先に進んでスペルをチェックするためにGrammarlyを使ってください。
ここに別の質問があります。私の論文の議論を概説するためにChatGPTを使うことができますか？よし、そこでもう少し混合があります。よし、私は質問を少し曖昧にしています。概説とは何を意味しているのでしょうか？私たちはここで本当に何をテストしているのでしょうか？皆さんの何人かはおそらく、ああ、うん、いい概説。アイデアを得て。自分で論文を書きに行ってと言っているでしょう。他の人は、概説は論文にとって重要だと言っています。
それが学生の仕事であってほしいです。そして、彼らはそれを埋める必要があります。私の教員の同僚のほとんどはこれは範囲外だと言うでしょうが、これはあなたのクラスで本当に明確にすべきことです。よし、最後の一つ。私の参考文献リストをソートするためにChatGPTを使うことができますか？私は論文を持っています。それには多くの参考文献があります。
参考文献は最後に現れます。私はそれらをソートしたいです。私は誰もノーと言っているのを見ません。素晴らしい。すごい。素晴らしい。私にとって、これは決定論的です。論文を書くように求めるとき、私は学生が参考文献リストをソートできることをテストしていません。私は彼らに深く考えてもらいたい何かについて論文を書くことを求めています。
しかし、それはまた、決定論的だと思ったスペルとよく似ています。ChatGPTエージェントがここで正しいことを行っているということをどのように確信できるでしょうか？私の最近のクラスの一人の学生がまさにこれを行ったので、私はこれに言及します。私はそれがクラスで範囲外だと言いませんでした。それは範囲外ではありませんでした。
私は彼らが参考文献リストをソートするために生成AIシステムを使うことを完全に喜んでいますが、学生はその活動がこの生成AIエージェントができることの範囲内にあると信頼し、出力が良く見えたので出力を信頼しました。彼らは実際に出力を見るために時間を費やしませんでした。一方、私はクラスの講師です。
私は学生がクラスで許可されていない方法で生成AIを使うことを心配しているので、学生の論文を注意深く見ており、実際に彼らの参考文献リストを見て、参考文献リストに幻覚を見た参考文献があるかどうかを確認しています。この学生が参考文献リストに何を持っていたか推測してください？今、それらは論文にはありませんでした。
論文には良い参考文献がありましたが、生成されたリストは良くありませんでした。私は今、この人を問題に巻き込みました。なぜなら、彼らは生成AIシステムを過度に信頼することで、ハンドルから手を離して眠っていたからです。ここでの問題は、再び、私が思うに、学生は正しいことをしようとしていたということです。彼らは起こったことについてひどく感じ、来て私にこれを説明しました。そして、もちろん、私はそれを講演に変えました。
しかし、彼らはこのツールによって損なわれており、私たちはそれについてもっと話すでしょう。ですから、この部分からの教訓は、あなたが歩き去ってほしいのは、このようなツールをクラス内でいつ使えていつ使えないかのルールについて明確にするだけでは十分ではないということです。それより多くのものがあります。
もし皆さんがこれについてもっと話したいなら、私の他のクラスからの他の例もありますが、教育におけるチャットボットに戻りましょう。私たちは今、この課題のリストを覆い、今度は機会について少し話したいと思います。これをもう少しポジティブに変えましょう。これらのチャットボットには膨大な量の知識が含まれています。私たちは、私たちのクラスのための正しい方法で、その知識を学生が利用できるようにしたいと思います。彼らは常に利用可能です。質問があるときに素早く応答します。
そして、私たちの多くが話しているように、それらは未来のための重要なスキルツールです。生成AIツールを使って自分自身をより効果的にできる人々は、未来の世界でより良くできるでしょう。これらすべての理由で、少なくとも私の意見では、私たちはそれらをオフにすべきではありません。
そして、私たちは私が持っているクラスで多くの異なる方法でこれを行おうとします。私のクラスの一つでは、私は通常、オフィスアワーが利用できないとき、またはディスカッションボードが応答しないときなどに学生が使うことができるチャットボットを構築することによってこれを行っています。
ケーススタディで言うと、これはComputer Science 32、コンピューターサイエンス入門クラスです。私は学生に与えることができる助けを可能な限りスケールしようと本当に試みています。もちろん、問題は学生に助けを得させることですが、助けが多すぎないようにすることです。
そして、この方法で助けるボットを構築することについて話している多くの個人がそこにいるにもかかわらず、私の経験では、それは非常に当たり外れが大きいと言います。私のボットは役に立ちすぎるか、十分役に立たないかのどちらかで、完璧な中間のゴルディロックス空間を見つけることは実際に私たちにとって非常に困難でした。
実際にジム・ワルドにうなずいて話したい他のクラスは、彼が実際にapplied computation 221を始めました。それは批判的思考とデータサイエンスのクラスです。そして、ここで私が話したいのは、学生により良い学習成果をもたらす学生に求めていることを変えるための生成AIの成功した使用だと私が見つけたものです。
今、それは完璧ではありません。私はまだこのクラスで問題を抱えています。これは実際に記述課題を行っているクラスで、私は実際に記述部分で学生に求めていることを変えませんでした。そして、私は問題を抱えています。しかし、少しの間、完璧な、完璧ではない、ここでの良い例について教えてください。
そして、私は焦点を当てます。私はクラスについて少し教えなければなりません。ですから、一分でクラスの後半に焦点を当てます。しかし、このクラスの始まりについて少し教えてください。ですから、それはデータサイエンスにおける批判的思考です。このクラスは、学生に新しいデータサイエンス技術を教えるクラスになることを意図していません。彼らは他の多くのクラスでそれを得ます。
このクラスの目的は基本的に倫理のクラスです。そして、それは、あなたが構築しているものを構築すべきかと言います。そして、もしあなたがそれを構築するなら、誰に影響を与えますか？そして、彼らはどのように最終的に影響を受けますか？そして、これらの問題のいくつかをどのように緩和できますか？ですから、クラスは私たちがこの空間で議論できるように、倫理とテクノロジーとの時間を経た相互作用の基礎的側面から始まります。
そして、私たちは社会問題とテクノロジーの特定の交差点に深く潜ります。プライバシーは非常に簡単です。長い歴史があります。多くの異なることが行われてきました。ですから、私たちはこの空間で話していることの最初のモデルとしてそれを使います。何ができるか？いつ私たちは何か間違ったことをするか？これらのことをどのように修正するか？クラスのこの部分は非常に成功しています。
学生は他のクラスで得ているものとは異なるものを得ています。彼らはおそらくヒントを得ていたトピック間の関連性を見ています。彼らはこの素材の部分に従事しています。彼らはプライバシーのために私たちが持っている歴史的弧を愛しています。春休み後、私たちは何をするのでしょうか？さて、私たちはプライバシーとテクノロジー部分で非常に成功していたパターンを他の多くのテクノロジーのために繰り返し、2週間のセグメントでそれを行います。
私たちは何をするのでしょうか？同じことをします。いくつかの論文を読みます。いくつかの接触を構築するために少量のプログラミングをすることになります。私たちは主に他の人々の仕事を批判しています。この読書、議論、そして他の人の批判を行うとき、学生が私たちが読んでいる人々が陥った同じ罠に陥らないことを学ぶことを私は望んでいます。
学生は何をするのでしょうか？彼らは来ることをやめ、私のクラスで眠ります。なぜでしょうか？彼らは、うん、うん、分かった。あなたはプライバシーユニットで私にこれを行う方法を教えました。そして今、他の分野でこれについて考えているだけで、あなたは私に新しいことを教えていないようです。私は分かりました。私には他にやることがあります。それをやりに行かせてください。皆さんが想像するかもしれないように、これは私をフラストレーションさせます。
ですから、今年、それは過去の年でした。ですから、今年、私は春学期の始まりの前に少し時間を費やし、私は言いました。私は1トピックあたり2週間を持っています。私が今していることはうまくいっていません。学生がこの仕事により従事し、彼らが魅力的だと思う方法で私が到達しようとしている成果を理解するために、今何ができるでしょうか？以前は、正直に言って、答えはあまりありませんでした。
私は非常に多様な個人セット、多くの異なる背景を持つ多くの異なるトピックについて話していて、共通点を見つけるのが困難で、2週間ごとに新しい分野で仕事をしてもらうのが困難です。しかし、ChatGPTは私に「私の目的は、他のことの中でも、あなたが創造するのを助けることです」と言いました。
生成AIは、私たちが専門家ではない分野で私たちを専門家にすることができます。私が学生をテストしたい分野ではなく、より良い学習成果に到達することを可能にする分野で、生成AIを使って学生を専門家にすることができるでしょうか？ですから、それが私たちがしたことです。ですから、私たちがしたことは、2週間が2週間のデザインスプリントになるようにクラスを構造化することでした。彼らは何かを構築する必要がありました。
ですから、私たちは彼らがいくつかの背景を持つように、いくつかの基礎的な読み物をまだ行いました。私の無駄話を15分に保ちました。これは今私がしていないことです。コースで、クラスでの時間はグループプロジェクトで一緒に働くために学生のために予約され、一分でそれを行うことの利点について話します。
そして、彼らが求められた仕事は、おそらく数人の学生ができるかもしれませんが、通常はこのクラスのほとんどの学生ができることを超えています。しかし、生成AIによって、彼らはそれを行うことができました。そして、一分でそれがどのように見えるかをお見せします。そして2週間の終わりに、彼らは私たちのために特定のシナリオで動作するソフトウェアの一部を実証しなければならず、基本的に私たちにそれを売り、それについていくつかの批判的思考を行わなければなりませんでした。ですから、今彼らは自分自身の仕事について批判的思考を行っています。私は過去年に2つのテクノロジー、顔認識と音声クローニングでこれを行いました。私たちはそれぞれに異なるアプローチを取りました。
ここで私がしたことです。私が決めたことは、AIを私のクラスに合うように束縛するのに苦労しているということでした。ですから、AIを束縛せず、学生を束縛しましょう。これは私たちが私たちのクラスでとにかく常に行うことです。彼らが作らなければならないビデオは教育的でなければなりませんでした。
彼らは他人の犠牲で楽しむことは許されませんでした。彼らはクラスからの人々だけを得ることが許され、クラスの個人から同意を得なければなりませんでした。同意は限定されていました。ただ、あなたは私の声をディープフェイクしようとしているということです。そして、彼らはスクリプトが何であるかを言われませんでした。そして、私は学生に、彼らが深層音声クローンした学生のためにビデオを再生し、彼らの反応を得て、彼らがそれについてどのように感じたかなどについて質問をするように求めました。
ですから、私たちが以前に話した生成AIのすべての欠点、私はここでこのリストを通りません。グループワークなどのために私たちは克服しました。私たちはこのクラスで重要な学習成果であったものの側面を再強調し、この演習を通して、学生はそれをしたがりました。
彼らは明らかにそれを行うことを楽しみ、正直に言って、私が過去にこのトピックについて彼らに教えることができた以上に、この2週間で彼らは学びました。私は時間がなくなっているので、いくつかの素早い言葉を言わせてください。ビジネススクールの私たちの同僚の一人であるカリム・ラカーニは、しばしば生成AIシステムを認知のコスト低下として話します。
そして、私の心の中の本当の質問は、私たちの教育的使命を助けるために、この豊富なリソースをどのように使うかということです。この部屋にいる皆さんのうちプログラマーである人々は、私たちがそれを行う方法を見つけたことを知っています。私は熟練したプログラマーです。おそらくこの部屋の皆さんの多くほど良くはありませんが、生成AIが私のプログラミングでより効果的で効率的にする方法を理解しました。それは素晴らしいです。私は豊富でないリソースからより多くを得ています。
学生、私たちは彼らが疑っていたことを短時間で動作するプロトタイプを作らせることによってそれを行いました。そして、彼らはそれを行いました。彼らは読書テストを確実にするために他のことを行わなければなりませんでした。私はまだ文章の世界側でそれを起こらせる良い仕事をしていません。
私は彼らの記述課題で期待される認知作業の同じレベルを保っており、それは私が前進するにつれて明らかに間違っています。ですから、ここに機会があると思います。私について尋ねたいなら、私のような人がクラスをリードする際に、クラスの前に材料を作るだけでなく、実際にクラスで生成AIシステムから得ることができる認知ブーストから利益を得る機会があると実際に思います。
私が話してきた信頼と生成AIの詳細の外で、いくつかの言葉で終わらせてください。そして、私がここで与えた単純な例を超えて見たことの種類に基づいて、未来について考えることを皆さんに与えてください。
まず第一に、生成AIモデルとツールのテストのこの問題です。私は実際にそれが私たちの問題だと思います。皆さんの問題と私の問題です。そこにある他の多くのソフトウェア製品とは異なり、私たちはそれが入る前にあるレベルのテストを期待します。そして、彼らが私たちにこれが製品ができることだと言うとき、私たちはかなり彼らを信じます。
数週間前または今は数ヶ月前にPerplexity AIのCEOが話すのを聞きに行き、彼らが新しいモデルをいつリリースするかを決定する方法について質問をしたとき、意訳ですが彼の答えは基本的に競争がリリースを推進するということでした。彼らが必ずしも到達するテスト標準はありません。もちろんいくつかのテストはありますが、私たちが気にする十分ではありません。これは今、私たちが行う問題になるでしょう。
ですから、行くべきいくつかの興味深いことがあると思います。私たちはこの中でハンドルから手を離して眠ることについて少し話しました。そして、大学の仕事の完全性を保護する新しい課題があると思います。大学全体でより多くの人々がこれらのツールを使用するようになるにつれて、私たちの教室内だけでなく、私たちのオフィスなどでも。
おそらく過去にセキュリティ空間で行ったことと同様に、ツールが私たちのために生産しているものに対する過度の信頼、あまりにも多くの信頼の可能性を認識をどのように高めるのでしょうか？そして、AC 221の学生が未来に何が起こるかを予測し、それについて論文を書くように求められた楽しいことがあり、一人の学生がコンパニオンとしてのチャットボットと個人として私たちが抱えるかもしれない問題について書きました。
これらのチャットボットをコンパニオン、信頼される内部コンパニオンとして信頼し始め、彼らが信頼しないものを彼らに話すこと。そして、データ保護とセキュリティについて今日話すのと同じ種類の方法で、おそらくその空間でもっと行う必要があります。ですから、私は長時間続けることができますが、時間がなくなりました。ご注意いただきありがとうございました。
質疑応答セッション
ありがとう、マイク。これは素晴らしかったです。非常に考えさせられます。私が最初の質問をする前に、聴衆に何か質問があるかお聞きしましょう。私が知っているのは、興味深いことに、あなたはこの空間で非常にリーダー的だということです。教員として、あなたは実際にクラスでそれを使っています。しかし、すべての教員が全く同じ場所にいるわけではありません。
そして、あなたはコンピューター科学者であるにもかかわらず、心理学者になってもらいます。ですから、しばしばこの部屋の人々、技術スタッフ、技術エンジニアは、技術が来ており、それが対処される必要があることを見ています。しかし、彼らは接続するのに苦労し、教員を説得するのに苦労しています。または、彼らは教員とどのように働くのでしょうか。
あなたの心では、教員と技術チームが互いについて最も頻繁に誤解していることは何で、技術の人々ができることは何でしょうか、助けることができるでしょうか？確実に。私はここで一瞬、私のテストコメントを二重にします。私が思うに、皆さんができる最良のことは、もちろん、技術を使おうとしている個人が実際に技術をどのように使いたいかを理解しようとすることです。なぜなら、彼らは知らず、実験し、異なることを行っているからです。
そして、ボードに来るこれらの新しい技術で、私は最初にしたいことは早期採用者を見つけに行くことだといつも大きな信者です。これらの早期採用者を見つけて、彼らが本当にやろうとしていることを理解し、そして彼らを助けるのです。私は彼らを助ける多くの機会があると思います。ツールを提供するだけでなく、彼らがツールで何をしようとしているかをより良く理解できるなら、そして私が問題を理解するために痛みを経験し、学生が問題がどこにあるかを理解するために痛みを経験したように彼らが問題を理解するのを助けるなら。
どのようにその過程を加速できるでしょうか？そして、その過程は両者間のパートナーシップによってのみ加速できると思います。そして答えを仕上げるために、それは最終的に機関と教員の残りに伝播し、決して採用しないグループを取り、彼らを脇に置くつもりです。
私たちは彼らについてあまり心配していませんが、その中間がどこに移動するか、そしてその中間を移動させる方法について心配しています。そして、私たちのような機関でその中間を移動させる最良の方法は、彼らの同僚に彼らがそれで何を行ったかについて話してもらうことだといつも信じており、そうするとそれは非常に素早く変わります。
ですから、私たちが皆暗闇で撃っているだけの側面は私の最大の心配です。ありがとうございます。聴衆に何か質問はありますか？恥ずかしがらないでください。お願いします。ああ、そこに。ありがとうございます。教員がHUITと一緒になって会話を作り、最終的にクラスルームでこれらの新興技術をどのように活用できるか、そして改善のためにという証明書コースを作るかどうか疑問に思っていました。
ですから、教員がHUITまたはユニットの技術チームと一緒になって、クラスルームで技術を使用する方法についてのコースを作る意志があるかどうかという質問です。おそらく他の機関に証明書を提供する可能性のある証明書コースです。
そのように、ハーバードがリードし、他の機関に証明書を提供することになると私は仮定しています。ええ、私はあなたがその最後に持って行ったところを愛しています。ですから、私は絶対に、はい、これに対する機会が確実にあると思います。そして、見てください、私は訓練によってエンジニアです。問題を分解して、最初のステップが実際に何であるかを理解することを助けることができません。
私はまた、スタートアップなどを行った人々にとって、私たち自身のドッグフードを食べることの大きな信者です。それはその重要な側面です。これらのツールが何であるか、何に使用できるか、人々が言うことと実際の真実は何かについての教育の即座の問題があると思います。そして、それは教員側にあると思います。
そして、私の推測では、この部屋の皆さんの多くは技術の一部を知っていますが、他の人は知りません。次のステップに飛ぶのではなく、私たちが両方のグループについて気にするコースを通して、両方のグループを同じ方法で教育することはどうでしょうか。OK、これがクラスルームでそれを使う方法です。私はいつもクラスルームでそれを使う方法についてここにいることを心配します。
しかし、もし私が技術が何であるか、その良い側面がどこにあるか、その問題のある側面がどこにあるかについて良い理解を持っていないなら、その次の会話は少し不公平です。ですから、私は2段階のプロセスとしてそれを行います。この最初のクラスを取りましょう。これを理解することで私たちのコミュニティ全体を前進させ、そして私たちの教育空間で、私たちの研究空間で、私たちの管理オフィスなどでそれを最もよく使用できる方法についてその知識でその会話を行いましょう。
素晴らしい。ありがとう、マイク。他に質問はありますか。そこの上にありました。ああ、これは本当に私を盲目にしています。あなたの側は私のよりもずっと良いです。ありがとう、マイク。それは非常に教育的な講演でした。そして私は信頼についてもっと聞くことに非常に興味があります。なぜなら、AIを扱う私の経験では、それは非常に自信があるように聞こえるからです。それは正しく見えます。
そして、教師がどのようにできるか、または学生にとってのアドバイスがあるかもしれませんし、あまり信頼を構築するのではなく、信頼を測ることです。私はAIを信頼し、それが間違っていたこと、またはそれが間違っていた一つの部分を理解するために結局すべてのドキュメントを読んでしまったが、非常に自信があるように聞こえたことで、自分自身が何度か燃やされたと感じています。
ええ、その過度の自信の側面は、私が思うに、それは人間のフィードバックで訓練されたことの一つです。そこで読むことができる論文があります。人間は彼らが正しいと言われることを愛しています。ここに答えがあります。それは行っています。ですから、私たちにとって最悪のすべての世界を得ています。特に私たちのコミュニティにとって、ジムと私が教えるクラスで、私たちは学生に批判的思考者になるよう、見るすべてを信じないようにしようとしています。
しかし、これらのツールが入ってきて、それを簡単にしています。そして、彼らはあなたにそれはすべて、私たちはそれを得た、私たちはそれを得た、私たちはそれを得たという種類のアプローチでそれを伝えようとしています。私は短い答えを持っていればいいのにと思います。なぜなら、私は皆さんと同じボートにいるからです。燃やされたのです。私は物語を見つける方法を望んでいます。ですから、今私は皆さんを私がここで伝道者であったように伝道者になってもらおうとします。コミュニティにとって魅力的な物語を見つけて、彼らに、ああ、ええ、と言ってもらい、安全な、もしそうなら、環境でそのプロセス全体を加速できるでしょうか。私は本当におそらくそれについて考えていたならばすべきではないことを行いました、そして人々をそのモードに入れます。
そして、皆さんの一人ひとりがおそらくそれのより多くの部分を見るので、他の人とそれを行うことができると思います。あなたが言っていたように、クララ、私の同僚の多くはことを行うことをためらうか、彼らは非常に狭いスペースで技術を使ってことを行っているか、または彼らはもし私がちょうど私のコースにチャットボットを入れるなら、ことがより良くなるだろうと信じています。
そして、それは危険です。それはあなたを愛するふりをします。それはあなたを愛するふりをします。それは過度に熱心で、いつもそこにいて、しかし社会病質的です。私たちは皆、そのような友人を持っています。ですから、イノベーション。もしあなたがちょうどそれに顔を置くなら、あなたはそれを異なって扱い始めます。とにかく、最後の一つの質問。そこにあります。
ChatGPTを使って参考文献をソートした学生について。あなたは、ああ、彼らは参考文献をソートすることがワードプロセッシングプログラムで行うことができることであることを実現していなかったと思いますか、それともこれは彼らの成績に影響しましたか。また、あなたがそれが特別に範囲外ではないと言ったので、私は興味があります。
はい、もう少し。私は学生がクラスで生成AIを使うことを望んでいます。もちろん、理由の一部は、それが私たちが話すことができる多くの興味深い倫理的質問を生成するからです。私が時間がなかったもう少しの文脈を教えてください。ですから、学生は最後の瞬間に、彼らが課題についての私のすべての指示を読んでいなかったことを実現し、課題が論文の最後に参考文献リストを与えるように求めていました。彼らは論文全体に参考文献を散らばらせていました。
正直に言って、私は実際に気にしません。そして、彼らは最後の瞬間に、まあ、私はちょうど行くつもりです。私は私のすべての参考文献を見つけて、それから最後にソート順でそれらを置くことができました。ですから、彼らは実際に生成AIシステムに論文から彼らの参考文献を引き出し、それらをリストに入れ、それがソートされていることを確認するように求めていました、そしてそれは失敗しました。
それは完全に明らかではない方法で失敗しました。それが問題でした。一見すると、それは良く見えました。論文の参考文献に一致するように見えました。ですから、再び、私がいつも学生に針で刺すことの少しです。
最後の瞬間に指示を読んでいるとはどういう意味ですか？それはあなたがすべきことの最初のことの一つではありませんか？しかし、私は実世界で、もし私が人間にこれを行うように求めるなら、彼らは毎回同じことを行うだろうと私たちの多くが座って考えることのポイントに戻ることを望んでいます。彼らが毎回同じことを行うだろうということに疑問はありません。その中に小さな間違いが異なってあるかもしれませんが、それは私たちが話していることではありません。
私たちが話しているのは、スペリング例が実証したように、私たちがそこにあると思う期待にもかかわらず、毎回大きく異なることです。そして、私たちが機械に行うように求めることと、それが行うつもりだと思うことと、それが実際に行っていることとの間で今日世界で持っているこの全体の不一致、そしてそれをどれくらい信頼すべきかは、私がちょうど行わない部分です。私たちは幻覚について話しますが、それは私たちがここで話していることの一つの側面に過ぎません。
素晴らしい。ありがとう、マイク。これが私たちの最後の質問でした。ありがとうございます。一瞬で、私たちはセッションに入ります。しかし、一つのプログラムノートがあります。残念ながら、10時15分のセッション「数学をアクセシブルにする」のスピーカーが病気で、今日プレゼンテーションできません。ブレイクアウトセッションの後、昼食は12時30分からメモリアルホールでのピックアップとサイエンスセンタープラザテントでの座席で提供され、その後アナンバーグホールでデザートで終了します。
来週、皆さんは私が読んでほしいと願っているイベント後調査を受け取るでしょう。そして、私が皆さんに言いたいのは、私たちが収容できなかった80の提案のうち、私たちは実際に月に一度、私は信じています、それが初期の計画です、私たち全員に利用可能な技術講演のシリーズを始めているということです。
ですから、年間を通してサミット精神を生き続けさせる方法があります。本当にありがとうございました、そして昼食でお会いしましょう。ありがとう、マイク。
コメント