本動画は機械学習と人工知能の基礎を学ぶ教育セッションの記録である。講師は機械学習シリーズ全12回の初回として、AIの概念から始まり、機械学習、深層学習の関係性を明確に説明している。猫の画像分類を例に、従来のルールベースアプローチから機械学習アプローチへの進化を解説し、教師あり学習と教師なし学習の違い、さらには大規模言語モデルの発展まで幅広くカバーしている。質疑応答では学生からの実践的な疑問に答え、バイアスや精度の問題についても触れている。
機械学習入門セッション開始
みなさん、こんにちは。お忙しい中お越しいただき、ありがとうございます。今日は本質的にセッション0、つまりセッション1として、2025年秋学期「機械学習入門」シリーズの開始となります。
このセッションは皆さんのために準備したもので、今学期を通じて10から12のワークショップを用意しています。このワークショップシリーズで達成したいのは、皆さんが機械学習についてほとんどまたは全く知識がない状態で参加し、知識として価値のあるものを身につけて帰ってもらうことです。
機械学習が皆さんにとって未知のものだったとしても、10から12のセッションを終える頃には、LLMとは何か、NLPとは何か、機械学習がどのように動作するか、ニューラルネットワークがどのように機能するかを理解できるようになります。それが私たちの目標です。
今日はセッション1なので、主に機械がどのように学習するか、深層学習とは何かについて話します。詳細な議題については後で説明しますが、その前に今後の計画をお見せして、皆さんに準備していただけるようにしたいと思います。
ワークショップシリーズの全体計画
私たちのInstagramにも掲載していますが、これが「機械学習入門」シリーズです。12の実践セッションによるワークショップで、機械学習を基礎から上級レベルまで教えます。
今日のセッション1では、機械学習と人工知能の大まかな分類について話します。AI、ML、DLの状況がどのように機能するか、LLMがどのようにして登場したか、NLPとは何か、コンピュータビジョンとは何かについて説明します。これが私たちの土台を整えることになります。
この後は数学について話します。多くの人が機械学習の学習を始めるときに、この特定のトピックを見落としがちです。しかし、これは機械学習を学ぶための最も重要な基盤の一つだと思います。なぜなら、背後にある数学を理解していなければ、深層学習やLLMの動作原理などの難しいトピックに進んだときに、非常に困難になるからです。
数学は非常に重要なので、来週の水曜日に予定している次のセッションは、すべて数学に関するものになります。数学を恐れる必要はありません。誰にでも理解しやすい方法で説明することを心がけています。それがまさに私たちがここにいる理由だからです。
教師あり学習と教師なし学習の概要
次に、今日は教師あり学習と教師なし学習について説明します。これらは機械による学習アプローチの基本概念です。しかし、線形回帰について話す教師あり学習専用のセッションも用意しています。線形回帰は機械学習で最も基本的なアルゴリズムの一つです。これらの点から直線をどのように予測するのでしょうか。セッション全体がそれについてのもので、皆さんは実際に線形回帰メカニズムをコーディングすることになります。
失礼しました。線形回帰について話した後は、当然ロジスティック回帰が続きます。この二つは常にセットで出てきます。私たちはまた、存在する様々なロジスティック回帰アルゴリズムについても話します。これは概念を概観するだけでなく、深く掘り下げる内容になります。
その後、線形回帰を超えた、より一般的な他の学習アルゴリズムについて話します。すべての教師あり学習アルゴリズムに触れた後は、教師なし学習アルゴリズムを取り上げ、推薦システムについて詳しく話します。
推薦システムは現在の核心的な技術で、Netflix、Spotify、Amazon、あらゆるところが推薦システムです。セッション6では推薦システムについて詳しく説明します。
ニューラルネットワークと深層学習
セッション7はニューラルネットワークへの深い潜入になります。ここが深層学習への旅も始まる場所です。NLPやコンピュータビジョンがより広いスケールでどのように動作するかを学ぶことに情熱を持っている人は、まずニューラルネットワーク側で物事を整理する必要があります。このセッションでは、ニューラルネットワークが脳のニューロンをどのように描写し、模倣するかについて話します。
深層学習の基礎はその後に続き、セッション9はコンピュータビジョンの専門セッションになります。物体検出がどのように動作するか、またはWaymoがどのように驚異的なことを行っているかに興味がある人のためのセッションです。
自然言語処理と大規模言語モデル
NLPは、私たちがシステムに人間として入力を与え、システムまたは機械がその人間の言語を理解し、人間がするように応答することを期待するものです。セッション10はすべて自然言語処理についてです。
そしてLLMが登場します。これは10年のトピックです。2024年はLLMの年でしたが、現在はAIエージェントに向かって進んでいます。LLMはセッション11になります。
セッション12は強化学習（RL）です。機械学習と深層学習の基礎をすでに知っている人なら、今日人々が強化学習とその方向のフレームワークにシフトしていることに同意してくれるでしょう。それが話題だからであり、そこに良いものがあるからです。
これが私たちが計画している12のセッションのすべてです。DiscordとSun Devil Centralで活発に活動することを強くお勧めします。これらが私たちのワークショップと議題について投稿する主要な2つのプラットフォームです。Instagramもあります。
今日のセッション内容
今日のセッションに戻りましょう。今日のセッションは主に機械学習に関する基礎的な情報についてです。
今日の議題は「なぜ話題なのか」をカバーします。これについてはASUのAIイベントでも話しました。なぜAIシステムがあらゆるところにあるのか。次に状況について話します。人々はAIが存在し、機械学習が存在し、深層学習が存在することを知っていますが、関係性は何でしょうか。それが今日明確にすることです。
またAIでの学習プロセスについて学びます。これはかなり明白ですが、機械の視点から理解しましょう。そして学習アプローチについて話します。機械が本質的にどのように学習するかという、機械学習の核心概念です。
さらに、深層学習、教師あり学習、教師なし学習、そしてLLMへの進化について話します。最後に、NLPやコンピュータビジョンなどのAIに追加された新しいフロンティア、これらの新しい流行語について触れることができます。
ここで一つ重要な点を皆さんにお伝えしたいのは、今日のセッションはかなり基本的なので、皆さんにとってコーディングの実践体験はありません。基礎が整うように情報をすべて提示するからです。しかし、今後のセッションに進歩・発展していくにつれて、Google Colabで実際にコードを書くことになります。それが設定する最も簡単な方法です。ASUまたは他のGmail IDでログインするだけで、それ以上何もありません。このようなオリエンテーションにとって最高のコーディングソリューションとして機能します。
AIの日常利用と基礎理解の重要性
皆さんはすでにAIユーザーであるという事実を声に出して言いたいと思います。なぜそう言うのでしょうか。Alexa、Siri、Netflix、Spotify、Amazon、すべてが基盤でAIを使用しているからです。
しかし、これらすべての高度なシステムについて話すとき、これらが密なネットワークであることを理解しなければなりません。その背後では多くの計算が行われています。一つの機能を出すためにも、n個の技術が実装されています。そして顧客のために機能させています。
しかし、そのような機能を開発したい私たちのような人々にとっては、まず機械学習の核心を理解することが非常に重要です。そうして初めて、そのような高度な機能を開発し、これらすべてのアルゴリズムを実装するレベルに到達できるからです。
私たちはすでにAIユーザーなので、これは機械がどのように動作し、機械がどのように学習するかを理解するための動機のようなものを与えてくれます。
AI、機械学習、深層学習の関係性
学習と アプローチなどの概念に飛び込む前に、まずAIの状況を理解しましょう。人々はAI、ML、DLとは何かを知っていますが、それらの間の正しい関係を知りません。あるいは知っているかもしれませんが、それをうまくコード化する方法を知らないだけです。
この簡単な図は、機械学習、深層学習について話すときは、常に頭の中にあるべきです。後で追加できるフロンティアはn個ありますが、これが核となるフレームワークです。
人工知能が頂点に位置します。それは全体的な目標で、システムまたは機械に人間のような知能を与えたいのです。それがAIについてのすべてです。
では、どうやってそれを行うのでしょうか。本質的に機械にそれらの概念を理解させます。機械にとっての学習プロセスは、明らかに機械学習です。しかし、機械学習で行うのは、「これに対してはそれ」や「もしこれなら、それ」というルールベースのアプローチではありません。
私たちは機械にn個の可能な方法を与え、機械自体が進むべき道を見つけ出します。これは子供に本を与えるようなものです。本ではなく、多くの本、写真付きの本を与えて、そのままにしておき、特定の例を示しながら、その子供に見つけ出すよう求めるのです。そこに一つの光があったら、これは何ですか？と。
このような類似性を描いているのがわかりますか。それが機械学習です。私たちは機械に例を与え、それを自分で学習させます。そしてその反復的な学習プロセスが機械学習と呼ばれます。
AIは達成すべき目標で、機械学習はそれを達成する手段であり、そしてそれにはもう一つのサブセットがあります。それが深層学習です。
私はそれを機械学習の特殊な形だと言えるでしょう。その背後で行われるプロセスが実際に脳細胞、ニューロンを模倣するからです。それがニューラルネットワークと深層学習と呼ばれる理由で、複数の層があるからです。それはニューラルネットワークを利用するMLのサブセットで、複数の層が一緒になってデータを処理します。
子供に本の山を与え、一度だけ「これは猫の画像で、これが猫です」と例を示したことを覚えていますか。私たちは例を与えましたね。もしその子供を一人にして、そのままにしておき、その子供に自分で学習するよう求めたらどうでしょうか。「これは何ですか？」と。
その見つけ出すメカニズムが機械によって模倣されるとき、それが深層学習です。今度誰かがAI、ML、DLについて考えるときは、この同心円の状況を思い浮かべてください。
目標はAIで、達成するのはMLで、その目標に層を追加し、例なしで発展させるとき、それが深層学習です。しかし、深層学習がどのように動作するかについては詳しく話します。まず機械学習の概念を理解しましょう。そしてそれ以前に、典型的なAIプロセス、学習プロセスがどのように動作するかを理解しましょう。
機械学習プロセスの4つのステップ
これは人間が学習する方法とほぼ同じように簡単ですが、システムなので異なる角度があります。再び、子供が本の山を持っている例を取り上げましょう。子供は本の山を持っていました。データがありました。同じように、機械学習プロセスではデータ収集が必要です。大量のデータが必要です。
機械は人間ほど賢くありません。決してなることもできません。人間はそれをはるかに超えています。そしてそのために、理解し、学習し、認識するために任意の機械が必要とするデータの量は、数百、数百万、数千と、強調しきれないほどです。より多く与えるほど、より良い答えが得られます。それがトレードオフです。
データ収集が最初の部分で、次にトレーニングを行います。これは学習プロセスで最も計算コストが高いステップです。すべてのデータをモデルに与え、一つ一つ理解するよう求めるようなものです。
数百万のデータセット、または数百万のデータエンティティのレベルで話しているので、計算時間は明らかに多くなります。トレーニングは非常に高価です。それはモデルが内部的に学習する内部システムのようなもので、「これが画像で、これが得た出力だった。もし尻尾と耳のペアがある画像を見たら、それは猫か犬かもしれない。耳だけ見えたら、人間かもしれない」と学習します。
それがトレーニングプロセスの背後にあるもので、次にテストが来ます。これはモデルにとっての試験のようなものです。データを与え、トレーニングを与え、今度はそれをテストしたいのです。
ここでテストシナリオが関与します。同じトレーニングサンプルのデータは与えません。未知のデータでどれだけうまく実行するかを見るためです。その背後にある概念は、私たちはモデルが汎用的であることを望んでいるからです。
情報を暗記し丸呑みすることは望んでいません。特定のタイプの画像を見たときに猫として分類することは望んでいません。猫に関連するすべての特徴を理解し、新しい画像でテストし、どのように実行するかを見ることを望んでいます。それがテストの背後にあります。
そしてシステムが良い仕事をしている、出している答えが正しい、人間の検証が非常に良い答えを与えるということに十分確信を持ったら、それを現実世界に展開します。実際の行動に移すのです。
実世界のアプリケーション、例えばスパムフィルターなら、メールに適用し、スパムか非スパムとして分類します。この全体の学習プロセスが完了した後に、実世界のアプリケーションで行う実装のタイプです。
この進行がどのように機能するかを見たので、機械がどのように学習するかを理解しましょう。
ルールベースアプローチの限界
そのために、猫の画像分類の簡単な例をコード化したいと思います。特定の画像が猫のものかどうかをどのように識別するでしょうか。
耳があります。尻尾があります。ひげがあります。毛で覆われています。4つの基本的なことですね。リストは続きますが、これは本質的に始めることができるものです。4つの基本的な特徴です。
この識別チェックリストを持っているとしましょう。何千ものサンプルがこれを通過し、良いトレーニングセッションを受けています。すべてがうまく機能しています。
しかし、予期しないケースがあります。尖った耳を持たない猫の種類があったらどうでしょうか。私たちの識別チェックリスト1は失敗しました。それが問題です。
スコティッシュフォールドという種があり、正確に引用しているかわかりませんが、尖った耳がなく、耳が折れています。機械はそれをうまく理解せず、失敗します。
または、猫の写真に毛すらなかったらどうでしょうか。別のチェックリスト項目が失敗しました。これらは実世界のシナリオで起こり得る予期しないケースです。
しかし、シナリオが正しく設定されている場合でも、私たちが行う必要がある仮定やチェックリストの項目が私たちにとって非常に困難な場合があります。例えば、すべてが正しく、猫がいて、話している4つの特徴がすべてありますが、画像が影の中にあります。ひげが見えません。
特徴はそこにあるにも関わらず、それを見つけることができません。再び、ルールが失敗しました。そして4番目のシナリオがあり得ます。猫には尻尾がありますが、長い尻尾ではありません。
私たちが作るチェックリストに常に挑戦する予期しないケースと困難な仮定の役割の戯れがあることがわかります。このような問題は、ルールベースのアプローチを通じて発生します。
私たちが話したのはルールベースのアプローチです。通常のコーディング構文を理解していれば、if、else、then、if、else、thenを指定しました。複数のifブロックがあり、すべてが失敗したらどうでしょうか。モデルは新しい特徴に適応できません。かなり落ち込み、失敗しています。
ここでの問題は何でしょうか。それは理解しましたが、どうやって解決するのでしょうか。
フォトアルバムアプローチ：機械学習の核心
フォトアルバムアプローチと呼ばれるアプローチを通じて解決します。特徴を測定してチェックリストに入れる代わりに、何百万枚もの写真を機械に与え、理解するよう求めたらどうでしょうか。「自分で特徴が何かを見てください。手助けしません。これらすべての画像を保存し、識別可能なパターンを特定してください。n個の特徴がどのようなものかを考慮してください」と。
モデルが今自分で見つけ出すことがわかりますか。そして数百万のレコードをデータとして持っているので、モデルは大量のデータを供給され、自分で改善し、自分でそれに取り組みます。
このフォトアルバムアプローチが機械学習の核心で、画像を与えるシナリオだけでそれを混同しないでほしいと思います。テキストレコードかもしれませんし、表形式のデータかもしれませんし、CSVかもしれませんし、ラベル付きデータ、ラベルなしデータかもしれません。
例えば、メールの例で言ったのと同じことがあります。数百万のメールレコードのデータがあり、スパムと非スパムに分類されていて、機械は何がスパムで何が非スパムメールかを自分で学習し、自分で分類します。
私たちが既存のデータでモデルを導く、そのようなアプローチが機械学習です。何千もの画像を見せ、モデルに自分で見つけ出させ、モデルが自分で改善しました。
これがルールベースアプローチで、機械学習の核心概念です。機械学習がどのように動作するかを見ました。n個のレコードを入力します。システムに投入します。そこに特徴があります。それらの特徴を指定しました。それらの特徴に従ってそれらの特徴を分類するプロセスに入り、出力は話していた例で言えば、猫または非猫です。
深層学習に進む前にここで一時停止します。質問がある方はいらっしゃいますか。このスライドは、セッションが終わったら皆さんに配布されます。
質問がありました。100%正確な結果を得るために理論的に、無限に多くのデータサンプルでモデルを溢れさせ、正しい答えか間違った答えかを見つけ出させる必要がありますか、という質問でした。
しかし、それは計算コストが高くなりますよね。無限に多くのレコードを持ってシステムに読み込むことはできません。
しかし、ここで皆さんに質問があります。私たちは100%の精度を望んでいるのでしょうか。影の中の犬の画像で、それを猫だと仮定したらどうでしょうか。そのような実世界のシナリオがあります。
後のセッションで話すオーバーフィッティングとアンダーフィッティングという概念があります。そこでは本質的に、モデルがトレーニングとテストの適切なバランスにある必要があることを話します。
それを踏まえて、簡単に言葉で質問に答えると、正直に言って、モデルをトレーニングするときに100%の精度を目標にすべきではありません。モデルが汎用的であることを望み、核心概念を理解し、実世界のシナリオが別のものかもしれないのに、別のものとして引用するような状況を無視しないことを望んでいるからです。
とはいえ、その詳細は後のセクションで取り上げられます。質問に正しく答えましたか。他に質問がある方はいらっしゃいますか。
深層学習：特徴抽出の自動化
では進みましょう。機械学習がどのように動作するかについて話しました。チェックリストの形で特徴がリストアップされていました。そして分類メカニズム、バックエンドで動作するアルゴリズムがXYZのことを行い、出力を与えてくれます。今はXYZのことには入らず、概念を理解しましょう。
次に深層学習が来ます。これは機械学習のサブセットです。モデルにすべてを自分で行うよう求めたらどうでしょうか。特徴を与えません。すべてを自分で理解してほしいのです。
その典型的なシナリオでは、バックエンドでニューラルネットワークと呼ばれるものを利用します。これは脳のニューロンでの処理がどのように動作するかを模倣します。
猫の写真を与えると、自分で見つけ出します。「これには耳がある。多くの画像には耳がある。多分猫には耳があって、それも」と。そしてこの特定の画像には長い尻尾があり、多くの画像には長い尻尾があり、猫には長い尻尾がある。
しかし200番目のレコードの後、私が示したタイプの種、短い尻尾、または技術的に新しい尻尾を見たとします。そのときモデルは手に別の特徴を持ち、その特定の特徴が存在するより多くの選択肢やより多くの例、またはレコードを探そうとします。
モデルを導いていないことがわかりますか。それは自分の脳を持っています。自分のコールド・シフトネス（機敏さ）を持っています。自分の知能を持っています。
それが特徴抽出と分類部分が一緒になっている場所です。そのチェックリストを作成し、画像を分類することが自分で行われています。それが本質的に深層学習が簡単に言うとどのように動作するかです。
深層学習にはニューラルネットワークも関与します。私が言っているように、ニューラルネットワークは複数の層を持つ複雑なネットワークです。
話している特定のシナリオでニューラルネットワークがどのように動作するかの例を示すために、最初の層があります。これは単純なエッジがどのように動作するか、または画像の遊びに単純な色がどのようにあるかを学習するかもしれません。
そして、これらのエッジを組み合わせて目、耳、尻尾、鼻などの形を形成する中間層があるかもしれません。モデルが自分で見つけ出していることがわかります。
そして、すべてのそれらの特徴を一緒に組み合わせ、「はい、あなたが与えた画像は猫です」または「いいえ、猫ではありません」と言う大きな層、または最終層があるかもしれません。それが深層学習プロセスがどのように動作するかです。
これが基本的にスクリーン上の深層学習と機械学習の違いです。
進む前に、深層学習について質問はありますか。何でも構いません。本の山や写真の山がどのように動作するかを理解するのが簡単だからこの例を引用しているのです。
それは学習の自動化のようなものです。そうです、学習自体で、犬を猫として識別したとします。そのエラーを元に戻す方法はありますか。
この視点から考えてみてください。手元に基準となるタスクがあるとしますよね。画像を猫か非猫として分類したいのです。
技術的に、データは猫、犬、および類似の系統の種についてあるでしょう。ここでのポイントは、モデル自体が反復的に学習することです。バックエンドで動作する複雑なことがありますが、簡単に理解するために言うと、特定のタスクを扱っているときに、モデルが犬ではなく猫を知るインスタンスがはるかに多くなります。
その視点から考えると、10万のデータセットで犬の画像が12枚または15枚しかなかったとしたら、モデルがその特定の画像が猫のものであることを自分で学習するのはかなり明白です。しかし、これは単純な例で、バックエンドではより複雑なことが行われています。モデル自体がなぜこれが猫ではなく犬なのかを学習するシステムやネットワークがあり、この学習の範囲を拡大する他の複雑なシステムもあります。
他に質問はありますか。
層を決めることができます。なぜなら、存在する異なるタイプのニューラルネットワークがあるからです。どのように訓練したいか、どれだけの層を設定に入れたいかについて層を決めることができます。すべての層を作業の視点に入れたくないシナリオもあります。いくつかの層をドロップアウトしたいだけです。それも可能なので、組み合わせです。
いいえ、これは基準例に過ぎません。これよりもはるかに高度になり得ます。
ニューラルネットワークについて、私が言うように、脳でニューロンがどのように動作するかを単純に描いてください。それには異なる要素があり、すべてのそれらの要素が一緒に動作して一つの合意された決定に到達します。それがニューラルネットワークの全体的な概念です。
これらすべてを組み合わせると、本質的にモデルが一緒に動作する深層学習ネットワークとして考えることができます。一つの答えを得るために。しかし、線形回帰のような非常に基本的なものもあります。それほど複雑ではなく、ニューラルネットワークを模倣していません。どのように動作するかの単純な数学に過ぎません。
それが次のセッションで話す理由です。問題ありません。ここでのアイデアは用語を学び、どのように動作するかを学ぶことです。しかし、その背後にある科学の詳細、なぜ2つの関数が一緒に動作してこの特定の出力を得るのか、またはなぜこの特定のニューラルネットワークのセットアップがこのセットアップのようになっているのかといった詳細については、セッションを進歩させ、それに専用のトピックがある後で話します。
はい、他に質問はありますか。
黒い猫の画像がすべてのデータで、白い猫のインスタンスがあったとします。それが猫ではないと出力するでしょうか、という質問です。確実にそうです。
しかし、これが起こらないことをどのように保証するのでしょうか。それには2つの側面があります。A、それの基盤で単純なモデルについて話すとき、ゴミデータを入れればゴミの答えが出るという核心概念があります。しかし、ここではデータはゴミではありません。本質的に猫です。
あなたが追加できる別の角度は、猫について投入する画像のタイプのn個により広範囲であることです。モデルが学習するのが良くなります。なぜなら本質的に核心で、データを投入しているのは人間である私たちだからです。
そして、強化学習の概念がある高度なトピックがあります。そこではモデルにタスクを与え、モデルにフィードバックを与えます。「はい、良い仕事をしました、これが正しい答えです」または「いいえ、それは正しい答えではありませんでした」と。それが強化学習の核心で、それがモデルが私たちが持っているものを台無しにしないことを保証する方法です。
そして巨大なデータで訓練された小さなモデルのレベルまで拡大するとき、それは基本的に私たちが進歩した後の路線で起こります。なぜなら、私たちがそれを訓練しているデータが非常に巨大だからです。私たちが構築しているモデル、構築しているシステムが手元のタスク、または分類タスクを行うのに十分良いことを保証するために、カーテンの後ろに行くメカニズムと技術と実践があります。
はい。それを修正できますか。はい、より多くの詳細を追加することによって。モデルが皆が利用可能で、ダウンロードして…はい、そのタイプの誤った例を除去する方法はありません、正直に言って。私がここで感じる核心のアイデアは、ある種の誤った例はまだ大丈夫だということです。なぜなら、これらすべての機械学習アルゴリズムを訓練する際に従うのは、汎用的で核心側面を暗記しないというアイデアだからです。
しかし、それを元に戻すメカニズムはありません。モデルに核心の根本的なパターンを理解させるためにより多くのデータを持つことができ、それが猫か非猫かを見つけ出すことができます。例えば、1000のうち1つがあったとします。パターンを学習しているからです。アイデアは、999の画像を使用して、1つの間違った画像があっても正しいパターンを学習するということです。
他に質問はありますか。
画像の最終目標は、それが猫かどうかを分類することです。技術的にいいえ、なぜならモデルは自分で理解しているからです。私たちが与えた最初の識別チェックリストを覚えていますか。私たちがパラメータを設定しました。
例えば、住宅価格予測の観点で話しましょう。特定の郡のデータがあり、その家の平方フィート面積、場所はどうか、アメニティはどうか、家の築年数はどれくらいかという次元があります。それに対する異なるセグメントがあることがわかりますか。それが私たちが作っていた識別チェックリストです。
しかし、モデルを自分でそのままにしておくなら、これがデータです、投げ込んでください、自分でパターンを学習し、自分で見つけ出します。私たちの側からの介入は本質的にありません。それがどのように動作するかです。
しかし、深層学習概念を詳細に取得するセッションの1つで、深層学習の状況がどのように正確に見えるかについてもっと話します。他に質問はありますか。
はい。一般に公開されているモデル、つまりモデルの作成方法を知っている任意の人々のセット、これは本質的に最終的にオープンソースです。異なる背景、異なる信念を持つ多くの異なる人々によって訓練されているにもかかわらず、基本的に深層学習で自分自身をさらに訓練しています。なぜそれがまだ偏って動作するのでしょうか。
それは技術的にデータに依存します。偏りのないデータを持つことができますか。それが答えです。データセットに投入しようとする偏りのないデータが多いほど、それがオープンにもなります。そしてすべてのスペクトラムにわたるデータサンプルの数、今この問題で猫を見ているとしましょう。白い猫、間違った猫があります。
すべての可能な種類のケアを見ると、ある種類の猫が「このレストランは1000ドルです」と言うとします。そこにあるサンプルの数はまだ少ないです。より速く学習しようとしているからです。そして異なるタイプのタグの画像がどのように正確に見えるかを理解しなければなりません。そしてそれがパターンを作成する方法です。
基本的にはパターン認識です。そのためには、偏りのないモデルを持つために偏りのないデータが必要です。しかし、それは非常に困難です。それが他の多くのメカニズムが来る場所で、それについてもっと学ぶでしょう。
技術的に、その問題を持たないAIを持つことは決して可能ではありません。それが熱い限り。困難ですが、そこに向かっています。そして答えるために、皆に簡潔に伝えるために、すべてのことはデータに依存します。あなたが供給するものが良ければ、モデルが良いことを期待します。それが…であれば、モデルも良くない…満足のいかないものになります。
はい、もう一つ質問があります。はい。そしてそれが層が密になり、全体の状況を拡大する場所です。それらは数個の層よりもさらに複雑なシステムです。
私が示したセッションの1つで、コンピュータビジョンセッションでは、100の異なるタイプの出力を予測するモデルを訓練します。それは非常に大きな数です。生産でより多くのエネルギーを予測するモデルもあります。
この例を挙げると、ここでWaymoがどのように動作するかをかなり見ていますよね。Waymoがどのように動作するか、自分でどのように見つけ出すかの背後には科学があります。どこで止まるか、私の前の物体は何か、それは十分小さいか、人間かなど、すべての角度があります。
はい、猫だけでなく、他のn個のものもある、モデルがより複雑な状況を理解する可能性があります。
他に質問がある方はいらっしゃいますか。
はい。何らかのクレジットを与える…知らないが、製品がどのように予測するかに基づいて、セッション中にどのようなメトリクスを持つか…次のセッションでもっと学ぶと思います。今、次のセッションに飛び込んでいます。
モデルがどのような知識を獲得したかについて話すと、今学習していることの範囲を超えて少し複雑になりますが、はい、モデルは何らかの知識を獲得し、それがモデルにどのように保存されているか、そのモデルがそれをどのように前進させ、見る新しいデータのインスタンスに適用するかは、これらすべてのトピックの特定の詳細で話す今後のセッションで話すことです。
今は前に進みましょう。これが深層学習モデルが典型的にどのように動作するかです。機械自体に目を与えるようなものです。そして機械に「あなたは今自分で、今何が特徴で、どのようにそれについて進みたいかを見つけ出しなさい」と自分で見つけ出させます。
これを言った上で、これは機械学習を学び始める皆と誰もが研究するもっとも基本的なトピックの1つです。
教師あり学習
教師あり学習と呼ばれるトピックです。
その子供に本の山を与えた、またはそのモデルに数百万のレコードのデータを与えたことを思い出してください。そして私たちはモデルに「猫には耳があり、猫にはひげがあり、猫には尻尾がある。これ、それ、すべてを持つことができる」と言いました。それがデータにラベルを付けている場所です。データに異なる特徴があります。
教師あり学習はその核心で、学習プロセスを通じてあなたを導く監督者を持つようなものです。そこにコンテンツがあり、特徴とデータがありますが、その監督者は正しいパターンを見つける方法、または考慮すべき特徴、そして数学と科学がこの範囲を超えてどのように進むかを理解させています。
それが教師あり学習で、ラベル付きの例から学習するときです。教師あり学習の背後にある単純なアルゴリズムは、データと対応するラベルを与えることです。
例えば、数百万のメールレコードのデータを与えて、「これがメールのファッションなら、それはスパムです。これがメスのファッションなら、スパムではありません」と言います。そしてそれをシステムに投げ込み、システム自体が「今これは新しいデータの断片で、非スパムの種類にあったパターンを模倣するので、スパムではない」ということを学習します。
それは本質的にラベル付きの基準となる基礎データから学習し、それらの路線で正しい入力をマッピングしました。後で話す何らかのアルゴリズムに従って。教師あり学習の下に存在する異なるタイプのアルゴリズムがあります。詳細に話します。
一度訓練されると、このモデルは新しい例が入ってきて、特定の古いパターンを模倣する場合、これが出力、またはそれをクォートする必要があるラベルであることを知っています。私たちはこれを住宅価格予測で特に使用します。詐欺検出で使用します。感情分析でも使用します。
ニュースの見出しやニュース記事のデータがあるとしましょう。データ内のニュース記事は特定のファッションに従っているか、特定のタイプの単語を持っています。そして、それらの路線で良い、悪い、ポジティブ、ネガティブとしてラベル付けできます。
パターンがどのように学習され、出力を模倣する方法、その模倣パターンをどのようにマッピングし、出力をどのように前進させるかは完全に教師あり学習です。
教師なし学習
しかし、このラベル付きデータのすべてのスペクトラムを持っていない場合はどうでしょうか。持っているデータが非常にランダムな場合はどうでしょうか。モデルを自分で見つけ出すように残した場合はどうでしょうか。
今、データはすべて乱雑で、それが何らかのデータ、取引データのようなものであることを知っていますが、それに対する角度が何かわかりません。どのような購入者のセグメントがあるかわかりません。どのように動作するかわかりません。
それが本質的に教師なし学習で、モデル自体が隠れたパターンを見つけます。これにもさまざまなアルゴリズムがあり、クラスターを形成し、何らかの作業を行いますが、後で議論します。教師なし学習とは何かを理解しましょう。
ここでは、初期データには正しい答えのカテゴリがありません。メールデータにスパムか非スパムがあったことを覚えていますか。ここにはそのようなものは何もありません。かなり生です。そのラベルがないので、アルゴリズムに任意の種類の例を与えません。「これがケースなら、それが答えです」というような。モデルは自分で見つけ出す必要があります。
この場合に私たちがモデルに与える唯一の指示は「データを分析しなさい。そして自分で何が興味深いか、何が類似しているかを見つけ出し、与えたい答えが何かを見なさい」です。
ここでの目標は、アルゴリズムが全体のデータを一つずつ通り、自然な関係を見つけることです。そして構造化されていないデータを意味のあるグループに組織化します。
取引データの隠れたパターンを見つけたい場合を理解しましょう。何らかのeコマース会社、ファッションブランドの顧客データがあるとします。データから購入者の傾向を知っています。
どのようにグループ化できるでしょうか。ラグジュアリーショッパーがいます。非常に少ない取引を行う人々です。しかし、チケットサイズまたは購入金額は非常に高いです。それをラグジュアリーショッパーのカテゴリに入れますよね。それは完全に別のクラスターセットになります。
そして、セールを追いかけ、セール中にのみ購入する人々がいます。彼らはそこにピークがあります。そして季節的な購入をする特定の視聴者、または特定の顧客セットがあるかもしれません。
特定の季節のピークと谷のように、顧客データがそのファッションで動きます。しかし、シナリオが何であれ、定期的な買い物客のカテゴリもあります。このカテゴリの人々は買い続けます。
4つの異なる、明確なカテゴリが可能であることがわかりますか。そして他にもn個の他のカテゴリが可能です。しかし、これらは私たちが考えることができる4つの基本的なことです。
そして、話すことによって、どのように独自のクラスターを形成したでしょうか。ラグジュアリーショッパーは1つのクラスター、または定期的な買い物客は1つのクラスターです。私たちがこのように理解できるなら、機械もできます。
このデータを機械に与え、機械自体が「高い取引金額。ラグジュアリーショッパー。または、冬に購入のピークがあるだけ。季節的な購入者」と見つけ出します。
モデルが自分で考える方法がわかります。人間が考える路線で、または路線上で、これは1つのクラスター、それは1つのクラスターで、そこに整理します。
私たちはラベルなしデータから始めました。高いチケット金額があればラグジュアリーショッパーだとは言いませんでした。それは自分で見つけ出しました。
それが教師なし学習で、学習の全体概念が自分で隠れたパターンを見つけることによって起こります。ここで止めます。質問がある方はいらっしゃいますか。
プロンプトは大規模言語モデルについて話すときに登場します。これはかなりNLPの側面です。モデルと話すことです。それは数年前には不可能だったことです。機械学習は新しいトピックではありません。数年以上…今では年数さえ強調できません。
しかし、なぜこの状態まで学習しているのでしょうか。LLM、AIエージェント、コンピュータビジョン、そしてすべてのそれらのことのようなトピックに進歩しても、それの核心では、機械がどのように学習するかのパターンがまだあり、それが私たちが本質的に機械学習を学ぶ理由です。
質問に答えるために、いいえ、プロンプトは今私たちがモデルとコミュニケーションを取る方法ではありません。テキストデータである可能性があるデータの観点で話しています。数百万のデータレコード。画像データである可能性があります。ビデオ形式のデータでさえある可能性がありますが、それははるかに高度です。任意の形式のデータ、マルチモーダルである可能性があります。
しかし、プロンプトはモデル構造とアーキテクチャを非常に高度なレベルまで拡大するときに起こります。
はい。異なるアルゴリズムがあります。質問を適切に聞いていなかった人のために、ここでの質問は、データをどのようにスキャンするかです。それがあなたが聞いたことですか。
モデルはアルゴリズムを通じてパターンと隠れた洞察を理解します。それが線形回帰、ロジスティック回帰、k-means クラスタリングのような異なるアルゴリズムを持つ理由です。異なる接線で分類問題もあります。
それはアルゴリズムの助けを通じて起こっていますが、その核心では、私たちが学んだこの学習プロセスを通じてすべてが起こります。そして詳細では、これを超えて計画されている次のセッションで各アルゴリズムについて話します。
他に質問はありますか。
大規模言語モデルへの進化
時間を見てみましょう。LLMの進化に移ります。最近見るもの、ChatGPT、Gemini、Perplexity、Claude、これらすべては大規模言語モデルです。機械学習モデル、アルゴリズムの概念が、はるかに高い高度なスケールで描かれています。
大規模言語モデルについて話しているので、舞台裏のアーキテクチャがかなり広大であることはかなり明白です。層の密な組み合わせで、バックエンドで起こっている異なる種類のコミュニケーションです。
しかし、この進化はどのように起こったのでしょうか。機械学習のどこかから始めました。私たちが話したその識別チェックリストを入力する人間に依存していました。特徴抽出で、猫の例で話したように、重要な変数を定義しました。識別分析を行い、チェックリストをまとめました。
これらが特徴なら、それはCADかもしれません。重要な変数と異なるデータに対する重要な角度を定義するための人間の介入があります。そして、すべてのその識別チェックリストが設定され、明確なルールがあるので、モデルは自分で決定を下すことに向けて動作します。
きれいで、よく組織化された構造がありますが、それはまだ非常に小さなスケールで起こっています。
前進して、深層学習に向かいます。そこではモデル自体が自分で学習しました。介入はありませんでした。モデルにこれらが重要な特徴だと言う努力はしませんでした。モデル自体がデータを分析し、ふるいにかけました。
そして、「これらがパターンなら、それは猫かもしれない、またはこれらが特許なら、猫ではないかもしれない」と自分で学習しました。深層学習シナリオは非常に良く、今日まで、画像分類のようなタスクで非常に良いです。多くの特徴が関与しているからです。
しかし、ここで起こることは、それはまだ根底で、それの範囲で話している基礎データに依存しています。私たちはまだ正しい答えでデータを供給しています。
2010年頃、またはそれ以前に時間を戻してみましょう。インターネット上に広大なデータのコーパスがあります。それをモデルに供給し、自分で見つけ出させましょう。アーキテクチャレイアウトがその意味でそこに置かれるのは非常に複雑ですが、モデルがそれを行うとしたらどうでしょうか。
そして、そこで大規模言語モデルが登場します。彼らは広大な種類のデータから学習します。乱雑なテキストから学習し、ClaudeとGPTとCursorを使用する人々のためにそこにあるすべてのコードから学習します。すべてのそれらのソースから学習しました。
そして、それ自体で、これらすべてのデータレコードで訓練し、今では幅広い種類のタスクを実行できます。Claude、perplexity、ChatGPT、そしてすべてが一つのタスクに特化していることがわかりますよね。
研究をしているならperplexityを使うでしょう。コーディングをしているならclaudを使うかもしれません。メールを磨きたいだけならChatGPTを使う可能性があります。特定のタスクで良い何かがそこにあります。
しかし、これらすべてのモデルが特にこれらすべてのタスクをうまく実行できるシナリオがあります。GPTはコードを書くことができます。Claudeはメールを良くすることができます。
これらのモデルは幅広い種類のタスクで動作し、そのような特定のデータスニペットで訓練されている場合は特定のタスクでも良い、より汎用的な種類のアプローチです。
大規模言語モデルはテキストから始まり、現在は設定に入れる他の形式のデータに向けて進歩しています。全体の焦点は、新しいコンテンツを生成し、自然に相互作用することによってそれを行い、非常に人間のような体験を与えることです。
ChatGPTと話すと、本質的に友人と話しているように、または私のために仕事をしてくれるアシスタントと話しているようなものです。それが基本的な機械学習から深層学習のような高度なトピックに行き、現在LLMに向けて基盤をシフトし、前進している方法です。
自然言語処理とコンピュータビジョン
しかし、閉じる前に、ここに追加された2つの明確なフロンティアを皆に理解してもらいたいと思います。NLPとコンピュータビジョンです。同心円の状況について話したことを覚えています。AI、ML、DL。今、それに追加された2つのフロンティアがあります。それ以上ありますが、これら2つに固執しましょう。
機械学習と深層学習を関与させ、テキストの形、そして今では音声でさえ、ある知能について話すとき、人間が話すか理解するテキストのように相互作用しています。それが自然言語処理です。
ChatGPTにでたらめを入れても、一つの言語でなくても、それは見つけ出します。ランダムな人間がするのと同じように。それがモデルによる言語理解の全体概念が登場する場所で、その自然言語がモデルによって処理され、人間のような応答と知能を出しています。
一方で、深層学習と機械学習のアプローチを、Waymoやすべてのようなこれらのタクシーが自分で物事を検出できる程度まで組み合わせたらどうでしょうか。動物が通り過ぎていたら、それが犬か猫かを検出できます。止まる必要があります。
または、そこに信号があったら、赤なら止まる必要があります。神は自分で見つけ出しています。そしてそれがモデルに視覚能力を与えている場所で、モデルが今自分で見ることができるようになっています。人間の目がするのと同じように。それがコンピュータビジョンの全体概念が登場する場所です。
最初に示したように、私たちが進歩するにつれて、2つの専用セッションでNLPとコンピュータビジョンについて話します。それがあなたを興味深くさせるものであれば、その程度まで付き合ってください。
セッションの振り返りと次回予告
では、私たちが何をしたかを簡単に振り返り、次に何があるかをお伝えしましょう。
AIが皆の生活に毎日かなりあることについて話しました。機械がどのように学習するかを学びました。核心概念は何か、深層学習とは何か、機械学習と深層学習がAIとMLと深層学習の間にどのような関係を持っているかを学びました。
教師あり学習と教師なし学習がどのように動作するか、そしてこれらの日の大規模言語モデルへの進化がどのように起こっているかについても話しました。
しかし、次は何かというと、特定の任意のMLアルゴリズムに入る前に、モデルの舞台裏で起こる数学を理解したいと思います。任意の機械学習または深層学習アルゴリズムを実装するために。
なぜこの日までこのセッションを保持しているかというと、モデルの舞台裏で起こる数学にあまり自信がない多くの人々がいるからです。だから、それを非常に実践的でインタラクティブにし、次のセッションから実践的なコーディングセッションを持つことが私たちの側からの努力です。
このセッションはかなり基本的で、基礎知識を理解するものでしたが、次のセッションからはあなたのラップトップでコードを書くことになります。今日ラップトップを持参していない人は、来週の水曜日に行われる次のセッションでそれを取得することを強くお勧めします。
もう一度念を押すと、このMLワークショップシリーズは、毎週水曜日に行われる12の異なるワークショップです。場所についてはSun Devil Centralで更新します。かなり同じになると思います。ワークショップはここで行われるので、他のすべてのセッションで同じことです。
そして、これらは2つのQRです。右側は全てのQRです。SDC Instagram、LinkedInなど、私たちのすべてのリンクを取得できます。YouTubeもあります。このセッションの録画をYouTubeに投稿します。皆にとって簡単にアクセスできるようにです。
そして、質問を受ける前に、AI Makerspaceについて皆にお伝えしたいと思います。過去にそれを経験し、私たちが持ったAI at ASUキックオフイベントに参加したに違いないので、AI Makerspaceが何かを知っている多くの人がここにいるかもしれません。
簡単に言うと、AI Makerspaceは学期間のプロジェクトコホートのようなものです。インキュベータースタイルの設定で、自分の問題ステートメントを持って来て、そのプロジェクトを構築するのを手伝います。
学期の過程で、あなたのためにマイルストーンを設定し、プロセスで私たちのチームからメンターシップを与えます。AI、機械学習、深層学習などで経験があります。ASUの教員から、PhD メンター、業界のつながりもあります。
あなたのプロジェクトが業界のある問題ステートメントと密接に一致している場合、それが私たちが話しているスケールです。そして、リソースが必要なインスタンスがあるかもしれません。GPU、サーバー、クラスター、何でも。コミットメントと動機があれば、それを提供できます。
それがAI Makerspaceのすべてです。明日AI Makerspaceの最初のセッションがあります。そこでは何を、どのように、いつ、何を達成しようとしているかについて詳しく話します。もしあなたの誰かが興味があるなら、STCで活発になり、ここで関心フォームに記入してください。
では、食事に移る前に簡単なQ&Aをしましょう。質問がある方はいらっしゃいますか。
少し大きな声で話していただけますか。聞こえません。学習したい場合、それがアイデアです。機械学習をゼロから上級まで学習したい場合、これら12のセッションに従うだけで、準備完了です。
他に質問はありますか。オンラインで質問がある方はいらっしゃいますか。いません。
コメント