機械学習の基礎｜「訓練データで正解率100％」はよいモデルではない

この講座では、機械学習をライブラリの使い方としてではなく、「まだ見ていないデータで当てるにはどうすればよいか」という問いから組み立てます。

初学者がまず出会う壁が過学習です。データの点をすべて通るような複雑なモデルを作れば、手元の正解率は100％になります。しかしそのモデルは、データに含まれていた偶然のゆらぎまで覚え込んでいます。新しいデータを与えると、途端に外れる。逆に単純すぎるモデルは、手元のデータにすら合いません。ちょうどよい複雑さを選ぶこと、そしてそれを判断するために検証用データを分けておくこと――この二つが、機械学習の入口でいちばん大切な考え方です。

授業では、線形回帰とロジスティック回帰から始めて、決定木、ランダムフォレスト、サポートベクターマシン、ニューラルネットワークへと進みます。あわせて、学習データと検証データの分け方、交差検証、正則化、混同行列や適合率・再現率といった評価指標を扱います。教師なし学習としてクラスタリングや次元削減も取り上げます。ＲあるいはＰｙｔｈｏｎで実際に手を動かしながら、数式の意味と出力の読み方を一つずつ結びつけていきます。

この講座が効いてくる場面

• 需要予測・離反予測
  売上や来店数の予測、解約しそうな顧客の抽出といった業務に直結します。予測の当たり外れをどう評価するかまで含めて設計できるようになります。
• ＡＩ導入の意思決定
  自分でモデルを作らない立場でも、外部の提案を評価する力が身につきます。「その正解率は何のデータで測ったものですか」と問い返せることの価値は小さくありません。
• 研究・論文への応用
  分野を問わず、機械学習を分析手法として使う研究が増えています。手法の選択理由と評価方法を説明できる形で身につけられます。

ここで扱う回帰・分類・評価の考え方は、深層学習や生成ＡＩを理解するための共通の土台であり、統計検定準1級やＧ検定の範囲とも重なります。

なお、受講に前提知識は必要ありません。プログラミング未経験の方でも、環境づくりの一歩目からご一緒します。

よくある質問

Q．プログラミングの経験がまったくありません。
A．大丈夫です。ＰｙｔｈｏｎもＲも、機械学習の部分は数行で書けます。インストールから一緒におこない、コードは写して動かすところから始めます。文法の学習が目的ではありませんので、必要な範囲だけを扱います。

Q．数学がどの程度必要になりますか。
A．目的によります。手法を選んで使うだけなら、平均・分散と一次関数の感覚で進められます。仕組みまで理解したい場合は微分と線形代数が効いてきますので、その場合は必要な分だけ並行して補います。

Q．正解率が高ければよいモデルということでよいのでしょうか。
A．そうとは限りません。100人に1人しか該当しない事象なら、全員を「該当しない」と答えるだけで正解率99％になります。何を重視するかによって適合率、再現率、Ｆ値などを使い分ける必要があり、その判断を授業で扱います。

Q．手元に使えるデータがありません。
A．公開データセットを使って進められますので、ご心配は不要です。もちろん業務のデータをお持ちいただければ、それを題材にすることもできます。

実務での使いどころまで含めたコース全体（料金・受講の流れ・講師のご紹介）は、Pythonデータ分析 個別指導のページでご案内しています。

※内容はお客様のご要望等によって変更することがあります。

・機械学習をライブラリ任せでなく理解して使いたい方
・需要予測や離反予測を業務で扱いたい方
・ＡＩ導入の提案を評価できるようになりたい方
・ＲやＰｙｔｈｏｎでモデルを動かせるようになりたい方
・統計検定準1級やＧ検定の受験を考えている方

1) 機械学習の枠組み
2) 検証法と混同行列・ROC解析
3) 重回帰モデル
4) 正則化(L1,L2,Elastic Net等)
5) K近傍法
6) SVMとSVR
7) ナイーブベイズ分類
8) ニューラルネットワークモデル
9) 部分空間法
10) クラスタリング
11) アンサンブル学習
12) Kaggleに向けた手法など