機器學習簡介

機器學習就是自動找函式

機器學習的實際過程是讓機器自動找到解決任務的函式。例如語音辨識是找到一個最佳函式能夠把語音轉為文字、影像辨識是自動辨識出影像中的物件、對話系統是針對上一句話或前幾句話回答下一句話、或者針對盤面下棋。這些任務其實可以化約為幾種不同的任務類型，包含Regression、Binary Classification和Multi-class classification等數種類型。

1. Regression的輸出是數值，例如根據各種氣象條件、地區和時間來預測PM2.5的值。

2. Binary Classification的輸出是YES/NO，例如現在車子前進是否遇到危險，是否應該要煞車？

3. Multi-class classification的輸出是多個類別，例如現在這個影像是什麼數字。自動作文系統也是，把所有字詞當成輸出，選出最有可能的那個字。

你想要找什麼樣的函式？

• Regression (The output of the function is a scaler)，預測一個數值: e.g., predict PM2.5

• Binary Classification (The output is yer or no)

• Multi-class classification: 讓機器做輸出的選擇題

機器怎麼找出你想要的函式？

知道機器學習就是找函式、也知道機器學習的方法就是怎麼告訴機器學習你想找什麼樣的函式的方法後，下一步是，那在不同的方法中，機器要怎麼找出你想要的函式？在個步驟實在上在做的事情是，給定函式搜尋範圍，也就是告訴機器說，你在這些函式裡面找就好。然後搭配上Goodness Function的設計，讓機器在這些函式裡面找到最佳的函式。

• 給定函式搜尋範圍！

  • 假定要找的函式是Linear function（Regression, Classification）

  • Function的搜尋範圍是Neural Network的架構（所謂的NN Architecture就是用來告訴機器說，就是在這個範圍裡面來進行搜尋就好了）

• 函式搜尋方法：Gradient Descent（一開始要自己implement看看，但後來可以用PyTorch就直接做就好）

研究前沿

• Explainable AI：告訴人類他是怎麼辨識出這個影像是一隻貓

• Adversarial Attack：系統已經很Robust了，但如果懷著惡意去攻擊影像辨識系統，會發生什麼事？刻意製造的雜訊可以如何影響影像辨識？

• Network Compression：能不能把巨大的網絡縮小，把NN放到手機裡面去

Selected Topics

• Anomaly Detection：如果放進來的東西很奇怪，原本都是動物的辨識，但突然進來一張動畫的照片，那機器能不能回答說「我不知道？」

• Transfer Learning（Domain Adversarial Learning）：例如數字辨識原本是黑白的，但如果變成彩色的數字，能不能還是讓機器學到一些東西呢？

• Meta Learning: Learn to learn：寫一個程式，他可以寫另一個程式，賦予機器學習「如何學習」的能力，期待他想出來的演算法，會比人類想的更有效。

• Life-Long learning（能不能讓機器終身學習, continuous learning, never ending learning, incrementa learning）：教他多種不同的任務，機器沒辦法變成天網的難點在哪裡？