7. Read files (2%)
List files in a directory
from stackoverflow: https://stackoverflow.com/questions/3207219/how-do-i-list-all-files-of-a-directory
os.listdir() will get you everything that's in a directory - files and directories. If you want just files, you could either filter this down using os.path:
from os import listdir
from os.path import isfile, join
onlyfiles = [f for f in listdir(mypath) if isfile(join(mypath, f))]or you could use os.walk() which will yield two lists for each directory it visits - splitting into files and dirs for you. If you only want the top directory you can just break the first time it yields
from os import walk
f = []
for (dirpath, dirnames, filenames) in walk(mypath):
f.extend(filenames)
breakRead CSV
讀檔在做什麼事情？讀檔在做的事情就是將一個你知道他是用什麼格式來儲存的資料，讀成Python的物件，這樣就可以用Python來存取裡面的資料。
CSV檔顧名思義為comma seperated value，通常一列就是一筆資料，每一筆資料結尾都有一個\n換行符號，而每一筆資料中的欄位則是用逗號分隔。第一列為欄位名稱（variable names），雖然你看不見，但是每列後面都有一個\n符號，相當於你在鍵盤上敲一個Enter。
假設有一個csv檔被讀入EXCEL看起來像是這樣子：
A
B
C
00
01
02
10
11
12
那CSV檔的內容會是下面這樣的格式，整個檔案是一個長長的string，逗號表示分欄、\n表示換行。知道這樣的規則後，當看到如夏的檔案，就會知道這個string是用CSV格式來紀錄的類表格資料。
A,B,C\n00,01,02\n10,11,12\n若我們要在Python或任何程式語言中操作CSV的資料，那就要把該CSV的內容轉為該程式語言的物件。當CSV若被直接讀成標準python的List後會是下面這個「兩層的List」。
[["A", "B", "C"],
["00", "01", "02"],
["10", "11", "12"]]例如下面的案例中有三筆資料，但有四列，
違規產品名稱,處分日期,處分法條,違規情節,刊播日期,刊播媒體類別,刊播媒體,查處情形
"超人氣SS製藥 痘痘乳膏","08 15 2017 12:00AM","","無照藥商","02 3 2017 12:00AM","網路","Yahoo！奇摩拍賣","相關案件已處分"
"大正漢方腸胃藥 60錠","08 15 2017 12:00AM","","無照藥商","02 3 2017 12:00AM","網路","Yahoo！奇摩拍賣","相關案件已處分"
"日本熱銷 超人氣SS製藥 痘痘乳膏","08 15 2017 12:00AM","","無照藥商","02 3 2017 12:00AM","網路","Yahoo！奇摩拍賣","相關案件已處分"Methods to read CSV
當我規劃要讀進一個csv檔時，我可能有三種做法：
全部靠自己逐行讀，用
readlines()來判斷換行符號，將所有資料依照換行符號切割為list內的Element，再將每個Elements遇到逗號進行切割。利用
csv.reader()函式幫我把文字資料轉換成python物件利用pandas的函式讀檔
by hand
by csv_reader
In Pandas way
JSON
Typical json
我們最常見的資料呈現型態是用CSV、Google Sheets或Excel等表述為以下表格型態。我們將用JSON格式來表達這樣的典型資料，藉此看出JSON格式的特性。
site
AQI
PM25
基隆
38
8
新店
40
9
苗栗
76
11
JSON內容的存法很自由，但一般來說，開放資料（表格型態的資料）會表示為List of Dictionary(s)的型態（注意，中括號為List、大括號為Dictionary），例如下方的JSON就是上述表格的JSON表示法。
[{"site":"基隆","AQI":38,"PM25":8},{"site":"新店","AQI":40,"PM25":9},{"site":"苗栗","AQI":76,"PM25":11}]Read XLS
Last updated