使用證交所csv資料應用至 LINE Notify執行收盤買賣超回報

-
證交所皆有提供收盤資料至網站中，這次要研究的是三大法人(外資投信自營商)的收盤買賣超資料，詳細的資料在此頁面的右下角：


這時點進外資及陸資買賣超彙總表可以發現該頁面有提供CSV檔案下載，將滑鼠移至CSV下載的按鈕之後，瀏覽器的左下角會出現一行網址：


此行網址代表可以讓使用者像伺服器發出請求下載這個檔案，因此只要複製這個網址在任何瀏覽器搜尋，會直接下載這個檔案，這時可以通過觀察外資投信自營商各自頁面的CSV下載按鈕，發現各自的網址是：

外資：https://www.twse.com.tw/fund/TWT38U?response=csv&date=20210118
投信：https://www.twse.com.tw/fund/TWT44U?response=csv&date=20210118
自營商：https://www.twse.com.tw/fund/TWT43U?response=csv&date=20210118

經由觀察發現只要修改網址後面的"date="參數以及/fund之後的三大法人編號，即可下載當日三大法人的買賣超資料，我們可以使用Python的wget套件下載資料，範例如下：
import wget
wget.download('https://www.twse.com.tw/fund/TWT38U?response=csv&date=20210118')
這時下載完成的檔案會是CSV檔，檔名是法人編號+日期.csv，打開此3個CSV檔可以發現前3行跟倒數後7行都是無用的資料，如下圖：




我們可以用python讀入csv檔，再將上圖紅框處的無用資料慮除。
number=[] #建立number陣列
f = open(csvfilename, newline='', encoding='cp950') #csvfilename是檔名
rows = csv.reader(f, delimiter=',')
for row in rows:
    number.append(row) #將row讀入number陣列


我們可以發現三大法人的資料有很多列，但是我們只需要證券代號以及買賣超股數，我們還需要對csv做處理才能讀進python的陣列，因此： 
number=number[2:-7] #將number陣列前3行跟倒數後7行刪除
stock_name=[] #建立stock_name陣列
stock_vol=[] #建立stock_vol陣列
stock_name=[x[2] for x in number] #將number的第2列(證券代號)存入stock_name陣列
stock_vol=[x[5] for x in number] #將number的第5列(買賣超股數)存入stock_vol陣列


我們就可以判斷stock_vol陣列的成交股數，找出買賣超的前五檔股票了，觀察陣列後發現證交所已經將資料排列好了，因此直接提取陣列前五行就是今天買超的股票了，那賣超的資料呢？賣超的資料是排在所有買超的資料後的，因此我們只須判斷當stock_vol的值是負的之後，再讀5筆資料，就是賣超前五名了。 
def Findbestfive(stock_name,stock_vol):
    temp=0
    buyselltop5=[] #建立buyselltop5陣列
    buyselltop5_name=[] #建立buyselltop5_name陣列
    for i in range(len(stock_vol)):
        if i<5:
            buyselltop5.append(stock_vol[i]) #讀取買超前五筆資料並寫入buyselltop5以及buyselltop5_name
            buyselltop5_name.append(stock_name[i])
        if stock_vol[i][0]=="-":
            buyselltop5.append(stock_vol[i])#讀取賣超前五筆資料並寫入buyselltop5以及buyselltop5_name
            buyselltop5_name.append(stock_name[i])
            if temp==4:
                break
            temp+=1
    return buyselltop5,buyselltop5_name #回傳買超賣超前五筆（共10筆）股號及成交量


接著我們獲得buyselltop5,buyselltop5_name這兩個陣列，就可依序讀值並且畫圖 

def Drawimage(allbuyselltop5,allbuyselltop5_name):
    img = np.zeros((450, 1200, 3), np.uint8)
    img[:] = (255, 255, 255)
    fontPath = "./TaipeiSansTCBeta-Bold.ttf"
    font = ImageFont.truetype(fontPath, 30)
    imgPil = Image.fromarray(img)
    draw = ImageDraw.Draw(imgPil)
    draw.text((30, 0),"投信", font = font, fill = (0, 0, 0))
    for j in range(len(allbuyselltop5)):
        for i in range(5):
            draw.text((30+j*400, (i+1)*30),str(allbuyselltop5[j][i][:-4])+str(allbuyselltop5_name[j][i]), font = font, fill = (0, 0, 255))
    draw.text((30, 190),"投信", font = font, fill = (0, 0, 0))  
    for k in range(len(allbuyselltop5)):
        for l in range(5,10):
            draw.text((30+k*400, (l+2)*30+10),str(allbuyselltop5[k][l][:-4])+str(allbuyselltop5_name[k][l]), font = font, fill = (0, 117, 0))
    draw.text((30, 420),datestring+"法人買賣超統計", font = font, fill = (0, 0, 0))
    img = np.array(imgPil)
    im=Image.fromarray(img) 
    #im.show() #顯示圖片
    im.save( "result.jpg" )



這時本地端的程式就完成了，接下來是與LINE Notify建立連接
建立LINE Notify token以及申請請看這
發送圖片請看這
以下是發送訊息以及圖片的程式：
import requests, os
def lineNotify(token, msg, picURI):
    
    url = "https://notify-api.line.me/api/notify"
    headers = {
        "Authorization": "Bearer " + token
    }
    payload = {'message': msg}
    files = {'imageFile': open(picURI, 'rb')}
    r = requests.post(url, headers = headers, params = payload, files = files)
    print("傳送成功！")    
    return r.status_code
lineNotify("你的token","hello","result.jpg")


畫圖程式以及發送LINE Notify完成，接下來是push到heroku伺服器上雲端執行程式
首先先建立新的app



建立完app後我們必須使用git套件上傳你的程式： 
$ heroku login
$ heroku git:clone -a appname #appname跟你的heroku app名稱是一樣的
$ cd stockbeta1  #cd到你的專案資料夾
$ git add .
$ git commit -am "make it better"  
$ git push heroku master


接著至more-run console輸入python filename.py 注意！filename是你的python檔案名稱
如果沒有報錯就是成功執行


接著要執行自動排程請參考這裡
接著就等到時間一到就可以收到相對應的資料了！


參考資料：

留言

張貼留言

這個網誌中的熱門文章

使用DLIB函式庫達成即時人臉辨識功能

-
圖片
  1. 研究動機 在大二上學期時，想要做出一個人臉門禁系統，在網路搜尋時，搜尋到 Dlib 這個函式庫，他提供了眾多的預訓練模型， 本作品使用 Dlib 函式庫搭配 tkinter 套件製作 GUI ，並且用到了本課程教的陣列運算，達成即時人臉辨識的功能。 2. 研究步驟 2.1 系統流程圖 圖一 系統流程圖 2.2 獲得人臉位置 在一張圖像中，我們要先辨識圖片中的人臉及其位置，在 Dlib 函式庫中，是以 CNN 的方法來獲得人臉的位置， Dlib 提供了已經訓練好的模型，在程式中只要使用 dlib.cnn_face_detection_model_v1 函式即可使用此模型，在該步驟中，此函式可以回傳檢測到人臉的數量以及座標。 圖二 獲得人臉位置功能圖例 2.3 獲得人臉關鍵點 在獲得人臉的數量以及座標之後，由於人臉有許多的器官，例如鼻子、眉毛等等， Dlib 規範了 68 個人臉的關鍵點，使用 dlib.shape_predictor 函式可以得到人臉 68 點關鍵點的座標，以更好的辨識人臉。 圖三 獲得人臉關鍵點 功能圖例 2.4 獲得人臉特徵向量 在人臉辨識中，最後需要將所辨識到的人臉轉成特徵向量，才可以快速地比較，如果是將人臉以圖像的方式比對，將會耗費很多的資源，在 Dlib 中作者提供了使用 29 層 ResNet 訓練而成的模型，在輸入了圖片以及關鍵點後 dlib.face_recognition_model_v1 這個函示會輸出 128 維的特徵向量，用來跟資料庫的特徵向量做比對。 圖四 獲得人臉特徵向量 功能圖例 2.5 比對相似人臉 獲得人臉特徵相量後，必須與資料庫的特徵向量比對，比對方法為先將人臉特徵向量減去資料庫的向量再取歐式距離，擁有最小歐式距離並且歐式距離小於自訂閾值的人臉標籤即是系統辨識出之人臉。 3. 實驗結果 在 GTX1050 顯示卡運算下，在 640x480 的尺寸中，將 1 幀畫面辨識出其中人臉，耗時僅 0.1 秒，是可以達到串流功能的，以下是靜態的執行畫面。 圖五程式執行畫面 、 程式動態影片 (google 雲端 ) 4. 結論 Dlib 中，使用 CNN 作為人臉偵測的方法， CNN 的方法雖然精度很高，但是需要的運算效能非常多，在像是樹梅派 嵌入式系統，是不能達...
閱讀完整內容

以dlib實現人臉辨識打卡系統

-
圖片
一、    功能 在上班族上班的一天，打卡是非常重要的，打卡系統的存在是讓雇主知道員工的上下班時間，但是打卡鐘也是需要員工手動的把卡片放入打卡鐘裡面，有了人臉辨識打卡系統，打卡鐘跟每天打卡的這個動作就是多餘的了。 這個打卡系統基於 python 跟 dlib 組成，只需要人臉被辨識，就會記錄下時間以及在資料庫尋找人名，完全不需要按鍵的觸發或是編號，因為人臉就是編號。
閱讀完整內容

使用Python達成影像形態學處理(不使用Opencv函式庫)

-
圖片
  1.    研究動機 在進入專題實驗室時，觀看 DeltaMOOCx 的線上課程，看到形態學的操作，覺得使用函式可以快速的達成功能，但是我不禁思考如果不使用函式，自己是否可以完成，本研究使用 opencv 的 cv2.getStructuringElement() 、 cv2.erode() 、 cv2.dilate() 、 cv2.morphologyEx() 函式當作對照組與不使用函式之結果進行比較。 2.    研究步驟 2.1 結構元素 (Structures Element) 結構元素為型態學的必備元素，結構元素的大小可以使用者自訂， opencv 函式中可以自訂為交叉 、 長方形 、 橢圓形 ，本研究對照組的 opencv 函式中使用的結構元素為 3x3 的交叉區塊，因此不使用 opencv 函式的實驗組的結構元素也為 3x3 的交叉區塊。 2.2 膨脹 (Dilation) 膨脹操作是將結構元素逐個像素的由上而下 、由左至右的掃描，假如結構元素的原點與被掃描圖像該點像素值相同，則將整個結構元素覆蓋至該圖像。 圖一 形態學膨脹操作 2.3 侵蝕 (Erosion) 侵蝕操作是將結構元素逐個像素的由上而下 、由左至右的掃描，假如整個結構元素與被掃描圖像像素值相同，則將結構元素的原點覆蓋至該圖像。 圖二 形態學侵蝕操作 2.4 斷開 (Open) 先侵蝕，接著再膨脹。 圖三 形態學斷開操作 2.5 閉合 (Close) 先膨脹，接著再侵蝕。 圖四 形態學閉合操作 3.    實驗結果 以下是實驗組與對照組的結果表格 : 4.    結論 經過了形態學的練習，不管事程式亦或是觀念都有一定的提升，我覺得可以把結構元素跟      圖像做捲積，再做加減運算，或許可以達成更快的速度。線上課程中，還有教到濾波，邊緣偵測等影像處理的方法，也是日後挑戰的題目。
閱讀完整內容