Browsing by Author "劉文卿"

Filter results by typing the first few letters
Now showing 1 - 2 of 2
  • No Thumbnail Available
    Item
    An Implementation of Distributed Framework of Artificial Neural Network for Big Data Analysis
    (國立台灣師範大學圖書資訊學研究所, 2016-10-??) 張景堯; 劉文卿; 何善豪; Jiing-Yao Chang, Wen-Ching Liou, Shan Hao Ho
    本研究設計一個分散式類神經網路框架以處理巨量資料之即時分析並能在極短的時間內得到不錯的結果。我們的實驗結果顯示在24 核心叢集平台上訓練分散式類神經網路模型可於17 秒收斂，進行預測時在0.7 投票閥值（voting threshold）設定下採用分層多重模型（multi-model with stratification）可獲得最多的真陽性結果且準確率達70%左右。在我們所建構的系統裡，類神經網路是用在資料採礦階段來發掘金融時間序列資料之模式。我們將訓練類神經網路的框架建置在分散式運算平台上，該平台我們採用具高效能記憶體內運算（in-memory computing）的Apache Spark 來建造底層基礎的運算叢集環境。我們評估了一些特別適用於預測金融時間序列資料的分散式後向傳導演算法，加以調整並整合進我們所設計的框架。同時，我們也提供了許多細部的選項，讓使用者在進行類神經網路建模時能有很高的客製化彈性。
  • No Thumbnail Available
    Item
    Distributed Computing System and Big Data Real-time Processing Structure --Based on YARN, Storm and Spark
    (國立台灣師範大學圖書資訊學研究所, 2016-10-??) 劉文卿; 曾柏崴; Wen-Ching Liou, Po-Wei Tseng
    近年來，隨著大數據時代的來臨，即時資料運算面臨許多挑戰。例如在期貨交易預測方面，為了精準的預測市場狀態，我們需要在海量資料中建立預測模型，且耗時在數十毫秒之內。在本研究中，我們將介紹一套即時巨量資料運算架構，這套架構將解決在實務上需要解決的三大需求：高速處理需求、巨量資料處理以及儲存需求。同時，在整個平行運算系統之下，我們也實作了數種人工智慧演算法，例如SVM（Support Vector Machine）和LR（Logistic Regression）等，做為策略模擬的子系統。本架構包含下列三種主要的雲端運算技術：1. 使用Apache YARN 以整合整體系統資源，使叢集資源運用更具效率。2. 為滿足高速處理需求，本架構使用 Apache Storm 以便處理海量且即時之資料流。同時，借助該框架，可在數十毫秒之內，運算上千種市場狀態數值供模型建模之用。3. 運用Apache Spark，本研究建立了一套分散式運算架構用於模型建模。藉由使用Spark RDD（Resilient Distributed Datasets），本架構可將SVM 和LR 之模型建模時間縮短至數百毫秒之內。為解決上述需求，本研究設計了一套n 層分散式架構且整合上列數種技術。另外，在該架構中，我們使用Apache Kafka 作為整體系統之訊息中介層，並支持系統內各子系統間之非同步訊息溝通。