2017-08-13

前言

大數據之所以被稱做大數據，自然是因為其資料數量龐大，雖然現今個人電腦普及，但真正面對大數據時，以個人能力組出來的電腦可能無法負荷如此龐大的資料。筆者目前使用的電腦環境是i7-6700 + 16GB DDR4 + NVIDIA 1060 6GB，雖然以個人用途來說已經是很棒的硬體設備，但有時候處理大數據卻會出現OOM或運算速度過慢的問題。對於OOM的問題，最簡單的解決方法就是上GCP開一個RAM大一點的VM，以Ubuntu作業系統來說，8核心+50GB的RAM不到0.5鎂/小時，以GCP提供的300鎂試用額度來說是綽綽有餘。針對深度運算時GPU的不夠力，由於目前GPU租賃單價過高，因此可能日後還要自行添購例如NVIDIA TITAN X之類的高級GPU。

To be continued..

2017-08-08

Big Data►Competition

[Kaggle]紅蘿蔔顧客訂單預測─簡單方法

前言
競賽說明
方法說明

前言

Instacart Market Basket Analysis 是一項由美國Instacart公司在Kaggle上發起的資料競賽，主要是希望透過大數據分析的方式，來預測顧客下筆訂單中會出現的商品。由於競賽還未結束的關係，因此先簡單介紹我已經開源的方法，日後競賽結束我也會整理相關文件，再將經驗記錄下來。

To be continued..

2017-07-29

Big Data►Deep Learning

[Kaggle]初探深度學習─亞馬遜叢林辨識(下)

Keras
亞馬遜叢林辨識

Keras

接續前一篇文章，由於深度學習是一項可以畢生鑽研的學問，為了避免事必躬親導致必須沿著前人的路重新走過一次，我們當然要試著站在巨人的肩膀上繼續邁進。

而Keras這個基於Python語言撰寫的深度學習API，就成為了一個很好的基石。以下節錄Keras的官方中文介紹：

To be continued..

2017-07-21

Kaggle►Notebook

[Kaggle]顧客訂單視覺化

幾天前在Kaggle上建立了人生第一次的iPython筆記(iPython Notebook)，主要是處理Instacart Market Basket Analysis這項競賽中，產出每個顧客的歷史訂單視覺化。

To be continued..

2017-07-20

Big Data►Deep Learning

[Kaggle]初探深度學習─亞馬遜叢林辨識(上)

前言
深度學習

前言

大概一個月前開始在Kaggle上接觸有關影像辨識的競賽，一開始我是玩數數海獅有幾隻的這項競賽。

雖然這是一個物體識別(Object recognition)的競賽，但我當時還未接觸到以深度學習的方式來進行物體識別，僅僅是靠著RGB分群+XGBoost迴歸、以及簡單的Ensemble技巧，勉勉強強爬到了一個只差三名就能拿下生涯第一座銅牌的名次。雖然事後有些懊惱，但這也成為了我接下來參加亞馬遜叢林辨識，以及研究Keras這個Python深度學習套件的因緣。

To be continued..

2017-07-13

生活►心情日記

A.D. 2017-07-13

雖然說在整個地球上，我不過就是七十億分之一的存在，但是說到承認自己的渺小倒也讓人抗拒。心中總有念頭希望自己能高人一等，但是具體要怎麼樣才算是高人一等卻一點概念也沒有，僅僅是有個不服輸、不想輸的念頭在腦海裡盤旋，然後化作我往前進的一股原動力。

沒有人會喜歡失敗的感覺，但是又不可避免的遭遇許許多多的失敗，人常說一帆風順到底的人生看似夢幻(但我也很想體會一下當主角的感覺…)，但不禁一番寒徹骨、焉得梅花撲鼻香。只有先苦後甘、品嘗過失敗的沮喪，才更能享受成功的喜悅。

To be continued..

2017-07-12

Big Data►Cloud Computing

試玩Google Cloud Platform

前言
Google Cloud Platform
天下沒有白吃的午餐
實際測試

前言

最近參加了Kaggle上有關影像分類的比賽，於是就開始研究所謂的深度學習影像分類(Deep learning in image classification)。隨著看的文章越來越多，以及接觸了一些深度學習的框架後，我開始佩服當初我買下GTX-1060的衝動。

當初本來只是想說有朝一日無聊的時候可以玩玩遊戲，壓根還沒意識到原來使用GPU進行深度學習計算已經是如日中天的火熱議題，基本上不會用GPU加速的話，那你大概就跟騎腳踏車跟F1比速度差不多(當然幾乎都是直接請框架幫忙串接GPU，不然光學那些新的東西不曉得要待到何年何月…)

To be continued..

2017-07-10

生活►心情日記

遊戲人生

好久沒有整理心情，寫一下當前的感受了…自從六月初KDD CUP結束後，因為實在找不到什麼目標，我便轉戰Kaggle。對我而言Kaggle就像是一塊新大陸，原來我在KDD CUP中學習到的僅僅是鳳毛麟角，我很快地就重新找到了目標 ─ 拿到Kaggle第一個銅牌。

To be continued..

2017-07-08

網站設計►Hexo

Hexo文章相關設定

前言
關鍵字的重要性
圖片資產

前言

將我的個人網站push到GitHub上之後，我試著學了Markdown語法，然後也很順利的透過谷哥找到了一款好用的Markdown編輯器─MarkdownPad 2。就在我寫前一篇文章寫到一半的時候，突然想到其他使用Hexo的blogger，他們文章前面好像都會有類似文章目錄的區塊，於是乎我就找了一下有沒有相關的套件可以使用。

To be continued..

2017-07-07

FreeBSD►系統防護

[FreeBSD] 以ssmtp搭配Gamil實現ssh登入自動提醒

前言
ssmtp
測試寄信
偵測ssh登入
更多的想法

前言

俗話說久病成良醫，經過了好幾次的資安經驗後，筆者也慢慢地養成了疑神疑鬼的性格(?)，為了避免這種病情惡化，只好用比較聰明的方法來讓自己安心。而這就是以下這篇文章要介紹的，如何透過排程機制來動態偵測ssh的使用者登入狀況，並同步寄發登入提醒。

說真的既然電腦是架在公開的網路環境下，那就沒有萬無一失的防禦方式，唯有與時俱進及提高警覺才能避免重傷害…所謂不經一事不長一智，久經沙場的話自然就會有更全面的經驗，而筆者也希望自己能從一而終的在學習上永無止境。

To be continued..

InfiniteWing

Till Dreams Come True

在GCP開啟Ubuntu遠端桌面

前言

[Kaggle]紅蘿蔔顧客訂單預測─簡單方法

前言

[Kaggle]初探深度學習─亞馬遜叢林辨識(下)

Keras

[Kaggle]顧客訂單視覺化

[Kaggle]初探深度學習─亞馬遜叢林辨識(上)

前言

A.D. 2017-07-13

試玩Google Cloud Platform

前言

遊戲人生

Hexo文章相關設定

前言

[FreeBSD] 以ssmtp搭配Gamil實現ssh登入自動提醒

前言