idanBean 種豆得瓜

猶如傑克與巨人的魔豆,貫穿裝置到雲端。

Category

資料分析 Data Analytics

(中文) [20170427 iThome Chatbot Day] 對談式體驗設計的機會與挑戰

Sorry, this entry is only available in 中文.

facebook graph api upgrade and new access token

My access token of facebook graph API expired today. My facebook graph api accrss token has upgrade to v2.6 in facebook developer 2.6. But the facebook-sdk in my server olny support to v 2.5 and I saw the following error… Continue Reading →

use jupyter to develop spark application

I used to use jupyter develop R or python application. I found spark can be developed in jupyter and I try to use jupyter to build spark application. My environment is AWS EC2 ubuntu 14.04. Use Anaconda to install jupyter… Continue Reading →

show Taiwan MAP on flask

  Get the json file of taiwan I use the project in github of g0v.  https://github.com/g0v/twgeojson Put json file in static/json of flask project Add taiwanmap.html and pad the following script in  taiwanmap.html Using js <script src=”http://d3js.org/d3.v3.min.js”></script> <script src=”http://d3js.org/topojson.v1.min.js”></script> Add… Continue Reading →

Create Radar Chart use flask

 create div for radar chart in html add  javascript to get data import data to radar chart create router in server.py for radar chart data create router to render this html finish

Use Python get Facebook post to DynamoDB

In order to collect data for deep learning, I try to get posts from facebook. I share the Python sample code to get facebook posts and pot into dynamoDB. Need to get facebook token from facebook developer page. Install facebook sdk pip… Continue Reading →

GIS support for database

在處理與手機端界接的後台應用,常會處理到跟 GPS 相關的資料儲存和查詢,現在許多資料庫都已針對 GIS 資料做實踐,提供更方便有效率的地理資訊查詢。目前最常被人使用的便是 PostgreSQL 和 MongoDB,不過 MySQL也有針對 GIS 作的實踐,但由於 AWS 未提供 MongoDB的服務,而關聯式資料庫則可使用 AWS RDS,所以我們針對 PostgreSQL 和 MySQL 作選擇,以維運成本優先考量。 MySQL Introduction 實踐了 openGIS 的一部份子集功能 Commands 建立表格: CREATE TABLE IF NOT EXISTS `RESTAURANT_INFO` ( `ID` int(10) unsigned AUTO_INCREMENT, `REST_LOC` point NOT NULL, PRIMARY KEY… Continue Reading →

SQL Server to MySQL with R

在 windows 上使用 R 去存取 SQL Server 和 MySQL 我是使用 RODBC。我的目的是將 SQL Server 中整理資料取出後再匯入 MySQL,用下面方式不須先去MySQL定義 schema就可將 data frame存成 MySQL的表格,遇到一些特殊狀況則需要特別去處理: 先在 windows 上的 ODBC 編輯連到 SQL Server 和 MySQL Server 的設定   在 R中使用RODBC require(RODBC) 取出 SQL Server 中需要資料   將資料匯進另一個… Continue Reading →

weka:使用 Java 作 machine learning

  在大數據如此熱門的現在,針對入門可以先對小數據作簡單分析和練習使用各種演算法。weka 是一個 Java library 已經實踐許多machine learning 的演算法,雖然實踐的演算法和 R 相比較少,但對於資料處理預測已經足夠,之前我也曾使用 weka 實做了類似 nest 去學習使用者對空調控制行為和在家規律的學習預測的功能。對於 Java 使用者而言不需再多學習其他語言,也可練習做數據分析,重要的不是使用何種語言和工具,而是對資料分析流程的了解和對數據的敏銳度。 下面是我當時使用weka時先用 UI介面針對資料作探索的UI安裝和操作介紹。我當初是先用UI介面去探索針對這些功能需要收集哪些資料,要何種格式以及用何種算法,再將結果作程式的實踐,變成自動化行為。   安裝 in windows 7 到官網去下載最新版本,現在最新版是weka-3-7-13-x64.exe,我當初是使用 weka-3-7-12-x64.exe [注意:下載3.7以上版本才有支援 GUI package manager] 點擊安裝 設定環境變數 : WEKA_HOME=[安裝路徑] 如有需要連接 MySQL 資料庫則須在 CLASSPATH 加上 mysql connection library… Continue Reading →

© 2019 idanBean 種豆得瓜 — Powered by WordPress

Theme by Anders NorenUp ↑