Recomendados
Mais conteúdo relacionado
Destaque
Mais de Kazuya Wada
Último
Último (20)
R-3.0.0でGLM
- 3. 2013/04/20 u和田 計也（@wdkz） u 静岡県袋井市出身 uサイバー系企業でデータマイニングエンジニア職 u 最近は奥華子ばっか聴いてます u前職はバイオベンチャー u バイオマーカ探索してた u 学生時代は枯草菌の研究 自己紹介 サイバー系 3
- 6. 2013/04/20 kohskeさんのまとめがめっちゃわかりやすい！ サイバー系 6 http://qiita.com/items/2d21344ba11d030c3cf0 挙動が微妙って...
- 7. 2013/04/20 早速トライR-3.0.0 サイバー系 u 2^31-1の呪縛からの脱却っぷりを試してみよう！ u 使用データはもちろんairline(からカラム選択した)データ ・約1.2億行 x 6列 ・使用マシンは244Gbyte メモリのやつ ・OSは64bit Ubuntu12.04 7
- 9. 2013/04/20 UbuntuマシンにR-3.0.0をセットアップ サイバー系 u cranミラーとか利用するとapt-getで3.0.0が入らないよ 9 設定ファイルをちょいと変更 $ sudo vi /etc/apt/sources.list deb http://ppa.launchpad.net/marutter/rdev/ubuntu precise main deb-src http://ppa.launchpad.net/marutter/rdev/ubuntu precise main #(12.10の場合はquantalね) $sudo add-apt-repository ppa:gwibber-daily/ppa $ sudo apt-get update $ sudo apt-get install r-base ↑これでR-3.0.0がインストールできる http://www.personal.psu.edu/mar36/blogs/the_ubuntu_r_blog/ 2013/03/moving-to-r-300-on-ubuntu.html (2013/04/19現在)
- 15. 2013/04/20 戦略 サイバー系 u R-3.0.0は2^31-1以上の要素数を持つmatrixを扱うことが できるようになったが、model.matrix関数でデザイン行列 を作成しようとすると(デカいmatrixの場合に)エラーになる u 仕方ないので以下のようにやってみた i) Year毎にmatrixを分割して ii) それぞれでmodel.matrixを適用させデザイン行列を 作成して iii) それぞれcsvファイルに出力して iv) 全csvファイルを結合して v) ↑この結合したcsvファイルをread.csvで読み込む 15 model.matrix後の要素数が2^31以上
- 16. 2013/04/20 仕方ない... サイバー系 16 #formula object <- Cancelled ~ Year + Month + DayOfWeek + CRSElapsedTime + Distance #NA除外しとかないとmodel.matrixの返り値とnrowが異なっちゃう airline <- airline[-which(is.na(airline$CRSElapsedTime) | is.na(airline$Distance)),] chunk.level <- levels(as.factor(data[,chunk])) for(i in 1:length(chunk.level)){ assign(paste("airline", chunk.level[i], sep=""), subset(airline, Year==chunk.level[i])) assign(paste("mm", chunk.level[i], sep=""), model.matrix(object, data=get(paste("airline", chunk.level[i], sep="")))) write.table(get(paste("mm", chunk.level[i], sep="")), file=paste("mm", chunk.level[i], ".csv", sep=""), sep=",", col.names=ifelse(i==1,T,F), row.names=F, quote=F) } csv_files <- dir()[grep("^mmd{4}.csv$", dir())] cmd_str <- paste("cat ", paste(csv_files, collapse=" "), " > mm.csv", sep="") system(cmd_str) airline.mm <- read.table("mm.csv", sep=",", skip=1, header=F) clname <- as.character(read.table("mm.csv", sep=",", nrows=1, stringsAsFactors=F)) colnames(airline.mm) <- clname read.csv使うと(メモリ量が充分でない場合に)コケる場合があった。 その場合はカラム名なしでread.table後にカラム名を付けるとOKだった