読者です 読者をやめる 読者になる 読者になる

焼肉が食べたい

ただの日記です。技術的に学んだことも書こうと思っていますが、あくまで自分用メモです。

EMRのスレーブノード(コアノード)にSSHアクセスする

EMRでは、セキュリティオプションでEC2キーペアを選べば、 そのキーペアを使用してマスターノードにはSSHアクセスできますが、スレーブノードにアクセスしたいときはどうすればよいのでしょうか。 SSHエージェントを使うことで、スレーブノードへのアクセス…

Scala/Sparkプログラミングをjupyter+brunelで快適に♫

Scala/Sparkだいすきですが、今度働くことになる会社はPython文化。 Scalaだって、Jupyter Notebook使えるし、matplotlibみたいに、ビジュアライゼーションできるよ!ということをアピールしたい、というのがモチベーションです。 ScalaをJupyterで使うため…

dein.vimを使ってvimのプラグイン管理をする

vim

dein.vimは、vimプラグイン管理ツールの一つ。 今までNeoBundleというプラグイン管理ツールが主流だったが、最近はdein.vimを使う人も多いらしい。 dein.vimのインストール $ mkdir -p ~/.vim/dein/repos/github.com/Shougo/dein.vim $ git clone https://gi…

Python3.5.3+conda+Jupyter Notebookでpyarrow(apache arrow)を使えるようにする

pythonのライブラリには、apache Arrowではない、arrowという日付や時刻に関する処理を行うライブラリもあるので注意。 ドキュメントでは、pipでインストールできると書いてあるのに、 pipではそんなパッケージはないと怒られた。 chie8842@chie-no-ubuntu:~…

docker インストールとTensorflowコンテナの起動

Dockerのインストール・設定とTensorflowコンテナを起動した時の手順。 Dockerインストール手順はちょくちょく変わっているようなので、最新の情報は公式ドキュメントを参照すること。 公式ドキュメントでのUbuntuへのDockerインストール手順 Get Docker for…

起動スクリプトrc.localがFailする場合の対処

/etc/rc.localスクリプトで共有ディレクトリのマウント処理を行うようにしていたのだけれど、 なぜかわからないけれど、dockerを入れた後に、再起動してもマウントされなくなっていた。 source /etc/rc.local とすると、きちんとマウントされる。 rc.localの…

機械学習で遊びたいときに使えるデータまとめ

GroupLens Datasets | GroupLens GroupLensは、推薦システム、オンラインコミュニティ、モバイルおよびユビキタステクノロジ、デジタルライブラリ、地理情報システムに特化したミネソタ大学のコンピュータサイエンスおよびエンジニアリング部門の研究室。 推…

Ubuntu16.04でVNCサーバを起動する

# VNCサーバのインストール sudo apt-get install vnc4server # VNC接続時のパスワードの設定 vncpasswd # Password: # Verify: # VNCサーバの初回起動。これによって設定ファイルが作成される。 vncserver :1 # New 'chie-no-ubuntu:1 (chie8842)' desktop …

HeapStatsの使い方メモ

HeapStatsの使い方。ツールの使い方はすぐ忘れるのでメモ。 HeapStatsとは HeapStatsのWikiページ抜粋 HeapStats とは、JavaVM のヒープやGC状況を監視する軽量なツールで、エラーの兆候を検知してSNMPを通してリアルタイムなアラートを発します。生成するロ…

GitHub PagesとHUGOでブログサイトを構築する

はじめに ブログサイト構築について、 Wordpress→GitHub Pages+HUGO→medium→はてな ということで、現在はてなに落ち着いている。 せっかく試したので、GitHub Pages+Hugoでのブログサイト構築についてもメモしておく。 HUGO環境構築 まずgoをインストール…

Hyper-VでUbuntu環境構築を行う上で最初にやること/はまりそうなところ

はじめに いままでCentOSばかり使ってきたけれど、久しぶりにUbuntuをインストールしてみた。 Hyper-V上で環境構築するうえで、はまったところや最初に最低限やっておくべきことをメモしておく。 気づいたことがあれば順次更新予定。 デスクトップ版とサーバ…

英語のリスニング学習ツール

最近仕事で英語を使うらしい妹が、 「お姉ちゃん、TOEIC勝負しよう!」 といってくるので、英語の勉強を始めることにした。 勝負はTOEICだけど、せっかくなので、TOEIC用の勉強でなくて、ちゃんと喋れるようになるための勉強がしたい。 いろいろ調べて試して…

Windows10上にCUDAをインストールしてサンプルプログラムを動かしてみる

CUDAのインストール CUDAのダウンロードページから、インストーラをダウンロードする。 ダウンロードが終わったらインストーラを実行する。 必要なパッケージのダウンロードに時間がかかる。 インストールの確認 インストールが完了したら、 コマンドプロン…

Surface Bookを買ってGPGPUで遊ぼうと思ったけど障壁が高かった話

はじめに Surface BookにNVIDIAのGPUが付けられる!ということで、 仮想サーバ上でGPGPUを試してみよう!と思ったけど、挫折したときの記録です。 Surface Bookゲット 持ち歩き用にずっとMacBookAirを使ってたけど、今どきメモリ4GBとかで結構不便を感じるこ…