p3で機械学習基盤を作ったのだけれど、いろいろややこしかったのでメモしておく。 ただしこれは2017/11/27現在の状況であって、またそのうち移り変わると思う。 環境 OS: Ubuntu NVIDIA-DRIVERインストール 普通はこれで入る。 sudo apt-get install nvidia-…

ずっと放置していたブログを、久しぶりに書く。 PyConJP 2017に初参加・初登壇してきた。 ちなみにTalk内容はこれ。 pycon.jp 登壇資料はこれ。 speakerdeck.com はてブ数337ブックマークついた。ホットエントリー入りした。 今回のPyConJPの資料の中では一…

EMRでは、セキュリティオプションでEC2キーペアを選べば、 そのキーペアを使用してマスターノードにはSSHアクセスできますが、スレーブノードにアクセスしたいときはどうすればよいのでしょうか。 SSHエージェントを使うことで、スレーブノードへのアクセス…

Scala/Sparkだいすきですが、今度働くことになる会社はPython文化。 Scalaだって、Jupyter Notebook使えるし、matplotlibみたいに、ビジュアライゼーションできるよ！ということをアピールしたい、というのがモチベーションです。 ScalaをJupyterで使うため…

dein.vimは、vimプラグイン管理ツールの一つ。 今までNeoBundleというプラグイン管理ツールが主流だったが、最近はdein.vimを使う人も多いらしい。 dein.vimのインストール $ mkdir -p ~/.vim/dein/repos/github.com/Shougo/dein.vim $ git clone https://gi…

pythonのライブラリには、apache Arrowではない、arrowという日付や時刻に関する処理を行うライブラリもあるので注意。 ドキュメントでは、pipでインストールできると書いてあるのに、 pipではそんなパッケージはないと怒られた。 chie8842@chie-no-ubuntu:~…

Dockerのインストール・設定とTensorflowコンテナを起動した時の手順。 Dockerインストール手順はちょくちょく変わっているようなので、最新の情報は公式ドキュメントを参照すること。 公式ドキュメントでのUbuntuへのDockerインストール手順 Get Docker for…

/etc/rc.localスクリプトで共有ディレクトリのマウント処理を行うようにしていたのだけれど、 なぜかわからないけれど、dockerを入れた後に、再起動してもマウントされなくなっていた。 source /etc/rc.local とすると、きちんとマウントされる。 rc.localの…

GroupLens Datasets | GroupLens GroupLensは、推薦システム、オンラインコミュニティ、モバイルおよびユビキタステクノロジ、デジタルライブラリ、地理情報システムに特化したミネソタ大学のコンピュータサイエンスおよびエンジニアリング部門の研究室。 推…

# VNCサーバのインストール sudo apt-get install vnc4server # VNC接続時のパスワードの設定 vncpasswd # Password: # Verify: # VNCサーバの初回起動。これによって設定ファイルが作成される。 vncserver :1 # New 'chie-no-ubuntu:1 (chie8842)' desktop …

HeapStatsの使い方。ツールの使い方はすぐ忘れるのでメモ。 HeapStatsとは HeapStatsのWikiページ抜粋 HeapStats とは、JavaVM のヒープやGC状況を監視する軽量なツールで、エラーの兆候を検知してSNMPを通してリアルタイムなアラートを発します。生成するロ…

はじめに ブログサイト構築について、 Wordpress→GitHub Pages＋HUGO→medium→はてな ということで、現在はてなに落ち着いている。 せっかく試したので、GitHub Pages＋Hugoでのブログサイト構築についてもメモしておく。 HUGO環境構築 まずgoをインストール…

はじめに いままでCentOSばかり使ってきたけれど、久しぶりにUbuntuをインストールしてみた。 Hyper-V上で環境構築するうえで、はまったところや最初に最低限やっておくべきことをメモしておく。 気づいたことがあれば順次更新予定。 デスクトップ版とサーバ…

最近仕事で英語を使うらしい妹が、 「お姉ちゃん、TOEIC勝負しよう！」 といってくるので、英語の勉強を始めることにした。 勝負はTOEICだけど、せっかくなので、TOEIC用の勉強でなくて、ちゃんと喋れるようになるための勉強がしたい。 いろいろ調べて試して…

CUDAのインストール CUDAのダウンロードページから、インストーラをダウンロードする。 ダウンロードが終わったらインストーラを実行する。 必要なパッケージのダウンロードに時間がかかる。 インストールの確認 インストールが完了したら、 コマンドプロン…

はじめに Surface BookにNVIDIAのGPUが付けられる！ということで、 仮想サーバ上でGPGPUを試してみよう！と思ったけど、挫折したときの記録です。 Surface Bookゲット 持ち歩き用にずっとMacBookAirを使ってたけど、今どきメモリ4GBとかで結構不便を感じるこ…