焼肉が食べたい

ただの日記です。技術的に学んだことも書こうと思っていますが、あくまで自分用メモです。 プロフィールはこちら。https://chie8842.github.io/aboutme/

ETL環境の使い分け

この記事は、AWS Analytics Advent Calendar 2021の12日目の記事です。 AWS上でETLを行う場合の環境の使い分けについて書こうと思います。 ここでは、AWS Glueを利用したデータ管理についてご紹介しようと思います。 AWS Glueは、ETLツールとして認識してい…

データ分析に関して今年読んだ本

この記事は、datatech-jp Advent Calendar 2021の21日目の記事です。 (書くの遅くなってごめんなさい!) datatech-jp の紹介 今年の夏、さまざまな縁から、datatech-jp というコミュニティを立ち上げました。 自分自身は、The Self-Service Data Roadmap と…

去年の振り返りと今年がんばること

こういうの書いたことなかったけど気が向いたので書いてみました!とはいえ昨日書き終わらなくて年明けてしまった! 去年の振り返り 去年の振り返りをかきます! 転職 Googleに転職しました。 スカウトは3,4年前からくることがあったけど受けたことはなくて…

Elasticsearch7.2でkuromoji_ipadic_neologd_tokenizerのsearchモードとsynonym_token_filterを一緒に使うとエラーが出る

TL;DR Elasticsearch7.2でKuromoji IPADic Neologd TokenizerのsearchモードとSynonym Token Filterを使うとエラーが出る。 エラーを回避するには、Synonym Token Filterを利用するanalyzerではkuromoji_tokenizerのnormalモードを使う 発生した問題 Elastic…

Web+DB Press Vo.104の特集1を執筆しました!

Web+DB Press Vo.104の特集1を執筆しました。わたしにとっては人生初の執筆で、学ぶことも多かったので、せっかくだからブログに書いてみます。 gihyo.jp 構成 章構成は共著者で話して決めました。 1つの特集で初めてさんでもPythonのインストールから機械学…

時間のかかるデータ処理や機械学習処理が終わったら通知してくれるツールをつくった!

Pythonのメソッドにデコレータをつけるだけで、その処理が終わったらSlackやメールや画面のポップアップで通知してくれるツールを作りました。 github.com 正直そんなに大したツールではないんだけど、 こういう時間のかかる試行錯誤をサポートしてくれるツ…

p3インスタンス(V100)上でCUDA+CUDNN+Tensorflowを動かすのが大変だったのできろく。

p3で機械学習基盤を作ったのだけれど、いろいろややこしかったのでメモしておく。 ただしこれは2017/11/27現在の状況であって、またそのうち移り変わると思う。 環境 OS: Ubuntu NVIDIA-DRIVERインストール 普通はこれで入る。 sudo apt-get install nvidia-…

PyConJP 2017に登壇してきた

ずっと放置していたブログを、久しぶりに書く。 PyConJP 2017に初参加・初登壇してきた。 ちなみにTalk内容はこれ。 pycon.jp 登壇資料はこれ。 speakerdeck.com はてブ数337ブックマークついた。ホットエントリー入りした。 今回のPyConJPの資料の中では一…

EMRのスレーブノード(コアノード)にSSHアクセスする

EMRでは、セキュリティオプションでEC2キーペアを選べば、 そのキーペアを使用してマスターノードにはSSHアクセスできますが、スレーブノードにアクセスしたいときはどうすればよいのでしょうか。 SSHエージェントを使うことで、スレーブノードへのアクセス…

Scala/Sparkプログラミングをjupyter+brunelで快適に♫

Scala/Sparkだいすきですが、今度働くことになる会社はPython文化。 Scalaだって、Jupyter Notebook使えるし、matplotlibみたいに、ビジュアライゼーションできるよ!ということをアピールしたい、というのがモチベーションです。 ScalaをJupyterで使うため…

dein.vimを使ってvimのプラグイン管理をする

vim

dein.vimは、vimプラグイン管理ツールの一つ。 今までNeoBundleというプラグイン管理ツールが主流だったが、最近はdein.vimを使う人も多いらしい。 dein.vimのインストール $ mkdir -p ~/.vim/dein/repos/github.com/Shougo/dein.vim $ git clone https://gi…

Python3.5.3+conda+Jupyter Notebookでpyarrow(apache arrow)を使えるようにする

pythonのライブラリには、apache Arrowではない、arrowという日付や時刻に関する処理を行うライブラリもあるので注意。 ドキュメントでは、pipでインストールできると書いてあるのに、 pipではそんなパッケージはないと怒られた。 chie8842@chie-no-ubuntu:~…

docker インストールとTensorflowコンテナの起動

Dockerのインストール・設定とTensorflowコンテナを起動した時の手順。 Dockerインストール手順はちょくちょく変わっているようなので、最新の情報は公式ドキュメントを参照すること。 公式ドキュメントでのUbuntuへのDockerインストール手順 Get Docker for…

起動スクリプトrc.localがFailする場合の対処

/etc/rc.localスクリプトで共有ディレクトリのマウント処理を行うようにしていたのだけれど、 なぜかわからないけれど、dockerを入れた後に、再起動してもマウントされなくなっていた。 source /etc/rc.local とすると、きちんとマウントされる。 rc.localの…

機械学習で遊びたいときに使えるデータまとめ

GroupLens Datasets | GroupLens GroupLensは、推薦システム、オンラインコミュニティ、モバイルおよびユビキタステクノロジ、デジタルライブラリ、地理情報システムに特化したミネソタ大学のコンピュータサイエンスおよびエンジニアリング部門の研究室。 推…

Ubuntu16.04でVNCサーバを起動する

# VNCサーバのインストール sudo apt-get install vnc4server # VNC接続時のパスワードの設定 vncpasswd # Password: # Verify: # VNCサーバの初回起動。これによって設定ファイルが作成される。 vncserver :1 # New 'chie-no-ubuntu:1 (chie8842)' desktop …

HeapStatsの使い方メモ

HeapStatsの使い方。ツールの使い方はすぐ忘れるのでメモ。 HeapStatsとは HeapStatsのWikiページ抜粋 HeapStats とは、JavaVM のヒープやGC状況を監視する軽量なツールで、エラーの兆候を検知してSNMPを通してリアルタイムなアラートを発します。生成するロ…

GitHub PagesとHUGOでブログサイトを構築する

はじめに ブログサイト構築について、 Wordpress→GitHub Pages+HUGO→medium→はてな ということで、現在はてなに落ち着いている。 せっかく試したので、GitHub Pages+Hugoでのブログサイト構築についてもメモしておく。 HUGO環境構築 まずgoをインストール…

Hyper-VでUbuntu環境構築を行う上で最初にやること/はまりそうなところ

はじめに いままでCentOSばかり使ってきたけれど、久しぶりにUbuntuをインストールしてみた。 Hyper-V上で環境構築するうえで、はまったところや最初に最低限やっておくべきことをメモしておく。 気づいたことがあれば順次更新予定。 デスクトップ版とサーバ…

英語のリスニング学習ツール

最近仕事で英語を使うらしい妹が、 「お姉ちゃん、TOEIC勝負しよう!」 といってくるので、英語の勉強を始めることにした。 勝負はTOEICだけど、せっかくなので、TOEIC用の勉強でなくて、ちゃんと喋れるようになるための勉強がしたい。 いろいろ調べて試して…

Windows10上にCUDAをインストールしてサンプルプログラムを動かしてみる

CUDAのインストール CUDAのダウンロードページから、インストーラをダウンロードする。 ダウンロードが終わったらインストーラを実行する。 必要なパッケージのダウンロードに時間がかかる。 インストールの確認 インストールが完了したら、 コマンドプロン…

Surface Bookを買ってGPGPUで遊ぼうと思ったけど障壁が高かった話

はじめに Surface BookにNVIDIAのGPUが付けられる!ということで、 仮想サーバ上でGPGPUを試してみよう!と思ったけど、挫折したときの記録です。 Surface Bookゲット 持ち歩き用にずっとMacBookAirを使ってたけど、今どきメモリ4GBとかで結構不便を感じるこ…