この記事は、AWS Analytics Advent Calendar 2021の12日目の記事です。 AWS上でETLを行う場合の環境の使い分けについて書こうと思います。 ここでは、AWS Glueを利用したデータ管理についてご紹介しようと思います。 AWS Glueは、ETLツールとして認識してい…
この記事は、datatech-jp Advent Calendar 2021の21日目の記事です。 (書くの遅くなってごめんなさい!) datatech-jp の紹介 今年の夏、さまざまな縁から、datatech-jp というコミュニティを立ち上げました。 自分自身は、The Self-Service Data Roadmap と…
こういうの書いたことなかったけど気が向いたので書いてみました!とはいえ昨日書き終わらなくて年明けてしまった! 去年の振り返り 去年の振り返りをかきます! 転職 Googleに転職しました。 スカウトは3,4年前からくることがあったけど受けたことはなくて…
TL;DR Elasticsearch7.2でKuromoji IPADic Neologd TokenizerのsearchモードとSynonym Token Filterを使うとエラーが出る。 エラーを回避するには、Synonym Token Filterを利用するanalyzerではkuromoji_tokenizerのnormalモードを使う 発生した問題 Elastic…
Web+DB Press Vo.104の特集1を執筆しました。わたしにとっては人生初の執筆で、学ぶことも多かったので、せっかくだからブログに書いてみます。 gihyo.jp 構成 章構成は共著者で話して決めました。 1つの特集で初めてさんでもPythonのインストールから機械学…
Pythonのメソッドにデコレータをつけるだけで、その処理が終わったらSlackやメールや画面のポップアップで通知してくれるツールを作りました。 github.com 正直そんなに大したツールではないんだけど、 こういう時間のかかる試行錯誤をサポートしてくれるツ…
p3で機械学習基盤を作ったのだけれど、いろいろややこしかったのでメモしておく。 ただしこれは2017/11/27現在の状況であって、またそのうち移り変わると思う。 環境 OS: Ubuntu NVIDIA-DRIVERインストール 普通はこれで入る。 sudo apt-get install nvidia-…
ずっと放置していたブログを、久しぶりに書く。 PyConJP 2017に初参加・初登壇してきた。 ちなみにTalk内容はこれ。 pycon.jp 登壇資料はこれ。 speakerdeck.com はてブ数337ブックマークついた。ホットエントリー入りした。 今回のPyConJPの資料の中では一…
EMRでは、セキュリティオプションでEC2キーペアを選べば、 そのキーペアを使用してマスターノードにはSSHアクセスできますが、スレーブノードにアクセスしたいときはどうすればよいのでしょうか。 SSHエージェントを使うことで、スレーブノードへのアクセス…
Scala/Sparkだいすきですが、今度働くことになる会社はPython文化。 Scalaだって、Jupyter Notebook使えるし、matplotlibみたいに、ビジュアライゼーションできるよ!ということをアピールしたい、というのがモチベーションです。 ScalaをJupyterで使うため…
dein.vimは、vimプラグイン管理ツールの一つ。 今までNeoBundleというプラグイン管理ツールが主流だったが、最近はdein.vimを使う人も多いらしい。 dein.vimのインストール $ mkdir -p ~/.vim/dein/repos/github.com/Shougo/dein.vim $ git clone https://gi…
pythonのライブラリには、apache Arrowではない、arrowという日付や時刻に関する処理を行うライブラリもあるので注意。 ドキュメントでは、pipでインストールできると書いてあるのに、 pipではそんなパッケージはないと怒られた。 chie8842@chie-no-ubuntu:~…
Dockerのインストール・設定とTensorflowコンテナを起動した時の手順。 Dockerインストール手順はちょくちょく変わっているようなので、最新の情報は公式ドキュメントを参照すること。 公式ドキュメントでのUbuntuへのDockerインストール手順 Get Docker for…
/etc/rc.localスクリプトで共有ディレクトリのマウント処理を行うようにしていたのだけれど、 なぜかわからないけれど、dockerを入れた後に、再起動してもマウントされなくなっていた。 source /etc/rc.local とすると、きちんとマウントされる。 rc.localの…
GroupLens Datasets | GroupLens GroupLensは、推薦システム、オンラインコミュニティ、モバイルおよびユビキタステクノロジ、デジタルライブラリ、地理情報システムに特化したミネソタ大学のコンピュータサイエンスおよびエンジニアリング部門の研究室。 推…
# VNCサーバのインストール sudo apt-get install vnc4server # VNC接続時のパスワードの設定 vncpasswd # Password: # Verify: # VNCサーバの初回起動。これによって設定ファイルが作成される。 vncserver :1 # New 'chie-no-ubuntu:1 (chie8842)' desktop …
HeapStatsの使い方。ツールの使い方はすぐ忘れるのでメモ。 HeapStatsとは HeapStatsのWikiページ抜粋 HeapStats とは、JavaVM のヒープやGC状況を監視する軽量なツールで、エラーの兆候を検知してSNMPを通してリアルタイムなアラートを発します。生成するロ…
はじめに ブログサイト構築について、 Wordpress→GitHub Pages+HUGO→medium→はてな ということで、現在はてなに落ち着いている。 せっかく試したので、GitHub Pages+Hugoでのブログサイト構築についてもメモしておく。 HUGO環境構築 まずgoをインストール…
はじめに いままでCentOSばかり使ってきたけれど、久しぶりにUbuntuをインストールしてみた。 Hyper-V上で環境構築するうえで、はまったところや最初に最低限やっておくべきことをメモしておく。 気づいたことがあれば順次更新予定。 デスクトップ版とサーバ…
最近仕事で英語を使うらしい妹が、 「お姉ちゃん、TOEIC勝負しよう!」 といってくるので、英語の勉強を始めることにした。 勝負はTOEICだけど、せっかくなので、TOEIC用の勉強でなくて、ちゃんと喋れるようになるための勉強がしたい。 いろいろ調べて試して…
CUDAのインストール CUDAのダウンロードページから、インストーラをダウンロードする。 ダウンロードが終わったらインストーラを実行する。 必要なパッケージのダウンロードに時間がかかる。 インストールの確認 インストールが完了したら、 コマンドプロン…
はじめに Surface BookにNVIDIAのGPUが付けられる!ということで、 仮想サーバ上でGPGPUを試してみよう!と思ったけど、挫折したときの記録です。 Surface Bookゲット 持ち歩き用にずっとMacBookAirを使ってたけど、今どきメモリ4GBとかで結構不便を感じるこ…