バックエンドの技術

2015-12-04

Logstashを中心にしたカメリオのログ、イベントの収集・解析・可視化

読了時間4分

こんにちは。ここに初めて登場するエンジニアの北野です。業務の半分くらいがエンジニアで、エンジニアとしてクローラーの開発とサーバー運用などを行っています。今回はカメリオを動かしているサーバーのログ、イベント収集と解析・表示をどのように行っているかを書きたいと思います。

2015-05-25

Go言語で API サーバーを開発する

読了時間15分

白ヤギではいま API サーバーを Go 言語で開発しています。皆さんも Go の話題をよく見聞きするようになっていると思います。今回は白ヤギの業務でどんな風に Go を使って開発しているかの一端を紹介します。

2015-04-14

「Pythonエンジニア養成読本」はデータマイニング初心者にもオススメの一冊!

読了時間3分

4/17に技術評論社から「Pythonエンジニア養成読本」という本が発売されました。その中で、PyData.Tokyoのオーガナイザーの1人であるALBERT池内さんが「PyData入門」を書いており、「これからPythonでデータ分析をしよう!」と考えている人に最良の指南書となっています。そこで、読みどころを紹介したいと思います!

2014-12-17

【新連載】PyData TokyoがCodeZineに連載開始しました

読了時間4分

このたび、勉強会の内容をCodeZineに連載開始させていただきました。イベントの様子はもちろん、実際に紹介されたコードなども交え、「濃い」内容にしていきますので、イベントに参加された方も、されなかった方も、ぜひご一読ください!

連載第一回はこちらから

2014-12-08

ディープラーニングを使ったイメージの切り抜き

読了時間15分

ディープラーニングの物体認識技術(Caffe)と、セグメンテーションを使った画像切り出し技術(Selective Search)を使ってニュースアプリ「カメリオ」の見出しに使われるサムネイル生成の精度向上への応用を検討しました。

2014-11-20

小さなサーバーで大きなサービスをつくる

読了時間10分

カメリオを支えるシステムの裏側をお話しています。ミドルウェアの組み合わせ方やサーバーレベルでのプログラムを書くときの注意点などを紹介します。特に今回は二段構成になっている白ヤギのバックエンドにおける「バックエンドにあるフロントエンド」について。

2014-10-09

インターンシップでの小プロジェクト

読了時間4分

インターンとして白ヤギでお世話になっていた安川です.この小プロジェクトは勉強会,ハッカソン,音楽のコンサート,花火など
のあらゆるイベントの情報を取得することを目的として作成しました.これによって最終的にカメリオ無いでのイベント情報からのメタデータ抽出に役立てて頂く狙いがありました

2013-09-17

パイソンで日本語を可視化してみた

読了時間13分

「日本語を可視化する」というテーマで、Python Apacの最終日のハッカソンでミニプロジェクトを行いました。グラフデータベースを使って、単語同士のネットワークを見える化することでどんな発見があるんだろう・・・。今回はNeo4jというグラフデータベースとPy2NeoというパイソンAPIを使って実装を行いました。結果ドキドキとビリビリにあふれた数時間でした。

2013-08-15

自動要約アルゴリズムを公開しました!

読了時間5分

忙しい時に余計なことを聞かされると、イラっとクルものです。アルゴリズムによる自動要約の研究は最近始まったものではなく、最先端分野での挑戦は複数のドキュメントから非常に短い要約を作ることにシフトしています。一方である程度のクオリティーの要約は比較的シンプルなルールをもとに作り出すことが出来ます。

2013-07-19

一目見ただけで通じる表現方法

読了時間10分

数年前、海外で仕事をしていた時にWordleというサービスを知り、タイポグラフィーの新しい面白さに見とれてしまいました。ワードクラウドと一般的に呼ばれている手法で、長文から重要な単語を抜き出し、各単語の大きさがその重要さを表す、という単純な仕組みですが、非常に美しく、インパクトの強い表現をすることができます。日本語版ワードクラウドを作ってみようと試みたところ、そこそこ面白いものができました。