Another works Developers Blog

こんにちは！Another works エンジニアのまっちです！
今回は、弊社 <a href="https://anotherworks.co.jp/">Another works</a> と <a href="https://www.hrbrain.co.jp/about/">HRBrain</a> さんで 2023/6/28(水) に開催したLT×交流会 <a href="https://anotherworks.connpass.com/event/285380/">プロダクト開発を支える技術</a> のイベントレポートをお届けします！
<h1>■ イベントの概要</h1>
今回は 3/30(木)に開催した <a href="https://anotherworks.connpass.com/event/276673/">Front-end Meetup 2023</a> に引き続き HRBrain さんオフィスをお借りして共催イベントを開催！
弊社イベントはこれまで、フロントエンドをテーマに数多く開催してきました。
今回は “プロダクト開発を支える技術” と、いつもと異なるテーマの開催だったのでドキドキでした！
そのようななか、オフライン、オンライン合わせて40名ほどの方にご参加いただきました！！
ありがとうございます！
<img src="https://storage.googleapis.com/p_6370f30cc5584de95b79f07e/1eedf2d8-3275-40ad-bf00-3a03fa00fe79/PXL_20230628_103202096.jpg" alt="PXL_20230628_103202096.jpg">
<h1>■ LT登壇内容</h1>
<ol>
<li><a href="https://twitter.com/bellwood4486">鈴木 善晴</a> 氏 株式会社HRBrain テックリード： 「マイクロサービスのローカル開発環境をTiltを使って2年運用して得た知見」</li>
<li><a href="https://twitter.com/MotohiroSiobara">塩原 基弘</a> 株式会社Another works 取締役CTO：「施策のPDCAを回すためのデータ分析基盤」</li>
<li><a href="https://twitter.com/ingtk8">稲垣 隆徳</a> 氏 株式会社HRBrain テックリード：「ChatGPTとPythonを用いた高速なデータ可視化プロトタイピング」</li>
</ol>
<h2>1.「マイクロサービスのローカル開発環境をTiltを使って2年運用して得た知見」</h2>
<a href="https://twitter.com/bellwood4486">鈴木 善晴</a> 株式会社HRBrain テックリード / <a href="https://speakerdeck.com/bellwood4486/maikurosahisunorokarukai-fa-huan-jing-wotiltwoshi-tute2nian-yun-yong-sitede-tazhi-jian">登壇資料</a> 
<img src="https://storage.googleapis.com/p_6370f30cc5584de95b79f07e/3ac01b79-3fe6-42a2-8c27-3dc50bec4b49/PXL_20230628_104529498.jpg" alt="PXL_20230628_104529498.jpg"> 
内容
<ul>
<li>Tiltベースの弊社の開発体験の紹介</li>
<li>Tilt導入の工夫や得られた知見</li>
</ul>
ひとことレポート
Tilt を利用することにより、マイクロサービス構成を気にさせない開発体験はいいなと感じました！
開発環境改善は日々の業務をするなかで優先順位付けが難しくなかなか着手し辛い側面があります。
その文脈ででた話で、開発体験の悪さから生じる憤りをエネルギーに変換することを「怒り駆動開発」という言葉で表現されていて、個人的にツボでした。笑
HRBrain さんのサービスも開発チームも成長し続けるなかでの生の話が聞けて非常に学びあるお話でした！
<h2>2.「施策のPDCAを回すためのデータ分析基盤」</h2>
<a href="https://twitter.com/MotohiroSiobara">塩原 基弘</a> 株式会社Another works 取締役CTO / <a href="https://drive.google.com/file/d/10rXQj6jqELGQixIMAUSPjI6n1V51-z24/view">登壇資料</a> 
<img src="https://storage.googleapis.com/p_6370f30cc5584de95b79f07e/3661c92f-0a59-4d8f-946b-a24e2d6b26f8/PXL_20230628_110608327.MP.jpg" alt="PXL_20230628_110608327.MP.jpg">
内容
<ul>
<li>分析基盤の概要</li>
<li>ログデータを BigQuery に取り込む</li>
<li>分析用ログを Cloudwatch に吐き出す</li>
<li>まとめ
<ul>
<li>データの活用は後からでもできるけど、基盤の構築は早い方がいい</li>
<li>厳密であることはコミュニケーションをシンプルにする</li>
<li>厳密さを保ちつつ、コストを下げることはセットでやるべき</li>
</ul>
</li>
</ul>
ひとことレポート
データ分析においてデータサイエンティスト、PdM、実装者と関係者が多い故にコミュニケーションが繁雑になってしまう。この現状に対して ALL TypeScript で対応しているなどの工夫の部分が「なるほど」と改めて勉強になりました！
<h2>3.「ChatGPTとPythonを用いた高速なデータ可視化プロトタイピング」</h2>
<a href="https://twitter.com/ingtk8">稲垣 隆徳</a> 株式会社HRBrain テックリード / <a href="https://speakerdeck.com/ingtk/chatgpttopythonwoyong-ita-gao-su-nadetake-shi-hua-purototaipingu">登壇資料</a> 
<img src="https://storage.googleapis.com/p_6370f30cc5584de95b79f07e/c0f257bc-a899-4c88-9250-c171d4cc1421/PXL_20230628_111936489.MP.jpg" alt="PXL_20230628_111936489.MP.jpg"> 
内容
<ul>
<li>バックエンドエンジニアのプロトタイピングへの関わり方
<ul>
<li>なぜプロトタイピングをやるのか</li>
<li>プロトタイピングの課題</li>
</ul>
</li>
<li>データ可視化アプリケーションを爆速で作る</li>
</ul>
ひとことレポ
最近弊社 Another works でも最近プロトタイピングを取り入れて開発をしていたのでタイムリーでした。実際に動くものを見せることでコミュニケーションが円滑になるという話は非常に納得でした！
あと個人的に “LLM アイデアソン” を実施したというのが非常にうらやましかったです。うちでもやりたい。。。
<h1>■ 交流会</h1>
交流会にはLT登壇者も参加しました。
LT内容についての話や、技術の深い話、普段の開発におけるあれこれ、など最後まで大変盛り上がり、話題の尽きない時間でした！ 
<img src="https://storage.googleapis.com/p_6370f30cc5584de95b79f07e/1ab56a86-21d7-4291-899a-bd7838bcac67/PXL_20230628_115818845.jpg" alt="PXL_20230628_115818845.jpg">
<h1>■ さいごに</h1>
Another works では今後も学びと交流の場となるイベントを開催していく予定です！
Connpassでグループメンバーになっていただけると開催通知が送られますので、以下より是非グループメンバー登録をよろしくお願いします！
<a href="https://anotherworks.connpass.com/">Another works Connpass</a>
なお今回のイベントの感想など #AwEngineerMeetup のハッシュタグ付きでツイートをして盛り上げていただけると嬉しいです！
HRBrain のみなさま、ご参加いただいたみなさまありがとうございました！ 
<img src="https://storage.googleapis.com/p_6370f30cc5584de95b79f07e/bf64f452-ca3e-453e-b33d-08cbdcae37ec/PXL_20230628_113759123.MP(1).jpg" alt="PXL_20230628_113759123.MP(1).jpg">

Another works × HRBrain 【プロダクト開発を支える技術】イベントレポート

こんにちは、ノブです。
データドリブンな意思決定をよりスピーディに行うために分析工程をより速く・正確に行う方法がないかを日々試行錯誤しています。
その中の試みの一つについて記載します。
運用から３ヶ月程度経過し、効果を実感しているため、同じような悩みをお持ちの方の何かヒントになればとても嬉しく思います。
<h3>分析工程のボトルネック</h3>
分析の速度・正確性を考えた時に分析業務を以下の３つに大別しました。
<ul>
<li>
分析を計画する 
　- 明確にしたいものを定義する 
　- 分析にあたっての取得するデータを定義する 
　- どのような分析、可視化を行うかを考える
</li>
<li>
データを取得する 
　- DBの中身を把握する 
　- クエリを考える 
　- 可視化を行う
</li>
<li>
分析をする 
　- 可視化したものや情報を元に実際に分析を行う 
　- 議論できるように結果をレポーティングする
</li>
</ul>
この中で特に時間がかかっていて改善の余地が見込まれたのが「データを取得する時間」でした。
<h3>複業クラウドにおける BigQuery</h3>
複業クラウドでは、ログデータや同期したマスタテーブルを分析用に整形せずに生に近い状態で BigQuery に蓄積しており、データレイクとして活用していました。
<img src="https://storage.googleapis.com/p_6370f30cc5584de95b79f07e/1857e4dc-e5c4-49af-aa1f-e1d4f3f81dee%2Ftech_blog.001.jpeg" alt="tech_blog.001.jpeg">
上図のように分析者や BIツールはこの BigQuery を参照してデータ取得を行っていましたが、生データに近いが故に以下の課題を持っていました。
<ul>
<li>分析に不要な情報が多く存在する</li>
<li>値や構造が実装者寄りで分析者寄りではない</li>
</ul>
一つ目の「分析に不要な情報が多く存在する」についてです。 
同期したマスタテーブルでは、どの分析でも落としている情報がありました。 
例えば、求人データの公開日は重要ですが同じテーブルに存在するシステムで出し分けのために使っている値は分析では必ず落としていました。
二つ目の「値や構造が実装者寄りで分析者寄りではない」についてです。 
システムとしての良いテーブル構造が必ずしも分析にとって都合の良い構造ではないということは良くあることだと思います。 
具体的には、分析を目的とした SQL では結合や条件句が非常に多くなってしまい可読性やメンテナンス性に乏しいクエリとなっていました。
<h3>解決策</h3>
解決策として DWH（データウェアハウス）を作成することとしました。 
DWH は目的を分析に絞り、不要な情報は先に落とし、構造も分析寄りにしました。
<img src="https://storage.googleapis.com/p_6370f30cc5584de95b79f07e/c9251136-61eb-49f6-b5fd-08f57517207e%2Ftech_blog.002.jpeg" alt="tech_blog.002.jpeg">
DWH を設けることは BigQuery のビューを使うことで容易にできたので利用サービスが増えることもありませんでした。
ビューの使用方法は<a href="https://cloud.google.com/bigquery/docs/views?hl=ja#console">公式のドキュメント</a>に記載されているため割愛しますが、得られた効果を考えるとビューを用いた DWH の作成コストは非常に小さいと改めて感じています。
<h3>効果</h3>
DWHの運用は、効果を十分に感じています。
得られた効果は大きく二つあります。
<ul>
<li>クエリが簡潔になった</li>
<li>分析用の単語の定義にブレがなくなった</li>
</ul>
どちらの効果も分析のスピードをあげるだけでなく人的ミスを減らすことにも貢献してくれています。 
また、今後分析を担当するメンバーが増えた際にも全てのテーブルの関係性を説明するのではなく、目的にそった DWHを説明すれば良くなりました。
<h3>まとめ</h3>
今回は BigQuery のビューを用いて DWH を設けた話をさせていただきました。 
DWH を作成すると、今後はデータマートを作成することも容易となり、またこの話もできればと思っています。
サービスの進化に合わせて保持するデータは常に変わっていくもので、それを途切れることなく貯めていく分析基盤は非常に難しく魅力的なものですが、分析のための正しいデータ運用をこれからも模索できればと思っています。

#AI

Another works × HRBrain 【プロダクト開発を支える技術】イベントレポート

BigQueryのビューでDWHを作る