データエンジニア
正社員

データエンジニア

スマサテ株式会社 | 東京都品川区東京都品川区

「週4リモート」データエンジニア「11億件超の不動産ビッグデータ基盤/コアなしフルフレックス」

募集要項

職種データエンジニア
会社名スマサテ株式会社
給与年収800~1,000万円
雇用形態正社員
勤務地東京都品川区東京都品川区
アクセス下神明駅
応募資格・Pythonを用いたデータパイプライン(ETL/ELT)またはデータ処理バッチの開発実務経験(3年以上)
・AWSまたはGCPなどクラウドインフラを利用したデータ基盤(DWH、データレイク等)の構築、運用経験
・SQLを用いた複雑なデータ抽出、集計の実務経験
・RDBMSまたはNoSQLデータベースの設計、運用経験

【歓迎】
・大規模データ(数億から10億レコード超)を扱う処理基盤の最適化経験
・大規模なWebクローラーまたはスクレイピングシステムの構築、運用経験
・dbtまたはAirflow等のオーケストレーションツールを用いた開発、運用経験
・BIツール(Tableau、Metabase等)のデータマート構築、運用経験
・Elasticsearch等を用いた検索システムの構築、チューニング経験
学歴・Pythonを用いたデータパイプライン(ETL/ELT)またはデータ処理バッチの開発実務経験(3年以上) ・AWSまたはGCPなどクラウドインフラを利用したデータ基盤(DWH、データレイク等)の構築、運用経験 ・SQLを用いた複雑なデータ抽出、集計の実務経験 ・RDBMSまたはNoSQLデータベースの設計、運用経験 【歓迎】 ・大規模データ(数億から10億レコード超)を扱う処理基盤の最適化経験 ・大規模なWebクローラーまたはスクレイピングシステムの構築、運用経験 ・dbtまたはAirflow等のオーケストレーションツールを用いた開発、運用経験 ・BIツール(Tableau、Metabase等)のデータマート構築、運用経験 ・Elasticsearch等を用いた検索システムの構築、チューニング経験

仕事内容

■年収
800~1,000万円

■仕事内容
自社AI SaaSプロダクト「スマサテ」の心臓部であるデータ基盤の開発および運用を担っていただきます。世の中に散らばる膨大かつ雑多な不動産情報を収集し、誰もが使えるデータへとクレンジングおよび構造化していくことがメインミッションです。データサイエンティストの高度な分析や、アプリケーションの高速処理に耐えうるデータへと継続的に変換および蓄積するため、スケーラブルなデータパイプラインの設計および運用をリードしていただきます。

【具体的には】
・データ基盤(DWHやデータレイク等)のアーキテクチャの選定、設計、構築
・Web上からの継続的な不動産データ収集(クローリングやスクレイピング)、クレンジングおよび整形プログラムの実装
・バッチ処理やストリーミング処理のデータパイプラインの構築と最適化
・データ品質の担保、インフラ基盤やパイプラインの監視、パフォーマンスチューニング
・アプリチームやデータサイエンティストとの要件定義、データスキーマのすり合わせ

【開発環境】
・開発言語:Python、Ruby、PHP、JavaScript、Node.js、TypeScript
・フレームワーク:Django、Ruby on Rails、React、Vue.js
・OS:Linux
・DB:BigQuery、MySQL8.x
・インフラ:AWS、GCP
・ツール:Docker、CircleCI、Autify、RSpec、Vitest、GitHub

■求める経験
・Pythonを用いたデータパイプライン(ETL/ELT)またはデータ処理バッチの開発実務経験(3年以上)
・AWSまたはGCPなどクラウドインフラを利用したデータ基盤(DWH、データレイク等)の構築、運用経験
・SQLを用いた複雑なデータ抽出、集計の実務経験
・RDBMSまたはNoSQLデータベースの設計、運用経験

【歓迎】
・大規模データ(数億から10億レコード超)を扱う処理基盤の最適化経験
・大規模なWebクローラーまたはスクレイピングシステムの構築、運用経験
・dbtまたはAirflow等のオーケストレーションツールを用いた開発、運用経験
・BIツール(Tableau、Metabase等)のデータマート構築、運用経験
・Elasticsearch等を用いた検索システムの構築、チューニング経験

■雇用形態
正社員

■保険
健康保険 厚生年金 雇用保険 労災保険

■諸手当
通勤交通費支給、家賃補助(月額3万円支給。会社より半径2km圏内に居住している場合に限る)、書籍購入代金補助、リモートワーク機器補助(金額の上限設定なしで購入可能)

■休日休暇
完全週休2日制(土日)、祝日、年末年始休暇、年次有給休暇(入社時から付与)、結婚休暇、産前産後休暇、育児休暇(年間休日120日以上)
年収800~1,000万円
応募する