Senior Software Engineer (Data Platform) - Merpay

JD in Japanese follows. 英文の後に和文JDをご覧いただけます。

Introduction

Circulate all forms of value to unleash the potential in all people

"What can I do to help society thrive with the finite resources we have?" The Mercari marketplace app was born in 2013 out of this thought by our founder Shintaro Yamada as he traveled the world. We believe that by circulating all forms of value, not just physical things and money, we can create opportunities for anyone to realize their dreams and contribute to society and the people around them. Mercari aims to use technology to connect people all over the world and create a world where anyone can unleash their potential.For more information about Mercari Group’s mission, see Mercari's Culture Doc.

Equal Opportunity Hiring

Here at Mercari, we work to realize a world in which no one’s potential is limited by their background and everyone has the opportunity to freely create value. We also firmly believe that a mindset of Inclusion & Diversity is essential for us to achieve our mission.This, of course, extends to our hiring practices as well. Mercari is committed to eliminating discrimination based on age, gender, sexual orientation, race, religion, physical disability, and other such factors so that anyone who shares our mission and values can join us, regardless of their background. For more details, please read our I&D Statement.

Position Overview

Work Responsibilities

• Mercari Group utilizes data for business decisions and other processes in a wide variety of areas, including marketing, machine learning, and R&D. As part of Merpay’s Data Platform Team, you will design, develop and operate the data infrastructure/data pipelines which support data utilization for the entire Mercari Group, including not only Merpay, but the Mercari marketplace app. You will also be responsible for work on the Mercari Group’s data utilization as a whole.

• The Data Platform Team is an engineering organization which builds the systems necessary to a wide range of domains that utilize data. This work includes development of an ecosystem enabling data collection, Data Lake, DWH, use of collected data and other processes required by data utilization. The following describes the responsibilities of a software engineer on the Data Platform Team, as well as the environment and organization in which they work:

Job Description

• Developing batch-based data pipelines
• Developing streaming-based data pipelines
• Developing SDK for logging within microservices
• Collecting data from microservices
• Data Lake, DWH
  • Constructing Data Lakes for storing collected data
  • Managing partial permissions and resources on DWH
• Data utilization
  • Developing tools to support use of data in Data Lakes and on DWH
  • Developing a platform to provide stream data processing function
• Company-wide
  • Improving performance, aiming for low latency/high throughput according to application and middleware development, operation, and requirements
  • Developing tools to automate operations and/or lower costs
  • Identifying and solving technical issues with the system caused by engineering

Tools Used/Dev Environment

• Programming languages: Python, Java, Scala
• Infrastructure: Google Cloud Platform (Compute Engine, Kubernetes Engine, Dataflow, Pub/Sub, Cloud Storage, BigQuery, Spanner, Cloud SQL, Cloud Logging etc.), Confluent Cloud
• Distributed processing: Apache Flink / Apache Spark / Kafka Connect
• Workflow: Argo Workflows
• BI tools: Looker / Data Studio
• Configuration management tools: Terraform
• Monitoring: Stackdriver Monitoring / Datadog / PagerDuty
• CI/CD: Github Action / Spinnaker
• Knowledge Tool: Confluence/Jira
• Other: GitHub / Slack
• Development Method: Agile (Scrum, Kanban, etc.)

Dev Organizations

• Data Management Team
• Data Analytics Teams
• Machine Learning Teams (Search, Recommendation, Credit, Anti Fraud, etc)
• Product Teams (Marketing, CRM, Customer Support, Anti Fraud, etc)
• As part of the Data Engineering Team, you will work on development alongside members with a broad range of expertise from the following organizations.
• Teams

Unique and Bold Challenges

• Opportunity to build large-scale data infrastructure to support the massive amounts of data generated by Mercrai Group, including the Mercari Marketplace app with its over 20M monthly users.
• Work on development of an ecosystem to support data-driven business expansion by addressing the data utilization needs of many domains including analytics/decision-making, marketing, machine learning, and R&D.
• Take on the entire data platform creation process, from design to development to operation, to revise existing data infrastructure and develop new features which meet new data utilization needs.

Required Experience

• A shared belief in Mercari and Merpay’s missions and values
• A degree in computer science or a related field, or else five or more years of practical experience in software development
• Experience designing, developing, and operating large-scale services and/or distributed systems
• At least two of the following:
• Experience developing in the cloud with AWS, GCP, etc.
• Experience developing systems utilizing container technologies such as Kubernetes
• Development experience using message queues like Cloud Pub/Sub and Apache Kafka
• Experience in data processing development using distributed processing frameworks like Apache Flink and Apache Spark
• Experience with ETL system using workflow engines like Airflow and Digdag
• Experience designing application logs for large-scale services

Preferred Experience

• Experience working at a financial institution, Fintech company, or EC company
• Ability to identify the cause of technical system issues (e.g. drop in performance) and to resolve them
• Knowledge of network protocols such as TCP/IP, HTTP, gRPC, etc.
• Experience developing and operating software using two or more of the following: Go, Java, Scala, or Python
• Developed data collection systems using Treasure Data-created OSS (such as Fluentd, Embulk)
• Experience in development using DWH like BigQuery, Redshift, or Snowflake
• Experience in development using RDBMS, including MySQL and RDS
• Experience in development or cluster operation using the Hadoop ecosystem
• Experience developing software based on a microservice architecture
• Experience publishing and contributing to OSS

Screening Criteria

• Has a strong, shared belief in Mercari and Merpay’s missions and values
• Capable of going bold and possessing a strong sense of responsibility in regards to their work
• Possesses excellent communications skills which can push organizations and projects forward
• Able to collect information independently and identify the essence of issues to solve problems through engineering
• Thinks independently, acts independently, and leads operations with All for One mentality for the sake of the team and while holding on to professional mindset

Technical Assessment Criteria

• Documentation skills
• Testing
• Ability to code (efficiency, readability, maintainability)
• Design aptitude

Language Requirements

• English: Basic (CEFR - A2) optional
• Japanese: Independent (CEFR - B2)
• What does CEFR mean?

Working Conditions

Employment Status

Full-time

• Probationary period: First 3 months after joining the company. (During this period your contract conditions will be the same as that of a permanent employee.)

Office

Roppongi

• Smoking is prohibited within our offices

Work Hours

• Full flextime (no “core time” or “flex time”) *Does not apply to all positions

Holidays

• Two days off per week (as well as national holidays, New Year's break, etc.)
• Paid leave, congratulatory and bereavement leave, relax days, sick leave

Salary

• Annual salary paid in 12 monthly installments (including fixed overtime allowance)
• Based on skills, experience, and abilities
• Reviewed twice a year

Benefits

• Complete health and social insurance
• Incentive program
• Support systems, including those that benefit the employee’s family members

Support

• Relocation support
• Language learning support
• Translation/interpretation support

はじめに

あらゆる価値を循環させ、あらゆる人の可能性を広げる

「地球資源が限られているなか、より豊かな社会をつくるために何ができるか」。2013年、創業者の山田進太郎が世界一周の旅で抱いた課題意識から、フリマアプリ「メルカリ」は生まれました。私たちは、物理的なモノやお金に限らずあらゆる価値を循環させることで、誰もがやりたいことを実現し、人や社会に貢献するための選択肢を増やすことができると信じています。

テクノロジーの力で世界中の人々をつなぎ、あらゆる人の可能性が発揮される世界を実現していきます。メルカリグループの目指すべき方針についてはMercari Culture Docをご覧ください。

選考における機会の平等

メルカリでは、バックグラウンドによって個人の可能性が決めつけられることなく、自由に価値を生みだす機会を手にできる社会の実現を目指しています。そしてメルカリがミッションを実現するために「Inclusion & Diversity」という考え方は不可欠な存在だと考えています。採用活動においても、メルカリのミッション・バリューに共感する、様々なバックグラウンドの方にジョインしていただけるよう、年齢、性別、性的指向、人種、宗教、身体能力、その他記号に基づくあらゆる差別をなくすことを約束します。詳しくはI&D statementをご覧ください。

募集要項

業務内容

• メルカリグループでは事業推進上の意思決定をはじめ、マーケティング、機械学習、R&Dなど多様な領域においてデータが活用されています。メルペイのデータプラットフォームチームでは、現在メルペイだけではなくフリマアプリ「メルカリ」も含めたメルカリグループ全体におけるデータ活用を支えるデータインフラストラクチャ・データパイプラインを設計・開発ならびに運用し、グループのデータ活用を推進しています。
• また、データプラットフォームチームはデータ活用において必要とされるデータ収集、Data Lake、DWH、収集されたデータを活用するためのエコシステム開発など、データにまつわる幅広い領域において必要なシステムを構築するエンジニアリング組織です。具体的な業務内容や環境、組織は以下の通りです。

職務内容

• バッチベースのデータパイプライン開発
• ストリーミングベースのデータパイプライン開発
• マイクロサービスにおけるロギングのためのSDK開発
• マイクロサービスからのデータ収集
• Data Lake、DWH
  • 収集したデータを保存するData Lake 構築
  • DWH上の一部権限、リソース管理
• データ活用
  • Data Lake / DWH上のデータの利用支援ツール開発
  • ストリームデータプロセッシング機能を提供するプラットフォーム開発
• 全体共通
  • アプリケーションやミドルウェアの開発と運用、要件に応じた低レイテンシー/高スループットを目指したパフォーマンスの改善
  • 運用を自動化あるいは低コストにするためのツールの開発
  • エンジニアリングによるシステムの技術的な問題の発見、解決

利用しているツール / 開発環境

• 開発言語：Python, Java, Scala
• インフラ：Google Cloud Platform(Compute Engine, Kubernetes Engine, Dataflow, Pub/Sub, Cloud Storage, BigQuery, Spanner, Cloud SQL, Cloud Logging etc.), Confluent Cloud
• 分散処理：Apache Flink / Apache Beam(Dataflow) / Kafka Connect
• ワークフロー：Argo Workflows
• BIツール： Looker / Looker Studio
• 構成管理ツール： Terraform
• モニタリング：Stackdriver Monitoring / Datadog / PagerDuty
• CI/CD: Github Action / Spinnaker
• Knowledge Tool： Confluence/Jira
• その他：GitHub / Slack
• 開発手法: Agile (Scrum, Kanban, etc.)

開発組織

• Data Management Team
• Data Analytics Teams
• Machine Learning Teams (Search, Recommendation, Credit, Anti Fraud, etc)
• Product Teams (Marketing, CRM, Customer Support, Anti Fraud, etc)
• Data Engineeringというチームで、以下のような幅広い専門性を持つメンバーとともに開発していただきます。
• 構成

ユニークなチャレンジ

• 月間利用者2,000万人を超えるフリマアプリ「メルカリ」を含めたメルカリグループから生成される膨大なデータを扱うため、大規模なデータ基盤を構築することができます
• 分析意思決定、マーケティング、機械学習、R&Dなどの幅広い領域におけるデータの活用ニーズを通じて、データによる事業拡大のためのエコシステムの開発に取り組めます
• 既存のデータ基盤の見直しや新たなデータ活用ニーズを通じて開発していくデータ基盤を設計から開発・運用まで一貫してチャレンジできます

必須条件

• メルカリ・メルペイのミッションとバリューへの共感
• コンピュータサイエンスもしくは関連分野における学位の取得、または5年以上のソフトウェア開発実務経験
• 大規模サービスあるいは分散システムの設計、開発、運用経験
• 下記の項目を2つ以上満たす方
• AWSやGCPを用いたクラウドにおける開発経験
• Kubernetesなどのコンテナ技術を利用したシステムの開発経験
• Cloud Pub/SubやApache Kafkaなどメッセージキューを用いた開発経験
• Apache FlinkやApache Spark などの分散処理フレームワークを用いたデータプロセッシングの開発経験
• Argo Workflows, Airflow, Digdag, Digdag などのワークフローエンジンを用いたETLシステム
• 大規模サービスにおけるアプリケーションログの設計経験

歓迎条件

• 金融機関、Fintech企業、またはEC企業での就業経験
• システムの技術的問題（例：パフォーマンス低下）の原因を発見、解決するための能力
• TCP/IP、HTTP、gRPCなどのネットワークプロトコルについての知識
• Go、Java、Scala、Pythonのうち2つ以上を利用したソフトウェアの開発、運用経験
• Treasure Data製OSS(Fluentd, Embulk)などを用いたデータ収集システムの開発
• BigQuery、Redshift、SnowflakeなどのDWHを用いた開発経験
• MySQLやRDSを含むRDBMSを用いた開発経験
• Hadoopエコシステムを用いた開発経験またはクラスタの運用経験
• マイクロサービスアーキテクチャに基づいたソフトウェア開発経験
• OSSの公開、コントリビュートの経験

選考のポイント

• メルカリ/メルペイのミッションとバリューへの強い共感
• オーナーシップを持って業務に取り組み、ベストを尽くすための努力を惜しまない
• コミュニケーション能力が高く、組織やプロジェクトを動かすことができる
• 自ら情報を収集し、課題を本質を見極めながらエンジニアリングで解決できる
• 個人としてプロフェッショナルな意識を持ちながら、チームのために自ら考え、自ら動き、率先して成功のために行動できる

技術課題のポイント

• ドキュメンテーション力
• テスト
• コーディング能力（効率性/可読性/保守性）
• デザイン能力

語学力

• 英語：Basic (CEFR - A2) 歓迎
• 日本語：Independent (CEFR - B2) 

記事

• 【メルペイ】スピードを加速する先に描く「なめらかな社会」とは
• メルペイ DataPlatform Team の設立とその背景
• 僕たちはどうマイクロサービスのログを収集するのか
• メルペイにおける大規模バッチ処理
• メルペイのミッション「信用を創造する」に深〜く関わるData&MLの歴史を改めて紐解いてみる！
• メルペイDataPlatformのCDC DataPipeline

雇用条件

雇用形態

正社員

• 試用期間：入社後3ヶ月（本採用と同条件)　

オフィス

六本木

• 受動喫煙対策: 屋内全面禁煙

勤務時間

• フレックスタイム制（コアタイムなし・フレキシブルタイムなし） ※一部職種を除くため、ご応募の際にお問合せください。

休日・休暇

• 完全週休2日制（祝祭日、年末年始 等）
• 有給休暇、慶弔休暇、リラックス休暇、Sick Leave

給与

• 月給制（固定残業代含む）
• スキル・経験・能力に応じて決定いたします
• 毎年2回見直し　

ベネフィット　

• 各種社会保険完備
• インセンティブ制度
• 社員の家族を含めた支援制度 

サポート　

• リロケーションサポート
• 言語学習のサポート
• 翻訳と通訳のサポート