データプラットフォームエンジニア(AIプラットフォーム/データ基盤/DBA)※東京大阪福岡/正社員

企業名

ヤフー株式会社

職種

その他、システムエンジニア

雇用形態

正社員

給与・報酬

勤務地

東京都千代田区/大阪府大阪市/福岡県福岡市

最寄駅

【紀尾井町オフィス】 東京メトロ各線 赤坂見附駅から徒歩2分 東京メトロ各線 永田町駅から徒歩3分 東京メトロ有楽町線 麹町駅から徒歩9分 【大阪オフィス】 JR 大阪駅から徒歩3分 大阪メトロ御堂筋線 梅田駅から徒歩4分 阪神本線 大阪梅田駅から徒歩5分 【博多オフィス】 各線 博多駅から徒歩4分

業務内容

【業務内容】
ヤフーは、メディア、広告、検索、コマース、決済金融など多岐にわたる事業を通じて、日々大量のデータが蓄積されます。
本職種では、それらのデータ利活用を支えるために、データの蓄積・分析基盤のための分散コンピューティング環境を全社へ提供しています。

<担当いただく領域>
※担当領域および業務内容は、選考の過程で決定します。

▼AIプラットフォーム領域
社内のデータサイエンティスト向けに、機械学習のためのサービスやツールを提供し、AIプラットフォームを実現するための仕組み作りを目指しています。
本領域ではAIプラットフォームを実現するためのサービスやツールの開発、それらの保守・運用を担当いただきます。
また、利用方法に関する問い合わせ対応や、要望への対応、利用促進活動も行っていただきます。

<主な業務内容>
・マルチテナント大規模Kubernetesクラスタの提供
・上記Kubernetes上での機械学習向けミドルウエアやAPI、フレームワークの提供

▼データ基盤領域
スケールする分散システムを提供するというミッションのもと、HadoopやTrinoといった分散ミドルウエアのシステム構築を行い、これを全社向けに提供しています。
現在はミドルウエアレイヤーの開発・運用のほか、以下の課題に取り組んでいます。
・スケールさせるうえで発生するOSI参照モデルの各レイヤーでの課題
・マルチテナントで提供しているがゆえに発生するノイジーネイバーやリソース効率化の課題
・利用者が投入するアプリケーションの高速化
本領域ではインフラエンジニアとしてシステムや運用業務の改善を担っていただきます。
ネットワークを含めたハードウエアレイヤーからアプリケーションレイヤーまでの広い技術理解と、分散技術への理解が求められます。

<主な業務内容>
・マルチテナント大規模Hadoop、Trinoの提供
・Hadoop、Trinoにおける高可用性と高性能の両立
・計算リソース割り当ての分析、最適化手法の開発
・パブリッククラウドを活用したハイブリッド構成の検討

▼DBA(データウェアハウス)領域
DBAとしてTeradataのクエリチューニングやテーブル設計への助言等を担っていただきます。
また、各種データウェアハウス製品の比較検証を行い、より最適な技術の選択も行っていただきます。

<主な業務内容>
・大規模データウェアハウス(Teradata)の保守・運用
・新機能検証、クエリチューニングを含む負荷対策、障害対応
・利用者のサポート

応募条件

【必要な経験/スキル】
▼AIプラットフォーム領域
・Kubernetes、Dockerを使ったミドルウエアやサービスの開発と運用の経験
・Go、Java、Pythonでのコーディングスキル(できれば複数が望ましい)
・プロフェッショナルが多い環境下で、自律自走して業務遂行するスキル

▼データ基盤領域
・大規模なプラットフォームやインフラの設計構築、運用経験
・JavaまたはPythonでのコーディングスキル

▼DBA(データウェアハウス)領域
・Teradata、Oracle、Redshift等のDBA経験
・TeradataやExadata等アプライアンスの運用経験、またはRedshiftで複数インスタンスを運用した経験

【あると望ましい経験/スキル】
▼AIプラットフォーム領域
・機械学習のシステム開発やプログラムの実装経験
・Google Cloud Platform、Amazon Web ServicesでのAI開発経験
・Kubernetes管理者認定(CKA)
・Kubernetesアプリケーション開発者認定(CKAD)

▼データ基盤領域
・Hadoop、Spark、Hive、Trinoの使用経験
・Kubernetes、Dockerの使用経験
・Google Cloud Platform、Amazon Web Services、Azureなどのパブリッククラウドの使用経験
・オープンソースへの積極的な貢献をした経験

▼DBA(データウェアハウス)領域
・TBクラス、または数十億件のテーブルを扱うクエリチューニング経験(データウェアハウス全体としては数10TB〜数PBのデータ量を想定)
・Redshift等のクラウドネイティブなデータベース経験
・Hadoopのクエリエンジン経験(Hive、Trino、Spark等)
・Talend等のETLツールやAmazon EMRを利用したデータ処理経験
・Tableau等のBIツールの利用に適したテーブル実装経験
・SQL、Python、Java、シェル等でのコーディングスキル

こだわりポイント

女性が活躍、学歴不問、即日スタート、経験者優遇、駅から徒歩5分以内、時短勤務可能、10時以降出社OK、フレックスタイム制、社員食堂あり、社会保険完備、育児支援制度、その他特別制度あり

受動喫煙防止情報

屋内受動喫煙対策:なし

案件番号

402235747

応募する

検討中リスト

Symbiorise(シンビオライズ)