データプラットフォームエンジニア【生成AI事業】
【期待する役割】 SB Intuitions社内の大規模データの管理・活用を支えるデータプラットフォームの設計・構築・運用を通じて、データドリブンでイノベーションを推進します。また、データ品質の向上、セキュリティ維持、パフォーマンス最適化により、データ活用しやすい環境を提供します。 【職務内容】 ・数十ペタバイト規模のデータを扱うオンプレミスおよびクラウド環境でのデータプラットフォームの設計、構築、運用 ・オブジェクトストレージ(S3)を利用した分散型データ管理システムの開発・運用 ・IAMアクセス制御やデータカタログによる、データガバナンス強化や管理及び、データ利用推進 ・マルチデータセンター間でのストレージの統合レイヤーの開発と運用 ・LLMモデル、コーパスデータ、RAG用基礎データの保存・管理 【魅力】 ★日本語性能で国内No.1の大規模言語モデル(LLM)を目指し、 同社の所有する国内最大規模の計算基盤を使って国産の大規模言語モデルの研究開発に貢献できます。 ★大規模データ環境の管理を通じて、最先端のLLM技術に触れ、LLMOpsに関わる経験ができます。
東京都
650万円〜1800万円
その他