正社員
AI Evaluation Scientist
JAPAN AI株式会社 ｜ 東京都新宿区東京都新宿区西新宿
AI Evaluation Scientist / Japanese
募集要項
| 職種 | AI Evaluation Scientist |
|---|
| 会社名 | JAPAN AI株式会社 |
|---|
| 給与 | 年収800～1,600万円 |
|---|
| 雇用形態 | 正社員 |
|---|
| 勤務地 | 東京都新宿区東京都新宿区西新宿 |
|---|
| アクセス | 新宿駅 |
|---|
| 応募資格 | ・コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、計量心理学などの関連分野における修士号以上、または同等の実務経験
・MLエンジニア / DS / リサーチエンジニア / ML評価関連職種の実務経験 3年以上
・LLM / 生成AIの評価手法に関する深い知識
・統計学・実験計画法の実践的知識
・Pythonでの ML / 評価パイプライン構築経験
・機械学習フレームワーク（PyTorch、JAX、TensorFlow等）の実務経験
・評価メトリクスの設計・実装経験
【歓迎】
・ML / NLPトップカンファレンス（NeurIPS、ICML、ICLR、ACL、EMNLP等）での論文発表経験
・報酬モデリング / preference learning（RLHF、DPO等）の研究・実装経験
・LLM-as-Judge の校正・rubric設計の経験 |
|---|
| 学歴 | ・コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、計量心理学などの関連分野における修士号以上、または同等の実務経験
・MLエンジニア / DS / リサーチエンジニア / ML評価関連職種の実務経験 3年以上
・LLM / 生成AIの評価手法に関する深い知識
・統計学・実験計画法の実践的知識
・Pythonでの ML / 評価パイプライン構築経験
・機械学習フレームワーク（PyTorch、JAX、TensorFlow等）の実務経験
・評価メトリクスの設計・実装経験
【歓迎】
・ML / NLPトップカンファレンス（NeurIPS、ICML、ICLR、ACL、EMNLP等）での論文発表経験
・報酬モデリング / preference learning（RLHF、DPO等）の研究・実装経験
・LLM-as-Judge の校正・rubric設計の経験 |
|---|
仕事内容
■年収
800～1,600万円
■仕事内容
AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。
【具体的には】
・評価メトリクスの研究開発
・自動評価パイプラインの設計・構築
・安全性・品質検証
・統計分析・実験設計
■求める経験
・コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、計量心理学などの関連分野における修士号以上、または同等の実務経験
・MLエンジニア / DS / リサーチエンジニア / ML評価関連職種の実務経験 3年以上
・LLM / 生成AIの評価手法に関する深い知識
・統計学・実験計画法の実践的知識
・Pythonでの ML / 評価パイプライン構築経験
・機械学習フレームワーク（PyTorch、JAX、TensorFlow等）の実務経験
・評価メトリクスの設計・実装経験
【歓迎】
・ML / NLPトップカンファレンス（NeurIPS、ICML、ICLR、ACL、EMNLP等）での論文発表経験
・報酬モデリング / preference learning（RLHF、DPO等）の研究・実装経験
・LLM-as-Judge の校正・rubric設計の経験
■雇用形態
正社員
■保険
健康保険 厚生年金 雇用保険 労災保険
■諸手当
通勤手当
■休日休暇
慶弔休暇 年末年始 夏期休暇 有給休暇
