正社員
AI Evaluation Scientist
JAPAN AI株式会社 ｜ 東京都新宿区東京都新宿区西新宿
AI Evaluation Scientist / English
募集要項
| 職種 | AI Evaluation Scientist |
|---|
| 会社名 | JAPAN AI株式会社 |
|---|
| 給与 | 年収800～1,600万円 |
|---|
| 雇用形態 | 正社員 |
|---|
| 勤務地 | 東京都新宿区東京都新宿区西新宿 |
|---|
| アクセス | 新宿駅 |
|---|
| 応募資格 | ・LLM / 生成AI評価の深い知識
・統計・実験設計知識
・PythonによるML/評価パイプライン構築経験
・PyTorch / JAX / TensorFlow実務経験
・評価指標設計経験
【歓迎】
・NeurIPS / ICML / ICLR / ACL / EMNLP等の論文実績
・RLHF / DPO経験
・LLM-as-Judgeキャリブレーション経験
・Responsible AI / AI Safety経験
・Benchmark妥当性検証
・マルチエージェント評価経験 |
|---|
| 学歴 | ・LLM / 生成AI評価の深い知識
・統計・実験設計知識
・PythonによるML/評価パイプライン構築経験
・PyTorch / JAX / TensorFlow実務経験
・評価指標設計経験
【歓迎】
・NeurIPS / ICML / ICLR / ACL / EMNLP等の論文実績
・RLHF / DPO経験
・LLM-as-Judgeキャリブレーション経験
・Responsible AI / AI Safety経験
・Benchmark妥当性検証
・マルチエージェント評価経験 |
|---|
仕事内容
■年収
800～1,600万円
■仕事内容
AI Evaluation Scientistとして、AIエージェント品質評価基盤の設計・構築・運用をリードしていただきます。
【具体的には】
評価指標の研究開発
自動評価パイプラインの設計・構築
レッドチーミング・安全性検証
統計的実験設計による品質改善
評価結果の研究開発チームへのフィードバック
実運用品質の担保
■求める経験
・LLM / 生成AI評価の深い知識
・統計・実験設計知識
・PythonによるML/評価パイプライン構築経験
・PyTorch / JAX / TensorFlow実務経験
・評価指標設計経験
【歓迎】
・NeurIPS / ICML / ICLR / ACL / EMNLP等の論文実績
・RLHF / DPO経験
・LLM-as-Judgeキャリブレーション経験
・Responsible AI / AI Safety経験
・Benchmark妥当性検証
・マルチエージェント評価経験
■雇用形態
正社員
■保険
健康保険 厚生年金 雇用保険 労災保険
■諸手当
通勤手当
■休日休暇
慶弔休暇 年末年始 夏期休暇 有給休暇
