【職務内容】
・事前学習モデル・事後学習モデルともに、内製モデルならびに外部公開モデルの評価
・日本語評価ベンチマークの設計・構築や既存の評価ベンチマークの整備
・事前学習モデル評価時のプロンプトや事後学習モデル評価用のLLM-as-a-judgeなど評価手法そのものの改善
・論文執筆、テックブログ執筆
【ミッション】
・大規模言語モデル(事前学習モデル・事後学習モデル)の評価
・日本語評価ベンチマークの構築
・よりよい言語モデル評価方法の考案
【仕事の魅力】
外部公開モデルだけでなく現在進行形で学習されていく内製モデルの評価に携われ、また、日本語性能向上を導くための評価を設計するというチャレンジングな課題に従事できます。
【勤務地】
フルリモートワークも可能ですが、予め申請が必要となります。
【応募資格（必須）】
・自然言語処理ならびに大規模言語モデルに関する研究開発経験
・言語に関する深い洞察力
・コーディング力 (Python必須)
・情報系もしくはそれに類する分野での修士号保持者、またはそれに準ずる経験
【応募資格（歓迎）】
・自然言語処理分野の国際会議での論文発表経験
・評価ベンチマーク構築の経験
・情報系もしくはそれに類する分野での博士号保持者、またはそれに準ずる経験
