代码AI效果评测产品经理-抖音AI at ByteDance

代码AI效果评测产品经理-抖音AI 北京 | 正式 | 产品 | 职位 ID：A58211A 职位描述 团队介绍：抖音AI团队主要负责抖音项目以及团队内的AI落地相关基础建设工作。我们的职责是用前沿的AI技术去赋能抖音应用以及抖音团队。我们希望在AI技术的加持下，能够更好的给抖音用户带来更好的信息消费体验，也能够让抖音这个大型组织能够更加高效的运转，从而更加及时的满足用户的各项诉求。团队主要负责抖音AI基础建设，包括但不限于模型训练、Agent相关的工程链路开发、通用Agent工具抽象以及AI Native的各类产品开发工作。AGI信仰强，以发展成为AI Native组织为目标，努力拓展传统协作模式的职责边界，充分给同学们提供自身探索的空间。 1、构建代码大模型与Agent在抖音前端、服务端、客户端软件工程开发真实任务场景下的效果评估体系，定义效果评测集、评估标准、指标体系，产出评测结论与归因分析，推动效果迭代，探索代码Agent的效果上限； 2、协同研发、测试、数据科学等团队，基于产品定位、用户反馈、离线评测、AB实验和日志观测等方式，识别效果缺陷与改进机会点，给出可执行的优化方向与评估策略； 3、跟进工业界和学术界的最近评测研究与方法论，结合真实研发需求场景迭代评测方案，探索更反映真实开发者用户体验和价值的评测方法。 职位要求 1、本科及以上学历，软件工程、计算…