카테고리
Open-Reasoner-Zero
-
PipelineRL이 대규모 RL의 지연을 줄인 방식
PipelineRL이 추론 처리량과 정책 일치 데이터 수집의 충돌을 실행 중 가중치 갱신으로 줄인 방식을 정리합니다. 7B 실험은 2개 노드에서 ~3.5일이었고, 배치 크기 4096·학습률 1e-6·최대 생성 토큰 수 8192를 같은 설정으로 썼습니다.
카테고리
PipelineRL이 추론 처리량과 정책 일치 데이터 수집의 충돌을 실행 중 가중치 갱신으로 줄인 방식을 정리합니다. 7B 실험은 2개 노드에서 ~3.5일이었고, 배치 크기 4096·학습률 1e-6·최대 생성 토큰 수 8192를 같은 설정으로 썼습니다.