Index

_

__call__() (verl.single_controller.ClassWithInitArgs method) __init__() (verl.single_controller.ClassWithInitArgs method) (verl.single_controller.ray.RayWorkerGroup method) (verl.single_controller.ResourcePool method) (verl.single_controller.Worker method) (verl.single_controller.WorkerGroup method) (verl.trainer.ppo.ray_trainer.RayPPOTrainer method)

__new__() (verl.single_controller.Worker static method)

A

agg_loss() (in module verl.trainer.ppo.core_algos)

append_to_dict() (in module verl.utils.py_functional)

C

ClassWithInitArgs (class in verl.single_controller) collate_fn() (in module verl.utils.dataset.rl_dataset) compute_policy_loss() (in module verl.trainer.ppo.core_algos)

compute_reward() (in module verl.trainer.ppo.reward) concat() (verl.DataProto static method) copy_to_local() (in module verl.utils.fs) create_colocated_worker_cls() (in module verl.single_controller.ray)

D

DAPORewardManager (class in verl.workers.reward_manager)

DataProto (class in verl)

F

find_latest_ckpt_path() (in module verl.utils.checkpoint.checkpoint_manager)

fit() (verl.trainer.ppo.ray_trainer.RayPPOTrainer method) FSDPCheckpointManager (class in verl.utils.checkpoint.fsdp_checkpoint_manager)

G

gather_outpus_and_unpad() (in module verl.utils.ulysses) get_constant_schedule_with_warmup() (in module verl.utils.torch_functional) get_cuda_visible_devices() (verl.single_controller.Worker method)

get_fsdp_wrap_policy() (in module verl.utils.fsdp_utils) get_master_addr_port() (verl.single_controller.Worker method) get_reverse_idx() (in module verl.utils.seqlen_balancing) GPUMemoryLogger (class in verl.utils.debug)

H

hf_tokenizer() (in module verl.utils.tokenizer)

I

init_workers() (verl.trainer.ppo.ray_trainer.RayPPOTrainer method)

K

kl_penalty() (in module verl.trainer.ppo.core_algos), [1]

L

load_checkpoint() (verl.utils.checkpoint.fsdp_checkpoint_manager.FSDPCheckpointManager method) load_reward_manager() (in module verl.trainer.ppo.reward) local_rank_list() (verl.single_controller.ResourcePool method)

local_world_size_list() (verl.single_controller.ResourcePool method) logger (verl.utils.tracking.Tracking attribute) logprobs_from_logits() (in module verl.utils.torch_functional)

M

make_iterator() (verl.DataProto method) masked_mean() (in module verl.utils.torch_functional) masked_whiten() (in module verl.utils.torch_functional) module verl.trainer.ppo.core_algos verl.trainer.ppo.reward verl.utils.checkpoint.checkpoint_manager verl.utils.checkpoint.fsdp_checkpoint_manager verl.utils.dataset.rl_dataset verl.utils.debug verl.utils.fs verl.utils.fsdp_utils verl.utils.metric verl.utils.py_functional verl.utils.seqlen_balancing verl.utils.tokenizer verl.utils.torch_functional verl.utils.tracking verl.utils.ulysses

N

NaiveRewardManager (class in verl.workers.reward_manager)

R

rank (verl.single_controller.Worker property) RayPPOTrainer (class in verl.trainer.ppo.ray_trainer) RayWorkerGroup (class in verl.single_controller.ray)

rearrange_micro_batches() (in module verl.utils.seqlen_balancing) reduce_metrics() (in module verl.utils.metric) ResourcePool (class in verl.single_controller) RLHFDataset (class in verl.utils.dataset.rl_dataset)

S

save_checkpoint() (verl.utils.checkpoint.fsdp_checkpoint_manager.FSDPCheckpointManager method)

select() (verl.DataProto method) supported_backend (verl.utils.tracking.Tracking attribute)

T

to() (verl.DataProto method)

Tracking (class in verl.utils.tracking)

U

ulysses_pad_and_slice_inputs() (in module verl.utils.ulysses)

union() (verl.DataProto method)

V

verl.trainer.ppo.core_algos module verl.trainer.ppo.reward module verl.utils.checkpoint.checkpoint_manager module verl.utils.checkpoint.fsdp_checkpoint_manager module verl.utils.dataset.rl_dataset module verl.utils.debug module verl.utils.fs module verl.utils.fsdp_utils module

verl.utils.metric module verl.utils.py_functional module verl.utils.seqlen_balancing module verl.utils.tokenizer module verl.utils.torch_functional module verl.utils.tracking module verl.utils.ulysses module

W

Worker (class in verl.single_controller) WorkerGroup (class in verl.single_controller)

world_size (verl.single_controller.ResourcePool property) (verl.single_controller.Worker property) (verl.single_controller.WorkerGroup property)