Qwen3 dataset - how is the input/target split handled?

[csanadpoda]

I'm trying to fine tune Qwen3 using a custom loss function, and I can't figure out how it works. I follow the colab for non-thinking training, I have the correct dataset. I can even train on my custom dataset just fine. However I wanted to dig deeper into how it works, so I created a dummy custom loss function to see what's in the inputs, what's in the labels and the target. An example from my dataset, train_ds[0]:

{'text': '<|im_start|>user\nYou are part of an AI system helping to clear up broken Hungarian TTS data that outputs everything phonetically. Correct all incoming text, but return only the corrected text. If you add anything other than the cleaned text, it will break the system. Do not write a program for it, you handle it yourself. Use the correct punctuation instead of the phonetic transcriptions. For example, correct "paragrafus" to "§" and so on Numbers should appear as numerals. Dates should be displayed in Hungarian format. Names should start with a capital letter. Do not add new words. Do not change the order of the words. Do not translate the text, return it in Hungarian, only de-phonetize it!\n\nInput: utalt arra vallomásában jé ká véd tizedik oldal hogy volt egy számla amire a egyéb érdekelt negyvenöt nem állította ki az igazolást és megállított további hitelek folyósítása miatt e körben elmondta hogy volt egy egyeztetés a egyéb érdekelt negyvenöt munkatársával személyesen az egyéb érdekelt hét nél hiszen kialakult egy pánikhangulat mert egy olyan rizikóval nem számolt a bank amivel igazából ő sem számolt hogy ilyen megtörténhetett<|im_end|>\n<|im_start|>assistant\n<think>\n\n</think>\n\nUtalt arra vallomásában (Jkv. 10. oldal), hogy volt egy számla, amire a egyéb érdekelt45 nem állította ki az igazolást és megállított további hitelek folyósítása miatt. E körben elmondta, hogy volt egy egyeztetés a egyéb érdekelt45 munkatársával személyesen az egyéb érdekelt7-nél, hiszen kialakult egy pánikhangulat, mert egy olyan rizikóval nem számolt a bank, amivel igazából ő sem számolt, hogy ilyen megtörténhetett.<|im_end|>\n'}

I'm loading the and preparing the model as described in the guide, but I add a custom loss:

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/Qwen3-4B-unsloth-bnb-4bit",
...

)

model = FastLanguageModel.get_peft_model(
    model,
...
)

from trl import SFTTrainer, SFTConfig
from transformers import TrainerCallback, ProgressCallback
from transformers import TrainingArguments
from unsloth import is_bfloat16_supported
from unsloth import unsloth_train

class CustTrainer(SFTTrainer):
    def compute_loss(self, model, inputs, return_outputs=False, num_items_in_batch=8, **kwargs):
        (loss, outputs) = super().compute_loss(
            model, inputs, return_outputs=True, num_items_in_batch=num_items_in_batch
        )
        input_ids = inputs["input_ids"]  # (B, T)
        labels    = inputs["labels"]     # (B, T)
        logits  = outputs.logits
        pred_ids = logits.argmax(dim=-1)
        for b in range(input_ids.size(0)):
            # a) split input vs. target by label-mask != -100
            label_mask = labels[b] != -100                        # T-length boolean
            if label_mask.any():
                first_tgt = label_mask.nonzero(as_tuple=True)[0][0].item()
            else:
                first_tgt = input_ids.size(1)

            # decode exactly what the model saw as “prompt” vs. “response”
            inp_txt  = tokenizer.decode(input_ids[b, :first_tgt],
                                        skip_special_tokens=False)
            tgt_txt  = tokenizer.decode(labels[b][label_mask].tolist(),
                                        skip_special_tokens=False)

            print(f"\n=== example #{b} ===")
            print(" PROMPT (model input) →")
            print(inp_txt)
            print("\n TARGET (gold tokens) →")
            print(tgt_txt)
            pred_text = self.tokenizer.decode(pred_ids[b].tolist(), skip_special_tokens=False)
            print(f"PREDICTED:\n{pred_text}")

        return (loss, outputs) if return_outputs else loss

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    train_dataset = train_ds,
    eval_dataset = test_ds,
    args = SFTConfig(
        dataset_text_field = "text",
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 5,
        num_train_epochs = 100, # Set this for 1 full training run.
        # max_steps = 600,
        learning_rate = 2e-4,
        logging_steps = 10,
        optim = "adamw_8bit",
        optim_args="bnb_8bit_use_cuda=True",
        weight_decay = 0.01,
        lr_scheduler_type = "linear",
        seed = 3407,
        output_dir = "outputs",
        eval_steps = 100,
        report_to = "none", # Use this for WandB etc
    ),
)

So basically all I'm doing is printing the input ids and the labels.

What I can't understand is WHY is there NOTHING in my "PROMPT" output? The whole input seems to be kept in the TARGET part. How does Qwen3 differentiate between the target and the prompt while learning?

An example output for this code is:

=== example #0 ===
 PROMPT (model input) →


 TARGET (gold tokens) →
<|im_start|>user
You are part of an AI system helping to clear up broken Hungarian TTS data that outputs everything phonetically. Correct all incoming text, but return only the corrected text. If you add anything other than the cleaned text, it will break the system. Do not write a program for it, you handle it yourself. Use the correct punctuation instead of the phonetic transcriptions. For example, correct "paragrafus" to "§" and so on Numbers should appear as numerals. Dates should be displayed in Hungarian format. Names should start with a capital letter. Do not add new words. Do not change the order of the words. Do not translate the text, return it in Hungarian, only de-phonetize it!

Input: látható továbbá hogy a egyéb érdekelt 21 a filmjogok 15 százalékát 264 1000000 forintért eladta az egyéb érdekelt 22 kf-nek míg a filmjogok 50 százalékát a egyéb érdekelt huszonötnek 964 1000000 forintért a rendelkezésre álló számlák banki adatok és a szakvélemény alapján megállapítható hogy a számlák kiegyenlítése az alábbiak szerint történt a egyéb érdekelt 41 2000 9 január tizenharmadikán 62000 USD-t utalt a egyéb érdekelt 21 részére mely által 290 1 1000000 forint tartozása maradt fenn<|im_end|>
<|im_start|>assistant
<think>

</think>

Látható továbbá, hogy a egyéb érdekelt21. a filmjogok 15%-át 264.000.000 forintért eladta az egyéb érdekelt22 Kf-nek, míg a filmjogok 50%-át a egyéb érdekelt25-nek 966.000.000 forintért. A rendelkezésre álló számlák, banki adatok és a szakvélemény alapján megállapítható, hogy a számlák kiegyenlítése az alábbiak szerint történt. A egyéb érdekelt41 2009. január 13-
PREDICTED:
user
You are part of an AI system helping to clear up broken Hungarian TTS data that outputs everything phonetically. Correct all incoming text, but return only the corrected text. If you add anything other than the cleaned text, it will break the system. Do not write a program for it, you handle it yourself. Use the correct punctuation instead of the phonetic transcriptions. For example, correct "paragrafus" to "§" and so on Numbers should appear as numerals. Dates should be displayed in Hungarian format. Names should start with a capital letter. Do not add new words. Do not change the order of the words. Do not translate the text, return it in Hungarian, only de-phonetize it!

Input: atható továbbá hogy a egyéb érdekelt 25 a egyjogok 10 százalékát 200010000000intért eladta a egyéb érdekelt 20 ne nek aíg a filmjogok 50 százalékát a egyéb érdekelt zonötnek 100 1000000 forintért a egyelkezésre álló számlák ési adatok és a szakvélemény alapján megállapítható hogy a egyámlák kiegyenlítése sz alábbiak szerint történt a egyéb érdekelt 2002000 1 máuár izenharmadikán 100000-t utalt a egyéb érdekelt 21 részére melyetltal 2000101000000 forint tartalmása maradt fenn<|im_end|>
<|im_start|>assistant
<think>

</think>

Látható továbbá, hogy a egyéb érdekelt21. a filmjogok 15%-át 264.000.000 forintért eladta az egyéb érdekelt22 Kf-nek, míg a filmjogok 50%-át a egyéb érdekelt25-nek 964.000.000 forintért. A rendelkezésre álló számlák, banki adatok és a szakvélemény alapján megállapítható, hogy a számlák kiegyenlítése az alábbiak szerint történt. A egyéb érdekelt41 2009. január 13-án

[ZhouZhichengSteven]

Also confused.
As SFTTrainer requires only filed "text" which represent the whole sentence, how could the it generate input_id, labels and attention mask for supervised finetune?