Se un test che misura il livello di intelligenza fornisce, a distanza di pochi giorni (o se somministrato da valutatori diversi) ed a parità di condizioni, valori molto diversi, è evidente che i risultati di quel test saranno poco credibili ed il test stesso sarà poco affidabile. L'affidabilità (reliability) (Tab. 3.IV) è la possibilità che una scala, usata da osservatori diversi, in contesti o in tempi diversi, consenta di ripetere la misurazione dello stesso fenomeno con risultati sostanzialmente non dissimili. Per valutare l'affidabilità di uno strumento è necessario stabilire se i singoli item che esplorano una dimensione sono coerenti tra di loro (consistenza interna), se i punteggi sono stabili nel tempo (test-retest reliability), se osservatori diversi che valutano indipendentemente la stessa serie di pazienti danno punteggi sostanzialmente simili (inter-rater reliability) e se due forme diverse dello stesso strumento danno risultati sovrapponibili (parallel form reliability). Si può dire che l'affidabilità è il livello più alto di verifica della validità: se una RS non è in grado di fornire risultati riproducibili in tempi diversi, fra valutatori diversi o fra i suoi stessi item, i risultati con essa ottenuti sono inconsistenti e non è possibile definire che cosa misura quella scala.

L'affidabilità può essere valutata a vari livelli, a livello di sintomo, di sindrome o di diagnosi (Tab. 3.IV). Il livello di analisi a cui deve essere valutata l'affidabilità è in funzione degli obiettivi della ricerca; se, per esempio, siamo interessati più all'inquadramento diagnostico che alle modificazioni dei sintomi nel tempo, un'affidabilità a livello di diagnosi è senz'altro più importante di quella a livello di sintomi.