Table 7. Open in new tab Performance of... | Oxford Academic

Table 7.

Open in new tab

Performance of the rule-based NLP algorithm and machine learning models.

Sensitivity	Daytime sleepiness	Napping	Night wakings	Sleep problem	Bad sleep quality	Snoring	Sleep duration
Specificity
F1
PPV
AUROC
Rule-based NLP	1.00	0.50	1.00	0.85	0.62	0.94	1.00
	1.00	0.99	0.99	0.93	0.51	0.97	1.00
	1.00	0.98	0.99	0.91	0.91	0.97	1.00
	1.00	0.50	0.75	0.80	0.60	0.89	1.00
	1.00	0.97	0.98	0.92	0.50	0.86	–
DT	0.86	0.89	0.82	0.78	0.63	0.75	0.79
	0.86	0.89	0.80	0.72	0.57	0.75	0.74
	0.90	0.98	0.81	0.74	0.58	0.75	0.76
	0.86	0.89	0.84	0.84	0.81	0.78	0.77
	0.85	0.89	0.79	0.71	0.56	0.75	–
LR	0.90	0.47	0.92	0.91	0.42	0.42	0.77
	0.77	0.50	0.83	0.58	0.50	0.50	0.67
	0.81	0.48	0.86	0.59	0.45	0.46	0.71
	0.89	0.94	0.91	0.82	0.83	0.84	0.78
	0.78	0.50	0.82	0.58	0.50	0.50	–
KNN	0.93	0.79	0.87	0.79	0.76	0.70	0.84
	0.85	0.79	0.79	0.65	0.72	0.66	0.89
	0.88	0.79	0.82	0.68	0.74	0.71	0.86
	0.93	0.95	0.89	0.83	0.86	0.81	0.87
	0.85	0.79	0.78	0.64	0.72	0.66	–
SVM	0.91	0.81	0.90	0.91	0.93	0.95	0.85
	0.80	0.69	0.85	0.61	0.60	0.69	0.84
	0.84	0.74	0.87	0.63	0.63	0.75	0.84
	0.90	0.95	0.91	0.83	0.86	0.90	0.78
	0.79	0.69	0.85	0.61	0.60	0.68	–
LLAMA2-CoT	0.69	0.72	0.48	0.82	0.74	0.80	0.77
	0.54	0.62	0.34	0.86	0.67	0.85	0.72
	0.57	0.58	0.39	0.83	0.70	0.79	0.67
	0.54	0.62	0.34	0.86	0.67	0.84	0.72
	0.54	0.60	0.37	0.84	0.68	0.78	–
LLAMA2-SFT	0.93	0.82	0.90	0.90	0.87	0.88	1.00
	0.92	0.94	0.94	0.90	0.87	0.88	1.00
	0.91	0.88	0.96	0.89	0.84	0.78	1.00
	0.92	0.85	0.93	0.89	0.84	0.83	1.00
	0.91	0.82	0.90	0.89	0.87	0.87	–

Sensitivity	Daytime sleepiness	Napping	Night wakings	Sleep problem	Bad sleep quality	Snoring	Sleep duration
Specificity
F1
PPV
AUROC
Rule-based NLP	1.00	0.50	1.00	0.85	0.62	0.94	1.00
	1.00	0.99	0.99	0.93	0.51	0.97	1.00
	1.00	0.98	0.99	0.91	0.91	0.97	1.00
	1.00	0.50	0.75	0.80	0.60	0.89	1.00
	1.00	0.97	0.98	0.92	0.50	0.86	–
DT	0.86	0.89	0.82	0.78	0.63	0.75	0.79
	0.86	0.89	0.80	0.72	0.57	0.75	0.74
	0.90	0.98	0.81	0.74	0.58	0.75	0.76
	0.86	0.89	0.84	0.84	0.81	0.78	0.77
	0.85	0.89	0.79	0.71	0.56	0.75	–
LR	0.90	0.47	0.92	0.91	0.42	0.42	0.77
	0.77	0.50	0.83	0.58	0.50	0.50	0.67
	0.81	0.48	0.86	0.59	0.45	0.46	0.71
	0.89	0.94	0.91	0.82	0.83	0.84	0.78
	0.78	0.50	0.82	0.58	0.50	0.50	–
KNN	0.93	0.79	0.87	0.79	0.76	0.70	0.84
	0.85	0.79	0.79	0.65	0.72	0.66	0.89
	0.88	0.79	0.82	0.68	0.74	0.71	0.86
	0.93	0.95	0.89	0.83	0.86	0.81	0.87
	0.85	0.79	0.78	0.64	0.72	0.66	–
SVM	0.91	0.81	0.90	0.91	0.93	0.95	0.85
	0.80	0.69	0.85	0.61	0.60	0.69	0.84
	0.84	0.74	0.87	0.63	0.63	0.75	0.84
	0.90	0.95	0.91	0.83	0.86	0.90	0.78
	0.79	0.69	0.85	0.61	0.60	0.68	–
LLAMA2-CoT	0.69	0.72	0.48	0.82	0.74	0.80	0.77
	0.54	0.62	0.34	0.86	0.67	0.85	0.72
	0.57	0.58	0.39	0.83	0.70	0.79	0.67
	0.54	0.62	0.34	0.86	0.67	0.84	0.72
	0.54	0.60	0.37	0.84	0.68	0.78	–
LLAMA2-SFT	0.93	0.82	0.90	0.90	0.87	0.88	1.00
	0.92	0.94	0.94	0.90	0.87	0.88	1.00
	0.91	0.88	0.96	0.89	0.84	0.78	1.00
	0.92	0.85	0.93	0.89	0.84	0.83	1.00
	0.91	0.82	0.90	0.89	0.87	0.87	–

Highlighted are the best performances on each sleep concept.

Table 7.

Open in new tab

Performance of the rule-based NLP algorithm and machine learning models.

Sensitivity	Daytime sleepiness	Napping	Night wakings	Sleep problem	Bad sleep quality	Snoring	Sleep duration
Specificity
F1
PPV
AUROC
Rule-based NLP	1.00	0.50	1.00	0.85	0.62	0.94	1.00
	1.00	0.99	0.99	0.93	0.51	0.97	1.00
	1.00	0.98	0.99	0.91	0.91	0.97	1.00
	1.00	0.50	0.75	0.80	0.60	0.89	1.00
	1.00	0.97	0.98	0.92	0.50	0.86	–
DT	0.86	0.89	0.82	0.78	0.63	0.75	0.79
	0.86	0.89	0.80	0.72	0.57	0.75	0.74
	0.90	0.98	0.81	0.74	0.58	0.75	0.76
	0.86	0.89	0.84	0.84	0.81	0.78	0.77
	0.85	0.89	0.79	0.71	0.56	0.75	–
LR	0.90	0.47	0.92	0.91	0.42	0.42	0.77
	0.77	0.50	0.83	0.58	0.50	0.50	0.67
	0.81	0.48	0.86	0.59	0.45	0.46	0.71
	0.89	0.94	0.91	0.82	0.83	0.84	0.78
	0.78	0.50	0.82	0.58	0.50	0.50	–
KNN	0.93	0.79	0.87	0.79	0.76	0.70	0.84
	0.85	0.79	0.79	0.65	0.72	0.66	0.89
	0.88	0.79	0.82	0.68	0.74	0.71	0.86
	0.93	0.95	0.89	0.83	0.86	0.81	0.87
	0.85	0.79	0.78	0.64	0.72	0.66	–
SVM	0.91	0.81	0.90	0.91	0.93	0.95	0.85
	0.80	0.69	0.85	0.61	0.60	0.69	0.84
	0.84	0.74	0.87	0.63	0.63	0.75	0.84
	0.90	0.95	0.91	0.83	0.86	0.90	0.78
	0.79	0.69	0.85	0.61	0.60	0.68	–
LLAMA2-CoT	0.69	0.72	0.48	0.82	0.74	0.80	0.77
	0.54	0.62	0.34	0.86	0.67	0.85	0.72
	0.57	0.58	0.39	0.83	0.70	0.79	0.67
	0.54	0.62	0.34	0.86	0.67	0.84	0.72
	0.54	0.60	0.37	0.84	0.68	0.78	–
LLAMA2-SFT	0.93	0.82	0.90	0.90	0.87	0.88	1.00
	0.92	0.94	0.94	0.90	0.87	0.88	1.00
	0.91	0.88	0.96	0.89	0.84	0.78	1.00
	0.92	0.85	0.93	0.89	0.84	0.83	1.00
	0.91	0.82	0.90	0.89	0.87	0.87	–

Sensitivity	Daytime sleepiness	Napping	Night wakings	Sleep problem	Bad sleep quality	Snoring	Sleep duration
Specificity
F1
PPV
AUROC
Rule-based NLP	1.00	0.50	1.00	0.85	0.62	0.94	1.00
	1.00	0.99	0.99	0.93	0.51	0.97	1.00
	1.00	0.98	0.99	0.91	0.91	0.97	1.00
	1.00	0.50	0.75	0.80	0.60	0.89	1.00
	1.00	0.97	0.98	0.92	0.50	0.86	–
DT	0.86	0.89	0.82	0.78	0.63	0.75	0.79
	0.86	0.89	0.80	0.72	0.57	0.75	0.74
	0.90	0.98	0.81	0.74	0.58	0.75	0.76
	0.86	0.89	0.84	0.84	0.81	0.78	0.77
	0.85	0.89	0.79	0.71	0.56	0.75	–
LR	0.90	0.47	0.92	0.91	0.42	0.42	0.77
	0.77	0.50	0.83	0.58	0.50	0.50	0.67
	0.81	0.48	0.86	0.59	0.45	0.46	0.71
	0.89	0.94	0.91	0.82	0.83	0.84	0.78
	0.78	0.50	0.82	0.58	0.50	0.50	–
KNN	0.93	0.79	0.87	0.79	0.76	0.70	0.84
	0.85	0.79	0.79	0.65	0.72	0.66	0.89
	0.88	0.79	0.82	0.68	0.74	0.71	0.86
	0.93	0.95	0.89	0.83	0.86	0.81	0.87
	0.85	0.79	0.78	0.64	0.72	0.66	–
SVM	0.91	0.81	0.90	0.91	0.93	0.95	0.85
	0.80	0.69	0.85	0.61	0.60	0.69	0.84
	0.84	0.74	0.87	0.63	0.63	0.75	0.84
	0.90	0.95	0.91	0.83	0.86	0.90	0.78
	0.79	0.69	0.85	0.61	0.60	0.68	–
LLAMA2-CoT	0.69	0.72	0.48	0.82	0.74	0.80	0.77
	0.54	0.62	0.34	0.86	0.67	0.85	0.72
	0.57	0.58	0.39	0.83	0.70	0.79	0.67
	0.54	0.62	0.34	0.86	0.67	0.84	0.72
	0.54	0.60	0.37	0.84	0.68	0.78	–
LLAMA2-SFT	0.93	0.82	0.90	0.90	0.87	0.88	1.00
	0.92	0.94	0.94	0.90	0.87	0.88	1.00
	0.91	0.88	0.96	0.89	0.84	0.78	1.00
	0.92	0.85	0.93	0.89	0.84	0.83	1.00
	0.91	0.82	0.90	0.89	0.87	0.87	–

Highlighted are the best performances on each sleep concept.