background image

X and Y components β€“ Alignment

Standard scaling

β–  Split the dataframes into features π‘‹ (col. 1- 41) and labels π‘Œ (col. 42)

– One-hot encode the π‘‹ component, leave π‘Œ as labels (output)

β–  Alignment: training π‘‹ component is 125973 Γ— 121, test π‘‹ is 22544 Γ— 115

– Length difference doesn’t matter, but features dimensions need to be the 

same

– Fill the empty values from extra columns with 0 in the right place

β–  Standard scaler: π‘₯β€² =

π‘₯βˆ’πœ‡

𝑠

(normal distribution)

π‘₯β€²: new scaled value, π‘₯: original data value, πœ‡: mean of training samples, π‘ : standard deviation

β–  Two steps:

– Fitting: computes mean and standard deviation of the data β†’ training set only
– Transformation: perform the scaling on the data β†’ both sets

20