Calage sur des marges nulles

[MichaelLeviValensin]

Bonjour
j'essaie de caler des poids de sondage sur le total d'une variable qui prend des valeurs positives et négatives, la marge est nulle.
Or, je constate qu'avec la fonction calibration d'icarus, il est impossible de réaliser ce calage avec n'importe quelle méthode (linéaire, logit, raking...)
et si je prends comme marge une valeur très proche de zéro comme 0.000001, cela fonctionne.
Existe-il des contraintes et des problèmes d'inversibilité dans la fonction car il n'est pas théoriquement impossible de caler sur des marges nulles ?
Merci pour votre réponse

[khaledlarbi]

Bonjour,

Pouvez-vous fournir un exemple minimal reproductible ?

D'avance merci.

[MichaelLeviValensin]

par exemple, sur cette table

tab .xlsx

coef_cales_infl <- calibration(
data =tab,
marginMatrix = marges <- rbind(c("IFTcal", 0, 0)),
colWeights = "coef_cales_2",
method="linear",
description = T )

Error in calibration(data = echantacal_dom, marginMatrix = marges <- rbind(c("IFTcal", :
No convergence in 5000 iterations.

mais avec
coef_cales_infl <- calibration(
data = echantacal_dom,
marginMatrix = marges <- rbind(c("IFTcal", 0, 0.00001)),
colWeights = "coef_cales_2",
method="linear",
description = T
)

convergence

[MichaelLeviValensin]

idem pour cette table

tab(1).xlsx
mais avec un message d'erreur différent
coef_cales_infl <- calibration(
data =tab,
marginMatrix = marges <- rbind(c("IFTcal", 0, 0)),
colWeights = "coef_cales_2",
method="linear",
description = T )

Error in if (max(abs(tHat - total)/total) < calibTolerance) { :
missing value where TRUE/FALSE needed

[MichaelLeviValensin]

Il semble qu'il faille modifier un paramètre défini par défaut, si vous avez une explication
Merci

[MichaelLeviValensin]

Bonjour
J'ai réussi à le faire avec la fonction calib du package sampling
coef_cales_infl=calib(
Xs = matrix(echantacal_dom$IFTcal, ncol = 1),
d = echantacal_dom$coef_cales_2,
total = c(0),
method = "logit",
bounds = c(0.2, 5),
description = TRUE
)
Il doit y avoir une subtilité dans l'algorithme d'icarus

[khaledlarbi]

Bonjour,

Merci pour ces multiples messages.

Le problème semble venir du critère d'évaluation employé pour arrêter l'algorithme d'optimisation : l'algorithme de Newton-Raphston cesse lorsque $\frac{t_{x,cal(t)} - t_{x}}{t_{x}}$ est plus petit qu'un certain seuil (argument calibTolerance de la fonction icarus::calibration) où $t_{x,cal(t)}$ est l'estimateur de $x$ obtenu avec les poids après $t$ étapes d'optimisation. Ce critère, assez naturel, n'est cependant pas défini si $t_x = 0$.

Un moyen de contourner le problème est de caler sur une variable translatée : en supposant que le calage inclut la taille de la population, alors théoriquement les poids obtenus en calant sur ${x_k}$ sont les mêmes que ${x_k + c}$ pour n'importe quel $c$.

Ci-joint un exemple d'application :

library("icarus")

N <- 300 ## population total
## Horvitz Thompson estimator of the mean: 1.666667
weightedMean(data_employees$movies, data_employees$weight, N) 
## Enter calibration margins:
mar4 <- c("salary", 0, 0)
mar_const <- c("const", 0, N)

mar4_shift <- c("salary_shift", 0, N)
mar_const <- c("const", 0, N)


margins <- rbind(mar_const, mar4)
margins_shift <- rbind(mar_const, mar4_shift)
## Compute calibrated weights with raking ratio method
data_employees$const <- 1
data_employees$salary_shift <- data_employees$salary + 1

#Error
wCal_lin <- calibration(data=data_employees, marginMatrix=margins, colWeights="weight"
                    , method="linear", description=FALSE)
#Without error
wCal_lin_shift <- calibration(data=data_employees, marginMatrix=margins_shift, colWeights="weight"
                    , method="linear", description=TRUE)

Le code suivant permet de vérifier que les poids sont les mêmes avec le package sampling :

library(sampling)

# Données : data_employees contient au moins :
# - movies : variable d'intérêt
# - salary : variable auxiliaire
# - weight : poids de sondage

N <- 300

# Ajout des variables auxiliaires
data_employees$const <- 1
data_employees$salary_shift <- data_employees$salary + 1

# Définition de la matrice des contraintes de calage
# (colonnes = variables auxiliaires, lignes = individus)
X <- as.matrix(data_employees[, c("const", "salary")])
X_shift <- as.matrix(data_employees[, c("const", "salary_shift")])


# Totaux connus dans la population
# -> le total de la constante = N
# -> le total de salary = 0
totals <- c(N, 0)
totals_shift <- c(N, N)

# Calage par la méthode du "raking ratio"
g_const_salary <- calib(Xs = X, 
              d = data_employees$weight, 
              total = totals, 
              method = "linear")

g_const_salary_shift <- calib(Xs = X_shift, 
                           d = data_employees$weight, 
                           total = totals_shift, 
                           method = "linear")


#Poids calés
w_cal <- (g_const_salary*data_employees$weight)
w_cal_shift <- (g_const_salary_shift*data_employees$weight)


#Différence
range(w_cal - w_cal_shift)

Une solution pour corriger ce problème sera apportée dans la prochaine version du package.

Merci de l'avoir souligné.

Bonne journée

[MichaelLeviValensin]

Merci pour votre réactivité et votre disponibilité