lulu’s life in Granbled

One statistical technique is the Cochran’s Q test, which is designed to assess differences across conditions in which there is a dichotomous outcome. For usability data, users might generate success data in multiple conditions or across multiple tasks. Cochran’s Q can test whether the responding across the conditions are significantly different from each other. It can be effective for data sets with a small number of users. In fact, for designs with dichotomous responses (0’s and 1’s), a sample size of 16 or greater allows the analyst to safely conduct traditional analysis of variance (ANOVA). Cochran’s Q is effective with smaller samples, especially when the probability of a response (success for example) is approximately .5.

Jusque là ça va.

Each user generates a dichotomous response, success or failure, for each task. It also should be noted that in Nielsen’s data, he had coded some tasks as partial successes, which have been recoded here as failures for purposes of exposition. This example speaks to the value of a formal statistical test in that the pattern of data may not be obvious from simple success rates, especially with only four users. The analyst may want to determine if the six tasks differ amongst themselves.

A formal statistical test can be conducted by positing the following null hypothesis:

Ï€1=Ï€2=Ï€3=Ï€4=Ï€5=Ï€6

where πk is the probability of success on the kth task. Note in this case, there are k=6 tasks.

In the Cochran’s Q test, the null hypothesis is that the probability of the target response is equal across all groups. For those unfamiliar with formal statistical tests, the question being asked is the following: “What is the probability I would have obtained my result assuming the null hypothesis is true?” If the obtained results are likely assuming the null hypothesis, then the analyst concludes there is no difference among the groups.

Je suis déjà un peu perdue, là…

Assuming S represents users completing a different tasks, each denoted as a level of the factor A, the Q statistic is defined as:

Q=SSA/MSA/S

where SSA (sums of squares for factor A) is computed by the mean at the jth level of A and subtracting the grand mean from it, and then squaring that quantity. Note that “j” is an index for the a levels of the factor A. For Nielsen’s data, note that a=6 because there are six tasks. This squared quantity is computed for each subject and summed across each subject. See Appendix A for the equations that go into the Q statistic. MSA/S (mean squared A within S) is simply the average variance of the scores within a subject across the levels of A, and then averaged across subjects. In other words, the variance of the a scores averaged across each of the n users. Recall a refers to the number of levels of the factor A. In addition, n refers to the number of users. Note that for Nielsen’s data, the number of users is n=4. Recall that factor A is the different tasks. The n users compose the S source of variability.

The Q statistic is distributed as a c2 statistic with degrees of freedom equal to the number of levels (e.g., tasks) in the experiment minus one (i.e., a-1). It should be noted that the spreadsheet contains the critical values of the c2 distribution for degrees of freedom ranging from 1 to 20 (most usability tests will not have more than 20 tasks). The critical values cut off the 95th and 90th percentile of the c2 distribution so that Type I error rate will be at the conventional .05 and also the more liberal .1. The more liberal criterion of .1 might be indicated for usability testing with few users.

Là c’est sûr, je vais arrêter la linguistique et faire un doctorat en pipeau!

S’il y a une chose que je déteste vraiment dans la vie, c’est bien les aéroports! Ils sont toujours loins, trop grands, on ne comprend jamais ce qu’ils disent dans leurs haut-parleurs, on perd sa bagnole dans des parkings labyrinthesques, les controles de sécurité sont devenus insuportables et délirants, les taxis sont toujours à l’autre bout, le sac-cabine pèse toujours des tonnes et scie les épaules, les couloirs sont longs et glauques comme des couloirs d’hôpital, les bagages arrivent deux heures plus tard (si ce n’est pas deux jours plus tard, quand ils arrivent de CDG, hum, hum, passons), les gens sont pressés et accrochés à leur téléphone portable comme si leurs réserves d’oxygène en dépendait, les boutiques vendent des magazines crétins ou de la bouffe ignoble à des prix astronomiques, il faut toujours y attendre des heures et y perdre un temps infini, et en plus, même une fois sortis de là, on sait qu’on n’est pas encore sortis de l’auberge (huhu). Bref, pour moi, les aéroports constituent une perte d’argent, de temps et d’énergie considérable! Bon d’accord c’est plus facile, plus rapide, et probablement meilleur marché de prendre l’avion que le bateau pour faire un Lafayette-Paris en dégueulant son repas dans la tourmante, et même beaucoup plus agréable que de prendre son chariot et son cheval et de traverser les Grandes Plaines à pieds pour faire un Lafayette-Los Angeles… Mais quand même, je ne sais pas pourquoi on n’arrive pas à faire que de sauter dans un avion soit aussi simple que de sauter dans un bus Lausannois! Bref, discuter de logistique aérienne n’est pas le but de ce post. Tout ce que je voulais dire c’est que je DETESTE les aéroports!

Or, comme ceux qui me connaissent l’auront deviné, il m’arrive de temps en temps de devoir prendre l’avion. J’ai toujours tout fait pour éviter les grands aéroports parce que ce sont les pires: Paris, Chicago, New York, Los Angeles, Atlanta… J’ai même une telle haine pour ces aéroports que ne j’hésite pas à payer un billet plus cher s’il me fait passer par des aéroports plus petits: Indianapolis est un bijou; Cincinnati est survivable; Long Beach est une merveille. Il y avait même un temps où Air France faisait des Cincinnati-Paris directs, mais hélas, tout a une fin, sauf le saucisson qui en a deux. Tout ça pour dire que franchement, le mois de mars va me casser non seulement le compte en banque et le moral, mais aussi les pieds, puisque je dois faire deux voyages pour deux conférences (qui d’ailleurs elles aussi me cassent vachement les pieds et pour lesquelles je suis pas du tout prête et j’en fais déjà des cauchemards!), une à Long Beach début mars et l’autre à San Antonio fin mars. Et que cette fois, malheureusement, je n’ai pas