[_.div_topic="métier"] *glose de la requête : je cherche le premier mot juste après le début d’une structure “div”, et la propriété “topic” de la structure “div” dans laquelle l’occurrence est incluse vaut “métier”.* Les occurrences trouvées sont donc tous les premiers mots de parties thématisées “métier”. #### Comment fusionner des lignes dans un index ? Lorsque l’index a été calculé sur une partition, on peut le convertir en table lexicale (sélectionner l’index dans l’arborescence des corpus et résultats, et lui appliquer la commande “Table lexicale”).L’interface de la table lexicale permet de fusionner des lignes : les fréquences des lignes regroupées sont bien additionnées. #### Comment faire un index sans les mots-outils ou grammaticaux ? Dans un corpus **français** étiqueté avec TreeTagger, vous pouvez par exemple utiliser l’expression CQL suivante : [frpos="NOM|NAM|ADJ|VER.*" & frlemma!=".*être.*|avoir|faire|pouvoir|devoir|vouloir|falloir|aller|dire|savoir"] Dans un corpus **anglais** étiqueté avec TreeTagger, vous pouvez par exemple utiliser l’expression CQL suivante : [enpos="N.*|JJ.*|V.*" & enlemma!="be|have|do|say|go|make|other" & word!="."] Dans un corpus **espagnol** étiqueté avec TreeTagger, vous pouvez par exemple utiliser l’expression CQL suivante : [((espos="N.*" & espos!="NEG") | espos="ADJ" | espos="VL.*") & eslemma!="ser|hacer|tener|saber|decir|ir|ir\|.*" & word!='…|“|”|–'] #### Quelle différence y a-t-il entre les options ‘cumulatif’ et ‘densité’ de la commande progression ? La différence est dans la perception de la densité : - cumulatif montre une marche par occurrence -\> le plus précis, ça s’appelle l’histogramme cumulatif ; - densité montre l’histogramme lissé des occurrences -\> moins précis, mais plus intuitif. #### A quoi correspond l’indice de spécificité ? Le calcul de spécificités se lance sur une partition : le corpus est divisé en plusieurs parties. On veut évaluer la sur-utilisation ou la sous-utilisation de mots ou de motifs dans chacune des parties. La **fréquence** de ces mots ou motifs serait un premier indicateur intéressant, mais il est trop sensible à la différence de taille entre parties. Une règle de trois, qui rapporte la fréquence à la taille de la partie et nous donnerait une **fréquence relative**, semble être une bonne solution. On montre cependant, en modélisant mathématiquement la répartition des mots entre les différentes parties, qu’on a un indicateur plus juste avec le calcul des **spécificités** [(Lafon 1980)](http://www.persee.fr/web/revues/home/prescript/article/mots_0243-6450_1980_num_1_1_1008), utilisant une loi hypergéométrique. C’est le calcul implémenté dans TXM. Il permet de mieux rendre compte des écarts de fréquence (entre mots rares et mots très courants) et des écarts de taille de parties. Le calcul de la spécificité d’un mot dans une partie repose sur les quatre grandeurs suivantes : - la fréquence *f* d’apparition du mot au sein de la partie ; - la fréquence totale *F* d’apparition du mot dans l’ensemble du corpus ; - la taille *t* de la partie (nombre total de mots dans la partie) ; - la taille *T* du corpus complet (nombre total de mots). Il fournit une probabilité. Un indice de spécificité de « +3 » signifie que le mot avait moins d’une chance sur mille (3 → 1 suivi de 3 zéros = 1 000) d’apparaître dans la partie avec une fréquence *f* aussi élevée (indice positif → surreprésentation). Autrement dit, si la distribution du mot était aléatoire (selon une loi hypergéométrique), dans 99,9% des cas on aurait observé une fréquence *f* plus faible ; on a donc une fréquence *f* plus élevée de façon statistiquement significative avec un seuil de risque de 0,1%. Et conventionnellement, un indice de spécificité négatif pointe de la même façon une sous-représentation. Ainsi, un indice de spécificité de « -6 » signifie que le mot avait moins d’une chance sur un million (6 → 1 suivi de 6 zéros = 1 000 000) d’apparaître dans la partie avec une fréquence *f* aussi faible (indice négatif → sous-représentation). En termes de pourcentage, cela revient à dire que si la distribution du mot était aléatoire (selon une loi hypergéométrique), dans 99,9999% des cas on aurait eu une fréquence *f* plus forte, soit une significativité statistique avec un seuil de risque de 0,0001%. Lorsque l’indice atteint une valeur telle qu’il dépasse les capacités de la machine, on le représente dans les tableaux conventionnellement par la valeur 1000, cf. question suivante. #### J’obtiens des spécificités de 1000 : est-ce normal ? Le module actuellement utilisé pour le calcul des spécificités rencontre assez vite la limite des capacités de représentation de la machine, pour les valeurs de spécificité les plus hautes (ce qui correspond à des probabilités très faibles, très proches de zéro). **Lorsque le calcul sort des limites de la machine, alors on a choisi d’indiquer conventionnellement “1000” comme valeur de spécificité** -valeur nettement au-dessus de celles qu’on arrive à obtenir par le calcul, pour éviter tout risque de confusion. =\> Donc : les valeurs de spécificité de 1000 ne correspondent pas à une probabilité de 1 sur 1 suivi de 1000 zéros, mais à un indice supérieur à tous ceux qui ont été calculés, mais indéterminé pour des raisons de limites du calcul. Les mots dotés d’un indice de 1000 sont interprétables et utilisables : pour une partie donnée, les mots d’indice 1000 sont les mots les plus spécifiques de la partie. On considère aussi comme mots spécifiques de la partie les mots jusqu’à l’indice 3 environ. Attention, les mots d’indice 1000 ne sont pas hiérarchisés entre eux, ils sont “ex-aequo” dans l’état actuel de précision du calcul, il ne faut pas interpréter l’ordre dans lequel ils sont affichés comme un ordre de spécificité (c’est un calcul plus précis qui permettrait de les hiérarchiser). L’indice conventionnel de 1000 est particulièrement gênant quand on trace des diagrammes en bâtons des spécificités d’un ou plusieurs mots donnés (commande contextuelle, obtenue par clic droit sur une sélection de ligne(s) dans le tableau des spécificités). C’est pourquoi, depuis la version 0.7 de TXM, une option du calcul des spécificités (menu Outils/Préférences/TXM/Utilisateur/Spécificités) permet de **choisir la valeur plafond** des spécificités : on peut ainsi choisir une valeur plus proche -légèrement au-dessus- des spécificités maximales obtenues par le calcul, pour ne pas “écraser” le diagramme en bâtons. Si certaines spécificités calculées dépassent cette valeur plafond, alors elles sont ramenées à ce plafond, et se confondent alors avec les indices ayant dépassé les limites du calcul : il ne peut pas y avoir d’indice supérieur au plafond fixé. Pour utiliser ce paramètre, on conseille donc de fixer d’abord le plafond très haut (ex. 1000), d’observer tous les indices obtenus (en triant les colonnes les unes après les autres), de noter la plus haute valeur d’indice (par ex. 15), et de choisir un plafond qq points au-dessus (par ex. 20). Il faut bien sûr veiller à distinguer et indiquer l’interprétation particulière qui doit être faite de cet indice plafonné dans la communication faite des résultats. #### Peut-on calculer des spécificités sur des motifs ? Il y a deux manières de comprendre cette question, mais dans les deux cas on utilisera pour y répondre la possibilité de calculer les spécificités non pas directement pour l’ensemble des mots du corpus (commande Spécificités lancée sur une partition), mais via l’enchaînement *Index (sur partition) -\> Table lexicale -\> Spécificités*, ce qui permet de définir souplement la table sur laquelle lancer le calcul de spécificités. **Premier cas de figure** : je veux obtenir les spécificités de toutes les réalisations d’un motif, par exemple de toutes les formes de type NOM+ADJ ou ADJ+NOM. - calculer un index sur la partition , et mettre en requête l’équation CQL qui correspond au motif dont on veut étudier les différentes réalisations ; penser à utiliser le paramètre “propriétés” pour choisir la manière de décompter les réalisations (en graphies, en lemmes, en catégories grammaticales…) - transformer l’index en table lexicale (clic droit sur l’icone de l’index dans la vue corpus, en marge gauche de la fenêtre) ; on a alors le choix entre les options suivantes (décider en fonction du sens voulu pour l’analyse) : - “Utiliser toutes les occurrences” : les marges de la table lexicale seront calculées avec tous les mots du corpus, autrement dit chaque spécificité sera calculée en prenant comme contraste le corpus dans son ensemble ; - “Occurrences d’index” : les marges ne seront calculées qu’à partir des occurrences correspondant au motif, autrement dit le corpus est “réduit” à ce qui concerne le motif, la spécificité contraste ce qui se passe pour une réalisation du motif par rapport aux autres réalisations attestées (et seulement par rapport à elles). - calculer les spécificités sur cette table lexicale. **Deuxième cas de figure** : je veux obtenir la spécificité d’un élément donné (mot, expression composée, construction…). - calculer un index sur la partition, et mettre en requête l’équation CQL qui correspond au motif dont on veut calculer la spécificité ; - transformer l’index en table lexicale (clic droit sur l’icone de l’index dans la vue corpus, en marge gauche de la fenêtre), et dans la boîte de dialogue qui s’affiche choisir l’option “Utiliser toutes les occurrences” ; - la table lexicale s’affiche - fusionner toutes les lignes de la table lexicale sauf la ligne \#RESTE# - calculer les spécificités sur la table lexicale (qui contient 2 lignes) : l’indice de spécificité voulu est celui de la ligne correspondant au motif (l’indice pour le \#RESTE# n’a a priori pas d’intérêt). *Remarque* : cette procédure s’appuie sur une propriété importante du calcul des spécificités : la spécificité d’un mot dans une partie est déterminée par quatre paramètres : la fréquence *f* du mot dans la partie, la fréquence totale *F* du mot dans le corpus, la taille *t* de la partie, la taille *T* du corpus. Par conséquent, l’indice de spécificité ne dépend pas du détail des fréquences des autres mots, qui peuvent être aussi bien représentés de façon cumulée sur une seule ligne (la ligne \#RESTE#) si l’on ne s’intéresse pas spécialement à eux. L’indice de spécificité du mot dans le tableau en deux lignes est exactement le même que l’indice du mot dans un tableau avec en lignes tous les mots du corpus. #### Quel est le calcul utilisé pour les cooccurrences ? Le calcul des cooccurrences dans TXM est basé sur le calcul des spécificités. Pour le mot ou motif indiqué en requête (le “pivot” des cooccurrences), et pour la définition de contexte choisie via les paramètres (contexte en nombre de mots ou en structure, ex. phrase(s) ou paragraphe), on construit l’ensemble de tous les contextes des occurrences du pivot. Cet ensemble définit une partie du corpus. On calcule alors les spécificités de cette partie (constituée de tous les contextes), par rapport à l’ensemble du corpus : le calcul met en évidence les mots qui sont statistiquement sur-représentés dans la partie, c’est-à-dire -vue la manière dont a été constituée la partie- les mots qui sont sur-représenté au voisinage du pivot, qui semblent statistiquement attirés par ce pivot. Les indices de cooccurrence s’interprètent donc exactement comme les indices de spécificité : un indice de 5 par exemple signifie qu’il y a moins d’une chance sur 100 000 que le cooccurrent ait une fréquence aussi élevée dans les contextes du pivot (indice de 5 -\> 1 suivi de 5 zéros -\> 100 000), si la répartition des mots était aléatoire. **Cas particulier** En l’état actuel de la fonctionnalité, les contextes de cooccurrences situés à cheval entre deux textes ne sont pas pris en compte comme contextes du pivot dans le calcul. Par exemple, le pivot est le 3e mot du texte, et la fenêtre est de 10 mots de part et d’autre du pivot : le contexte gauche déborde du texte, tout le contexte est alors considéré comme ne faisant pas partie des voisinages du pivot. En règle générale le cas se présente peu ou pas du tout, et l’ordre de grandeur des indices est conservé, -par contre le détail du décompte n’est pas exact, il peut manquer quelques occurrences dans les co-fréquences. Les cas où cela peut devenir gênant sont le cas où le corpus est composé de textes (très) courts (relativement à la taille des empans), ou encore le cas où le pivot a une affinité avec le début ou la fin du texte. En pratique, on peut vérifier avec une concordance que le chevauchement de la fenêtre ne se présente pas trop souvent. Préférer si besoin (et si possible) un contexte en structure : par exemple, si les phrases ont été codées dans le corpus, “contexte = phrase” au lieu de “contexte = 10 mots avant et 10 mots après”, car on peut s’assurer ainsi que le contexte ne chevauche jamais une frontière textuelle. #### Comment lancer une AFC ? Dans TXM, l’analyse factorielle s’applique pour le moment à une table croisant les parties d’une partition et des mots (ou des réalisations de motifs CQL). Il y a deux voies principales pour lancer l’AFC, selon qu’on veut focaliser ou non le choix des mots. 1\) Première voie : pas de focalisation particulière sur certains mots L’AFC est appliquée sur le Tableau Lexical Entier (éventuellement seuillé en fréquence ou en nombre de lignes), comme on le fait par exemple dans Lexico 3. Dans TXM, on fait cela en sélectionnant une partition et en appelant directement le calcul d’AFC (par le menu contextuel clic droit, ou par le menu principal “Outils”, ou par l’icône correspondante dans la barre de fonctions). 2\) Deuxième voie : choix des mots à prendre en compte dans le calcul Il s’agit d’appliquer l’AFC à une table croisant les parties avec une sélection de mots, comme on le fait par exemple dans Hyperbase avec la fonction liste. Le calcul de l’AFC requiert alors l’enchaînement de trois fonctionnalités : Index, puis Table lexicale, puis AFC. Sélectionner la partition et demander la fonction Index. La table est vide initialement, on la remplit en choisissant une propriété (veut-on une table de graphies, de lemmes, de pos…) et en définissant un filtre sélectionnant les occurrences à considérer. On n’a pas la possibilité d’ajouter des lignes peu à peu (le lancement d’une nouvelle requête efface et remplace les lignes précédentes), mais on peut obtenir le même résultat en construisant une requête plus longue : au lieu d’entrer successivement “équation CQL 1” puis “équation CQL 2” puis “équation CQL 3” etc., on entre directement : (équation CQL 1) | (équation CQL 2) | (équation CQL 3) etc. Les parenthèses délimitent chaque sous-sélection ; le trait vertical (caractère “pipe”) signifie un opérateur OU (non exclusif : il suffit qu’une occurrence corresponde à l’une des équations CQL 1 ou 2 ou 3 pour qu’elle soit sélectionnée). Si les sous-sélections se trouvent sélectionner certaines occurrences en commun, le calcul les dédoublonne (chaque occurrence du corpus n’est comptée qu’une fois). Une fois obtenues les lignes voulues, on doit convertir l’index en table lexicale pour pouvoir lui appliquer le calcul d’AFC ou de spécificités. Pour cela, on utilise le menu contextuel (clic droit sur l’index correspondant dans l’arborescence des corpus, à gauche) ou l’icône de la barre en haut de la fenêtre pour lancer sur cet index la fonctionnalité table lexicale, qui effectue la conversion. L’interface de la table lexicale permet si on le souhaite d’affiner la table obtenue par l’index. Des paramètres permettent de retailler le tableau : - en fusionnant ou supprimant des colonnes (parties) - en fusionnant ou supprimant des lignes (mots) - en filtrant les lignes en éliminant des basses fréquences : soit par un seuil sur une fréquence minimale, soit en indiquant le nombre de lignes qu’on veut garder (par exemple les 300 mots les plus fréquents). Une fois le tableau souhaité obtenu, on appelle l’AFC sur la table lexicale, en sélectionnant la table lexicale dans l’arborescence Corpus (à gauche de la fenêtre) et sélectionnant AFC dans le menu (contextuel ou principal) ou en cliquant sur l’icône AFC dans la barre d’outil. ## Statistiques & R #### Sous Mac, quand je veux afficher un graphique, TXM se ferme sans prévenir ou affiche un message d’erreur Message : Premature end of file. --- org.apache.batik.dom.util.SAXIOException: Premature end of file. at org.apache.batik.dom.util.SAXDocumentFactory.createDocumentSAXDocumentFactory.java:437) at org.apache.batik.dom.util.SAXDocumentFactory.createDocumentSAXDocumentFactory.java:439) ... Sous Mac OS X 10.9 et ultérieur, certains fichiers utilisés par R pour produire des visualisations graphiques (Informations sur une partition, histogramme de Spécificités, plans factoriels) ne sont plus installés par défaut. Il faut alors installer manuellement le logiciel ‘xQuartz’ à l’aide de l’installeur téléchargeable sur le site officiel . Il faudra se reconnecter à son compte personnel d’ordinateur pour que les changements prennent effets. #### Sous Ubuntu 14.04 mis à niveau depuis Ubuntu 12.04, l’AFC ne fonctionne pas Lors du calcul de l’AFC, le message suivant apparait dans la console : Calcul de l'analyse factorielle des correspondances ** Impossible de charger la librairie 'ca'org.txm.stat.engine.r.RException: ** Erreur R : "Error : le package ‘FactoMineR’ a été compilé avant R 3.0.0 : veuillez le réinstaller, s'il-vous-plait " lors de l'évaluation de :library(FactoMineR) La mise à niveau d’Ubuntu 12.04 vers 14.04 a rendu les packages R pré-existants obsolètes. Pour être en mesure d’utiliser ces packages à nouveau, le plus simple est de les désinstaller puis de les réinstaller en suivant les instructions suivantes : - A\) dans un terminal, supprimer tous les packages R installés avec la commande sudo rm -r /usr/local/lib/R/site-library/* - B.1) réinstaller TXM qui réinstallera automatiquement tous les packages dont il a besoin **ou bien** B.2) installer manuellement tous les packages R nécessaires au fonctionnement de TXM (voir les instructions suivantes), dans les 2 cas l’opération est assez longue car R va devoir réinstaller les nombreux packages R dépendants. Installation manuelle des packages R nécessaires au fonctionnement de TXM : - dans un terminal, lancer R avec la commande R - installer les packages nécessaires au fonctionnement de TXM avec les commandes R suivantes : install.packages("lme4", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("pbkrtest", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("alr4", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("MASS", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("nnet", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("car", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("ellipse", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("leaps", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("lattice", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("cluster", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("scatterplot3d", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("FactoMineR", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("Rserve", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("wordcloud", dependencies=TRUE, repos="http://cran.rstudio.com"); install.packages("textometry", dependencies=TRUE, repos="http://cran.rstudio.com"); q() y #### Où trouver de l’information sur R ? - Groupe des utilisateurs du logiciel R (CIRAD) : - semin-R : #### Comment mettre à jour le package R ‘textometry’ ? Pour les versions antérieures à TXM 0.7.7, il faut passer par l’environnement R : - Lancer R - Sous Windows, il faut exécuter en tant qu’administrateur (clic droit pour afficher le choix) : C:\Program Files\TXM\R\bin\R.exe - Sous Mac OS X, il faut exécuter l’application /Applications/R - Sous Linux, il faut exécuter l’application R (ou taper “sudo R” dans un Terminal) - rentrer les commandes suivantes install.packages("textometry", dependencies=TRUE, repos="http://cran.rstudio.com/"); q() y - Enfin redémarrer TXM. ### Interface #### Comment afficher les messages de debug de TXM ? Pour afficher plus de messages d’exécution dans TXM il faut : - se rendre dans la page de préférence “TXM \> Avancé” - sélectionner le niveau de détails du journal “WARNING” - sélectionner l’option “Afficher la stacktrace” - sélectionner l’option “Ajouter des commentaires techniques” #### Comment afficher encore plus de messages de debug de TXM sous Linux ? Lancer TXM en ligne de commande avec les options suivantes : UBUNTU_MENUPROXY=0 exec /usr/lib/TXM/TXM/TXM -run -debug -log -noexit -noredirection --launcher.ini "$HOME/TXM/.txm/TXM.ini" -data "$HOME/TXM/.txm/data" -user "$HOME/TXM/.txm/user" -install "/usr/lib/TXM/TXM" #### Comment disposer de plus de place pour l’affichage des résultats ? On peut très simplement profiter de tout l’espace de la fenêtre TXM pour afficher les résultats, en double-cliquant sur le nom de l’onglet : les zones marginales de navigation et de messages se retirent au profit de la zone des résultats. Pour revenir à l’affichage des trois zones, double-cliquer à nouveau sur le nom de l’onglet. #### Peut-on afficher simultanément, côte à côte, plusieurs résultats ? Oui, on utilise pour cela les facilités du gestionnaire de fenêtre (cf. manuel). Le principe est de cliquer gauche sur l’onglet d’un des résultats concernés, de maintenir cliqué tout en déplaçant le curseur vers le bord de la zone vers lequel on veut afficher ce résultat (par ex. à droite ou en bas), et de relâcher le bouton de la souris quand le curseur devient une flèche épaisse touchant le bord et que se dessine le contour d’une nouvelle zone occupant une moitié de la zone actuelle. La taille des deux zones ainsi obtenues peut être ajustée en déplaçant la frontière (cliquer sur la frontière pour la saisir et la déplacer). La manoeuvre peut être répétée jusqu’à obtention du nombre et de la disposition des zones voulus. #### La fenêtre de mon TXM est encombrée de zones grises vides que je ne peux pas fermer, comment m’en débarrasser ? Si l’on quitte TXM avec une fenêtre de résultats divisée en plusieurs zones, au démarrage suivant TXM présente la fenêtre résultats déjà divisée en plusieurs zones vides, et il n’y a pas de petite croix en haut à droite ni de commande pour les fermer. Pour se débarrasser de ces zones vides : - lancer n’importe quelle commande qui affiche un résultat (par exemple un Lexique sur un corpus), qui occupera dans l’une des zones disponibles. - cliquer sur l’onglet du haut de la zone de ce résultat et le glisser-déposer vers le haut d’une zone voisine vide (à la place pour les onglets) de façon à le transférer dans cette autre zone. En se libérant de son contenu, la zone de départ se ferme, on a donc une zone de moins. - répéter la manoeuvre en déplaçant le résultat de zone en zone pour que se ferme successivement chaque zone quittée, jusqu’à ce que toutes les zones vides soient fermées. - on peut bien sûr alors fermer ou supprimer le résultat lui-même si on n’en a plus besoin.   Deux remarques : - C’est donc une bonne habitude, avant de quitter TXM, de fermer tous les onglets affichant des résultats (on peut le faire de façon groupée, par exemple avec la commande Affichage \> Fermer toutes les fenêtres de résultats ; ou clic droit sur un onglet et commande “Fermer tout” / “Close all”, pour tous les onglets superposés dans une zone). C’est plus simple en fin de session qu’au début. - Si l’on préfère que le double-clic sur une ligne de concordance ne scinde pas automatiquement la fenêtre de résultats mais ouvre simplement un nouvel onglet à la suite, au premier plan, cela est possible en réglant une préférence de l’Édition : menu Édition \> Préférences \> TXM \> Utilisateur \> Édition (à la fin de la liste des commandes), régler le paramètre “Position de la nouvelle fenêtre à ”OVER“, puis valider (bouton ”Appliquer et fermer” / “Apply and Close”). Ce réglage est disponible à partir de TXM 0.8.3.   #### Mac OS X et le message d’erreur “LookupViewService” Depuis la version 10.10.4, une boite de dialogue “Rapport de problème pour LookupViewService” peut s’afficher en cas de clic sur l’entête d’un tableau de TXM. En attendant qu’Apple fournisse une correction pour ce bug, on peut : - soit ne pas déclenché le mécanisme “Lookup” en appuyant moins fort sur le trackpad quand on sélectionne une entête de tableau TXM - soit désactiver manuellement le mécanisme “Lookup” qui provoque cette erreur dans les préférences systèmes de Mac OS X : dans la page “Trackpad”, section “Pointer & cliquer”, il faut décocher “Rechercher” (en : “Look up”). #### Comment récupérer une zone de la fenêtre TXM, par exemple la zone Console si on l’a fermée ? En général, en bas à gauche de la fenêtre TXM on a une petite icône avec un ‘+’ (plus) jaune, qui permet d’ouvrir d’autres vues. Après avoir cliqué sur l’icône, une fenêtre s’ouvre avec une arborescence où sélectionner les vues à afficher (celles qui sont déjà affichées sont en grisé). La Console se trouve dans la rubrique “General”. Sinon le sous-menu “Affichage” / “Vues” donne directement accès à l’ouverture de différentes vues fermées. Le sous-menu “Affichage” / “Vues” / “Autres…” donne accès à toutes les vues disponibles. Par exemple, l’affichage de la Console est accessible par le sous-menu “Affichage” / “Vues” / “Autres…” / “General” / “Console”. ## Exports #### Comment ouvrir dans un tableur l’export d’un tableau de résultats de TXM ? Des réglages peuvent être nécessaires du fait de la diversité des environnements logiciels, qui ont des conventions différentes. En gros, il s’agit que TXM et le tableur s’entendent sur les choix de codage, pour les caractères (notamment les accents) et pour la délimitation des colonnes. Il y a donc deux stratégies possibles : 1) on règle TXM pour qu’il produise des résultats sous une forme à laquelle l’environnement est habitué, ou 2) on indique au tableur utilisé les caractéristiques du fichier produit par TXM, s’il ne le traite pas automatiquement correctement. **Première stratégie : adaptation de TXM à l’environnement** La question ne se pose généralement pas pour linux, où tout se passe bien :-). Pour Windows et mac, régler les paramètres de l’export : - dans le Menu Outils sélectionner Préférences, puis naviguer dans l’arborescence : TXM / Utilisateur / Export, et régler les différents champs : - encodage des fichiers d’export : c’est UTF-8 par défaut, on peut tenter windows-1252 pour Windows, et pour mac l’encodage x-MacRoman (ou x-MacRomania ?) - laisser les autres réglages en l’état (séparateur de colonne point-virgule, séparateur de texte guillemet) et n’essayer d’autres valeurs que si cela paraît nécessaire après un test d’export, cf. ci-après. Faire un test : lancer un nouvel export d’un résultat, et ouvrir le fichier dans un tableur : - si les caractères accentués passent mal, soit régler sur un autre encodage et refaire le test, soit revenir sur UTF-8 (c’est l’encodage le plus puissant) et passer à la stratégie n°2 (indiquer au tableur les caractéristiques du fichier produit par TXM) ; - si tous les résultats sont dans la première colonne c’est que le séparateur de colonne n’a pas été reconnu, essayer alors un autre séparateur de colonnes (la virgule). **Deuxième stratégie : faire que le tableur prenne en compte les caractéristiques du fichier produit par TXM** Si vous aviez fait des essais de réglage des paramètres de l’export, commencer par rétablir les valeurs par défaut : - dans le Menu Outils sélectionner Préférences, puis naviguer dans l’arborescence : TXM / Utilisateur / Export - Encodage des fichiers d’export : UTF-8 - Colonnes séparées par : point-virgule - Séparateur de texte : guillemet Ensuite, vous exportez un résultat, ce qui crée un fichier. 1\) Pour ouvrir le fichier dans openoffice Calc : - nommer le fichier avec l‘extension .csv ; \* double-cliquer dessus pour l’ouvrir avec Calc ; \* régler si besoin les paramètres d’import : \* Encodage des caractères : Unicode (UTF-8) (ou en tout cas la même chose que ce qui a été réglé dans les préférences de l’export si vous l’avez modifié) ; \* Langue : Anglais (USA) (ou toute langue qui utilise le point ’.’ pour représenter les nombres décimaux ou réels - comme ‘3.1415’) - séparé par : point-virgule ; séparateur de texte : ” - type de colonne : texte pour les colonnes avec des mots, anglais US pour les colonnes avec des nombres (pour éviter que Calc ne reconnaissance abusivement des dates). 2\) Pour ouvrir le fichier dans microsoft office Excel : *stratégie n°1* (testée dans un office 2003 sous windows) - commencer par lancer excel. - Passer par les menus pour ouvrir le fichier résultats de TXM : Données \> Données externes \> Importer des données, et là naviguer jusqu’au fichier .csv résultat de TXM et valider ; - Cela lance un assistant d’importation de texte qui me permet de faire tous les bons réglages (encodage, séparateur de colonne, etc.), cf. étapes décrites dans la stratégie n°2 ci-après. *stratégie n°2* - nommer le fichier avec l’extension .txt ; - lancer excel ; dans excel, faire Fichier/Ouvrir et sélectionner le fichier (régler “types de fichier” à “Tous les fichiers \*.\*” pour pouvoir le voir). - on peut alors régler les paramètres d’import : - étape 1 : fichier “délimité” - étape 2 : séparateurs : point-virgule pour TXM 0.6 ; identificateur de texte : ” - étape 3 : format des données en colonne : choisir Texte pour la première, et dans les réglages “Avancé” choisir le point comme séparateur de décimales et décocher le “signe moins à la fin des nombres négatifs”. #### Dans mon export de spécificités, je n’ai pas les mêmes valeurs d’indice que dans le résultat affiché, est-ce normal ? Les valeurs des indices de spécificités sont arrondies pour l’affichage dans TXM, et plus détaillées (décimales et non plus entières) dans l’export. #### Je ne comprends pas le tableau obtenu par l’export des spécificités (TXM 0.5-) En TXM 0.5 il y a effectivement plusieurs différences importantes entre le tableau résultat affiché dans TXM et le tableau résultat exporté : * l'ordre des colonnes est l'ordre alphabétique pour le résultat dans TXM, mais pour l'export il est arbitraire et est identique à celui des colonnes dans toutes les autres fonctions sur la même partition (résultat d'index, ou affichage de diagramme en bâtons, ou table lexicale, etc.) ; * dans le tableau exporté, il n'y a plus la fréquence totale de chaque mot, en revanche il y a l'indication de la fréquence locale dans chaque partie. La fréquence globale peut être rétablie en utilisant les fonctions du tableur pour insérer une colonne additionnant toutes les colonnes des fréquences locales. Une fois ces difficultés gérées, il peut être pratique aussi de chercher toutes les valeurs “Infinity” et les remplacer par 1000 pour avoir des colonnes homogènes, tout en nombres. Mais l’export des spécificités est beaucoup plus clair avec la version 0.6 de TXM (on retrouve les mêmes colonnes que dans l’affichage, avec le même ordre, et avec leur nom en entête), cela peut valoir le coup de changer de version de TXM ! #### Comment récupérer mes corpus au format TXM binaire pour pouvoir les communiquer à un collègue ? Dans TXM 0.5 ou versions précédentes, il s’agit simplement de copier le répertoire créé dans le répertoire personnel de TXM quand le corpus a été importé. D’après le manuel ([section 3.4.2 Importer, exporter, charger des corpus](http://textometrie.sourceforge.net/doc/refman/ManueldeReferenceTXM0.5_FR14.xhtml#toc36)-) le répertoire en question est situé à \$HOME/TXM/corpora/\, où \$HOME représente le chemin du répertoire personnel de l’utilisateur. Il suffit de transmettre tel quel ce répertoire (dans une archive compressée souvent) pour pouvoir être re-chargé directement. A partir de la version 0.6, c’est plus direct : il suffira d’utiliser la commande d’export de corpus, qui génère directement une archive compressée. #### Comment alléger un corpus au format TXM binaire ? On peut alléger un corpus binaire en n’y laissant que les répertoires suivants : - data - HTML - registry - src - tiger C’est à dire en supprimant les sous-répertoires suivants : - txm - wtc - ptokenized - tokenized - stokenized - treetagger - annotations ## Sauvegardes #### Comment faire pour re-importer un tableau .csv exporté de TXM ? Autrement dit, puis-je reprendre mes travaux après avoir quitté TXM ? D’une façon générale les résultats de calcul sont perdus quand on quitte TXM, seuls les sous-corpus et les partitions sont conservés. On reconstruit dont les résultats qu’on veut retrouver, en notant les paramètres du calcul pour le relancer à l’identique et reconstruire le même tableau. Les **tables lexicales** font exception en bénéficiant d’une possibilité de sauvegarde depuis la version 0.7, mais en l’état actuel cette fonctionnalité est encore insuffisamment documentée et peu intuitive. Le principe est de conserver la table dans un fichier en l’exportant, puis de la récupérer dans une nouvelle session de TXM en l’important. Voici la procédure de sauvegarde de la table lexicale : 1\) Exporter une table lexicale : Attention, ce n’est pas la commande export habituelle qu’il faut utiliser -celle qui sert à récupérer la table pour l’afficher dans un tableur comme Calc et Excel. C’est un autre export (au format R), qui est accessible en faisant un clic droit sur une des cellules de la table elle-même : commande “exporter la table”. Vous enregistrez alors votre fichier (comme extension vous pouvez lui mettre .csv). 2\) Importer une table lexicale : Il vous faut préalablement créer une table lexicale quelconque sous la même partition. Ensuite, par un clic droit sur une cellule de cette table, vous retrouvez dans le menu contextuel qui s’ouvre la commande “Importer une table”, vous indiquez alors le fichier contenant la table que vous aviez exportée : celle-ci va remplacer le contenu de la table courante. Attention : les modifications que vous effectuez sur la table dans TXM ne sont pas enregistrées dans le fichier depuis lequel vous avez importé la table. Donc si vous voulez enregistrer les modifications faites lors d’une session il vous faut faire un nouvel export de la table. Remarque : Dans les anciennes versions de TXM (0.7, 0.7.1), il y a un bug sur les entêtes de colonnes : le premier caractère de chaque nom est modifié ou retiré. Solution pour contourner ce bug : au moment où vous exportez la table, celle-ci s’affiche dans un nouvel onglet. Vous pouvez alors ajouter une \*lettre\* au début de chaque intitulé de colonne. Par exemple, si la première ligne du fichier est : "DeGaulle" "Pompidou" vous la modifiez en "XDeGaulle" "XPompidou" et vous sauvegardez le fichier (icône habituelle dans la barre d’outils, ou ctrl-s). L’import de la table devrait alors restituer les intitulés de colonne attendus. #### D’où viennent les membres de la liste txm-users ? Origine géographique des membres de la liste txm-users en Novembre 2013 : [^1]: Les délais d’attente et le nombre total d’essais successifs ont été réduits pour aider au réglage d’accès par PROXY. [^2]: depuis TXM 0.7.7, il n’est plus nécessaire d’installer Java avant TXM. TXM utilise son propre Java [^3]: depuis TXM 0.7.7, il n’est plus nécessaire d’installer Java avant TXM. TXM utilise son propre Java [^4]: depuis TXM 0.7.7, il n’est plus nécessaire d’installer Java avant TXM. TXM utilise son propre Java. [^5]: L’option “Deviner” \[le système d’encodage des caractères utilisé\] ne fonctionne pas à tous les coups. Il vaut mieux travailler avec un système d’encodage connu et unique, et indiqué au moment de l’import. [^6]: cette façon de faire est préférable parce que le format CSV est un format de transit pas très bien défini et manipulé de façon variable selon les tableurs et les réglages de langues dans les systèmes d’exploitation - typiquement à cause des différences de convention d’écriture des nombres à virgule flottante entre le français et l’anglais. Cela permet également de profiter des services de Calc pour aider l’édition du tableau comme le formatage des lignes, le stylage gras, etc., la colorisation de l’arrière plan des cellules ainsi que la numérotation automatique [^7]: Certains en font même une compétition, voir le [PDF Liberation Hackathon](https://pdfliberation.wordpress.com). [^8]: Tous les formats supportés : CBZ, CBR, CBC, CHM, DJVU, EPUB, FB2, HTML, HTMLZ, LIT, LRF, MOBI, ODT, PDF, PRC, PDB, PML, RB, RTF, SNB, TCR, TXT, TXTZ [^9]: Il y a 15 formats PDF différents correspondants à autant de types de documents métier qui n’ont pas forcément un contenu textuel : bureautique - documents de traitement de texte, archivage - images de scans, plans d’architecture, etc. [^10]: Équivalences terminologiques : une structure A contenant une structure B est “de niveau supérieur à“ la structure B ou “contient“ la structure B. Une structure B contenue par une structure A est “de niveau inférieur à“ la structure A ou “est contenue“ par la structure A