Chamboulement de FE : appel à compétences

Message par **gigi** » vendredi 22 janvier 2010, 9:12

Bonjour,
je viens de jeter un coup d'oeil aux 2 listes et une chose me frappe dans celles-ci : l'absence d'un identifiant commun (dans le monde des bases de données il s'agit du numéro d'un enregistrement ou ligne qui l'identifie). En effet les "identifiants" de chacune des 2 listes sont tout à fait différents sans aucune correspondance ! J'ai du mal à imaginer que FE ne dispose pas dans ses bases de données d'un identifiant unique pour tout son historique et ses évolutions qui permet facilement de s'y retrouver et s'avère donc un élément de structuration indispensable.

Aussi, peut-être serait-il possible de récupérer cela auprès de FE (je viens de leurs envoyer une demande en ce sens). Ensuite sous n'importe quel système de base de données, la correspondance se fait en quelques clics et les tables peuvent alors être exportées sous Excel.

Message par **tcand** » vendredi 22 janvier 2010, 9:16

Sur le fichier ancien, il serait bon de découpler le genre et l'espèce en 2 colonnes, aprés avec un tri sur l'espèce, il devrait être facile de comparer.

C'est dommage de ne pas avoir les sous familles, ce serait moins perturbant d'avoir les Arctiidae regroupés en Arctiinae que dispersées au grés des aléas alphabétique parmis les autres noctuelles (pour ne citer que l'exemple le plus frapant)

Message par **Gyp'** » vendredi 22 janvier 2010, 10:45

gigi a écrit : .... Aussi, peut-être serait-il possible de récupérer cela auprès de FE (je viens de leurs envoyer une demande en ce sens).

Bonjour,
Ce que tu suggères, gigi, a déjà était fait par nous-mêmes auprès de FE qui nous a répondu qu'ils "prenaient notre demande en considération et qu'ils nous répondraient aussi vite qu'ils le pourraient" ...

Quant-au correspondant français, il n'a tout simplement pas répondu !
Lorsqu'on connait la lenteur de fonctionnement de FE, on a du souci à se faire.

Pour ce qui est des identifiants, je crois que ces listel Excel ont été extraites de la base TAXREF de l'INPN !

Message par **gigi** » vendredi 22 janvier 2010, 11:08

Désolé pour la redondance...., mais sait-on jamais, une double demande accélèrera peut-être les choses....

Message par **Gyp'** » vendredi 22 janvier 2010, 11:32

Je le souhaite de tout coeur mais je crains fort que ça ne soit pas le cas ...

Mais on peut toujours rêver ..

Message par **Phil** » vendredi 22 janvier 2010, 12:16

l'absence d'un identifiant commun

Cela m'a frappé aussi !
On peut effectivement s'étonner que ce qui semble tenir lieu de clé primaire (le code Fa_Feu_Id) ait été modifié entre les 2 versions, cela va à l'encontre de toutes les bonnes pratiques en matière de BD.

J'ai quand même croisé les 2 tables en me basant sur un identifiant constitué ainsi "genre espece".
J'ai obtenu 3 tables résultats:
1. les taxons qui ont changés de famille
2. les taxons nouveaux en 2010
3. les taxons 2009 disparus en 2010

Le résultat doit être bon en gros.
Mais des cas particuliers peuvent poser probléme.

Dans la version 2009, la colonne nom ne fait pas intervenir la sous famille, le sous genre (il semble y avoir aussi des doublons).
et les colonnes sous-familles, sous-genre n'y figurent pas pour pouvoir reconstituer un nom complet a comparer avec 2010.

Est ce qu'il serait possible d'avoir la version 2009 avec les colonnes sous-familles, sous-genre ?
En gros l'extraction brute de F.E 2009.

Message par **gigi** » vendredi 22 janvier 2010, 13:19

Bon il semble y avoir qq "interférences" mon dernier message s'étant envolé !
En résumé, je ne vais pas le réécrire, mais en croisant les tables (+ correspondance sur la seule dénomination spécifique), il ne reste que 73 occurrences où il n'y a pas correspondance entre nouveau et ancien nom d'espèce

Message par **pierred** » vendredi 22 janvier 2010, 13:32

Phil a écrit :Est ce qu'il serait possible d'avoir la version 2009 avec les colonnes sous-familles, sous-genre ?
En gros l'extraction brute de F.E 2009.

La seule chose qui s'en rapproche est le fichier que l'on peut se procurer auprès de l'INPN et qui est appelé TaxRef. Je crois que ces colonnes n'existaient pas.

Après vérification, elles n'existaient pas, en effet.
De plus, le fichier ne veut pas monter dans Excel ou dans une base à l'état brut. J'y suis arrivé après avoir supprimé une balise résiduelle </i> qui semblait perturber les routines d'importation.

Message par **Phil** » vendredi 22 janvier 2010, 14:51

le fichier ne veut pas monter dans Excel ou dans une base

J'ai regarde les fichiers INPN:
Le fichier espece INPN contient 191000 lignes - XL est limite à 66000.
On peut le charger ds Access, la on se rend compte de ces balises '</i>' qui trainent (fermées mais pas ouvertes ?), de plus les noms des descripteurs ne sont pas tjs formatées (parenthèse) de la même facon - bref pas du travail de pro.
Avant de commencer à pouvoir travailler avec, il va falloir passer un certain temps à le nettoyer.

Bonjour

Je trouve 440 taxons pour lesquels il y a eu un changement
(326 concernent essentiellement le genre et le nom, 114 la famille)

Il faut que j'affine, je pourrais pas ce soir donc demain

Le Monde des insectes