LAPT (Linux And Perl Tips)

Comment ajouter des sauts (retour) à la ligne dans un énorme xml d'une seule ligne !

2011-11-01T18:28:00.000+01:00

J'avais un grand fichier récupéré via un curl :

curl -#v -o /tmp/output.xml "http://www.myserver.ch/extraction_file.php?mode=complex&typef=xml"

le problème c'est que ce fichier "output.xml" était un gros xml valide d'une seule ligne...
un "wc -l /tmp/output.xml" me retourne bien 1 !
Or la plupart des éditeurs n'aiment pas trop ouvrir ce genre de fichier d'une seule "énorme" ligne, voire même ils plantent lamentablement.
La solution est d'utiliser un bon vieux oneliner en perl pour rajouter un saut de ligne après un tag fermant :
perl -i -pe 's/<\/Adr>/<\/Adr>\n/g' /tmp/output.xml
Et voilà , maintenant le fichier contient autant de ligne qu'il y a de tags fermants . Et du coup il est beaucoup plus facile à utiliser dans votre éditeur favori !

Génération automatique d'une liste de requêtes sql pour toutes les tables de Postgresql

2011-06-17T10:40:00.001+02:00

Il arrive assez régulièrement que l'on doive appliquer une modification à toute les tables d'une base de données postgresql. Par exemple s'il faut rajouter un droit de consultation pour un user particulier sur toutes les tables. On peut bien entendu se palucher à la main tous les :
GRANT SELECT ON TABLE altitude TO userdbreadonly;
pour autant de tables qu'il y a dans la base...
Mais comme un bon informaticien déteste toutes les tâches répétitives, il préférera trouver comment
écrire une requête dont le résultat correspondra à la liste des ordres sql qu'il veut exécuter, soit dans ce cas :
SELECT 'GRANT SELECT ON TABLE ' || tablename || ' TO cgdbreadonly;' FROM pg_tables WHERE schemaname like 'public' ORDER BY 1;

qui lui retournera la liste de tous les GRANT SELECT pour toutes les tables
liste qu'il n'aura plus qu'à exécuter...

GPG error sur template Openvz debian6 lors du apt-get update

2011-03-23T16:45:00.000+01:00

Je venais de créer une nouvelle machine virtuelle openvz sur proxmox basée sur le template debian 6 amd64bit :debian-6.0-standard_6.0-2_amd64.tar.gz
Une fois connecté dessus en ssh je lance un:

apt-get update

et j'obtiens un message d'erreur :

W: GPG error: http://security.debian.org squeeze/updates Release: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY AED4B06F473041FA

W: GPG error: http://ftp.debian.org squeeze Release: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY AED4B06F473041F

La solution consiste par la mise a niveau du keyring debian avec un simple :

apt-get install debian-archive-keyring

j'ai pu ensuite relancer le apt-get update qui c'est déroulé sans accroc.

Comment copier une machine virtuelle kvm en raw sur un Volume Group LVM2 se trouvant sur un disque en DRBD

2011-03-18T17:08:00.001+01:00

Il se trouve que je devais migrer quelques machines virtuelle se trouvant sur un cluster proxmox sur le site de Lausanne, sur un autre cluster proxmox se trouvant à Lutry. Jusque-la rien de bien sorcier me direz-vous, si ce n'est qu'avec un lien réseau de faible débit entre les deux sites j'ai fait une copie initiale de mes images de bécannes virtuelles en fichier raw sur un disque externe.
Sur le site de Lutry j'ai une config avec deux serveurs en cluster proxmox

lutrycalc01:~# pveca -lCID----IPADDRESS----ROLE-STATE--------UPTIME---LOAD----MEM---DISK
1 : 192.168.50.100 M A 1 day 05:49 2.23 8% 1%
2 : 192.168.50.110 N A 1 day 05:49 0.00 1% 1%

chaque serveur à 3 disques logiques (de taillse identique) s'appuyant sur une config physique en RAID5.

le 2ème disque logique /dev/sdb1 est répliqué sur les deux noeud grâce à l'excellent DRBD de LINBIT. Il y a un excellent howto pour configurer un disque drbd sur un cluster proxmox sur le wiki de proxmox
L'intérêt principal d'un disque logique utilisant DRBD sous Proxmox est d'avoir les deux noeuds d'un cluster avec toujours la même image du même fichier raw (d'une machine virtuelle kvm donnée) sur chaque noeud, ce qui permet une migration quasi instantanée en "live migration" sous proxmox et qui théoriquement assure aussi une tolérance aux pannes en cas de mort subite du noeud principal (ça j'ai pas encore testé)
Ceci dit DRBD est un excellent projet et un produit fort intéressant et bien documenté qui peut être utilisé indépendament de proxmox comme solution plus classique de tolérance aux pannes il y a d'ailleurs un excellent article sur le site d'ibm d'ou vient l'image ci-après.

Donc sur mon disque externe j'avais une image de 20GB au format raw classique de ma machine virtuelle
lutrycalc01:~# qemu-img info /mnt/BACKUP/goeland/proxmox/kvm/images/102/vm-102-disk.raw
image: /mnt/BACKUP/goeland/proxmox/kvm/images/102/vm-102-disk.raw
file format: raw
virtual size: 20G (21474836480 bytes)
disk size: 20G
Mon problème était de savoir comment copier cette image sur le noeud principal de mon serveur. J'avais déjà au préalable créé une machine virtuelle aux caractéristiques identiques mais avec
lutrycalc01:~# cat /etc/qemu-server/102.conf
name: kvm_gosqlcc02
ide2: cdrom,media=cdrom
vlan0: rtl8139=FE:A2:23:8B:EF:83
bootdisk: ide0
ostype: w2k3
ide0: drbdvg0:vm-102-disk-1
memory: 1024
onboot: 1
sockets: 1
Un scan des volumes logiques avec lvscan me donnait une première piste :
lutrycalc01:~# lvscan
ACTIVE            '/dev/pve/swap' [31.00 GB] inherit
ACTIVE            '/dev/pve/root' [96.00 GB] inherit
ACTIVE            '/dev/pve/data' [1.63 TB] inherit
ACTIVE            '/dev/drbdvg/vm-102-disk-1' [20.00 GB] inherit

avec un "ps aux |grep kvm" j'ai pu voir comment proxmox lance la machine virtuelle ayant son disque sur le volume group en drbd

lutrycalc01:~# ps aux |grep kvm
root 2751 0.0 0.0 0 0 ? S Mar17 0:00 [kvm-irqfd-clean]
root 26549 5.4 3.2 1167180 1066152 ? Sl 17:41 3:12 /usr/bin/kvm -monitor unix:/var/run/qemu-server/102.mon,server,nowait -vnc unix:/var/run/qemu-server/102.vnc,password -pidfile /var/run/qemu-server/102.pid -daemonize -usbdevice tablet -name kvm_gosqlcc02 -smp sockets=1,cores=1 -nodefaults -boot menu=on -vga cirrus -tdf -localtime -rtc-td-hack -k fr-ch -drive file=/dev/drbdvg/vm-102-disk-1,if=ide,index=0,boot=on -drive file=/dev/cdrom,if=ide,index=2,media=cdrom -m 1024 -netdev type=tap,id=vlan0d0,ifname=tap102i0d0,script=/var/lib/qemu-server/bridge-vlan -device rtl8139,mac=FE:A2:23:8B:EF:83,netdev=vlan0d0 -id 102 -cpuunits 1000

J'arrête cette machine virtuelle via l'interface web de proxmox et il ne me restait plus qu'a copier avec un bon vieux "dd" l'intégralité de mon disque :

lutrycalc01:~# dd if=/mnt/BACKUP/goeland/proxmox/kvm/images/102/vm-102-disk.raw of=/dev/mapper/drbdvg-vm--102--disk--1 bs=1M
20480+0 records in
20480+0 records out
21474836480 bytes (21 GB) copied, 1510.34 s, 14.2 MB/s

Et ensuite j'ai pu démarrer ma machine virtuelle qui était la réplique exacte de celle se trouvant sur le site de Lausanne.
Une petite règle DNAT sur le firewall de Lutry et me voila "presque" en mesure de faire du rdesktop sur mon serveur virtuel depuis mon site distant, je dis presque parceque j'ai quand même du aller modifier le default gateway de ce serveur. Mais en installant rdesktop sur une box Linux debian se trouvant déjà sur place et sur laquelle j'avais un accès ssh j'ai pu faire un rdesktop distant et aller corriger le default gateway de mon serveur virtuel.
Encore une fois Merci GNU/Linux, merci Debian, merci Proxmox, merci OpenSsh, merci DRBD, merci à tous les projets du Monde Libre à tous ces anonymes qui tous ensembles de par leur travail, leur effort et leur ouverture d'esprit rendent toute cette magie possible.
C'est beau la vie d'un ingénieur système sous GNU/Linux !

Compter le nombre d'entités de type différentes dans un dessin dxf

2010-11-09T12:04:00.002+01:00

Quand on reçoit des données graphiques sous forme d'un simple fichier DXF, il se peut que l'on soit confronter au fait de vérifier le type d'entités différentes se trouvant dans ce fichier.
l'utilitaire ogrinfo de la suite d'outil gdal est bien pratique et il permet de résoudre ce petit problème en une seule ligne de commande sous n'importe quel shell tel que bash avec votre distribution Gnu/Linux favorite. Ceci permet de filtrer tout de suite un fichier d'un lot qui contiendrait des types d'entités que l'on ne veut pas traiter.

ogrinfo -geom=SUMMARY -al 085_VOL2008.dxf |grep AcDbEntity|sort |uniq -c

332 SubClasses (String) = AcDbEntity:AcDb3dPolyline

580 SubClasses (String) = AcDbEntity:AcDbBlockReference

405 SubClasses (String) = AcDbEntity:AcDbCircle

64 SubClasses (String) = AcDbEntity:AcDbCircle:AcDbArc

50 SubClasses (String) = AcDbEntity:AcDbLine

201 SubClasses (String) = AcDbEntity:AcDbMText

1036 SubClasses (String) = AcDbEntity:AcDbPolyline

9 SubClasses (String) = AcDbEntity:AcDbText:AcDbText

Il est intéressant de noter que ogrinfo suporte un sous-ensemble du langage SQL ce qui permet d'écrire :
ogrinfo -sql 'SELECT DISTINCT Layer FROM entities ORDER BY Layer ' -fields=YES -geom=NO -al -q 085_VOL2008.dxf |grep Layer
ce qui aura pour effet de lister les différentes couches du dessin dxf

Richard M. Stallman en tournée en Suisse Romande "It's Now & It's Free like in Freedom" !

2010-11-05T10:36:00.002+01:00

Richard M. Stallman, alias RMS est un programmeur à l'origine du projet GNU , auteur d'outils indispensables tels que l’éditeur de texte GNU Emacs, le compilateur C de GNU, le débogueur GNU mais aussi, en collaboration avec Roland McGrath, le moteur de production GNU Make. Il s'agit d'un vrai "Personnage" figure emblématique, charismatique et incontournable du Monde du Libre
Il a déclaré à plusieurs reprises « Je puis expliquer la base philosophique du logiciel libre en trois mots : liberté, égalité, fraternité. Liberté, parce que les utilisateurs sont libres.Égalité, parce qu'ils disposent tous des mêmes libertés. Fraternité, parce que nous encourageons chacun à coopérer dans la communauté ».
Il est actuellement en tournée de conférence dans la région suisse romande, le 8 et le 10 novembre à Lausanne, le 9 et le 11 à Genève. Ne ratez pas cette occasion unique de le rencontrer et filez vous inscrire l’entrée est gratuite, pardon je voulais dire "LIBRE"
http://www.ynternet.org/ynternet.org/rms-tour

Ubuntu 10.10 est disponible !

2010-10-11T11:55:00.000+02:00

La 13ème version de la distribution Linux Ubuntu "The Maverick Meerkat" est disponible ! Plus d'informations en français sur le site du zéro
Vous pouvez vous rendre aussi directement sur le site principal Ubuntu pour aller rechercher votre copie

Entre autres caractéristiques on a le passage au noyau Linux 2.6.35, et la nouvelle version de Gnome 2.32.

SuperTux is alive : Numéro 2 dans le top500 avec du Linux du Nvidia TESLA

2010-06-02T11:23:00.001+02:00

Dans un précédent post en mars dernier j'évoquais le fait qu'il y avait de forte chance que les futurs supercalculateurs dans le Top500 utilisent la puissance de calcul des processeurs graphiques actuels pour atteindre à un moindre coût d'acquisition et de consommation les sommets du top500...

Et bien ça y est c'est chose faite la Chine a rejoint le classement de juin 2010 des supercalculateurs les plus puissants de la planète, (le fameux Top500 ) avec trois supercalculateurs ! Et attention pas n'importe ou, elle place directement ces nouveaux clusters dans le top20 (19ème,7ème et 2ème place) dont une deuxième place d'entrée de jeu. C'est très impressionnant, et surtout ce n'est probablement qu'un début, je suis près à parier qu'avant la fin de l'année la Chine risque de se placer encore plus haut.

En attendant la deuxième place est occupée par un supercalculateur du National Supercomputing Centre in Shenzhen (NSCS) basé sur le TC3600 un serveur lame du fabriquant chinois Dawning qui utilise des Intel X5650 à 6 coeurs et des cartes Tesla C2050 de Nvidia avec le GPU .

Comme l'explique si bien cet article du Monde :

"...Le système est capable d'opérer à une vitesse de 1,271 pétaflop par seconde. Un pétaflop correspond à un million de milliards d'opérations à la seconde. En vitesse théorique, soit maximale, Nebulae peut opérer jusqu'à 2,98 pétaflops par seconde, ce qui en ferait le super-ordinateur le plus rapide au monde...."

Il y a à mon humble avis trois conclusions à tirer :

L'empire du Milieu n'a pas fini de nous surprendre en matière d'innovation et de technologie
Linux domine très largement ce segment très exigeant avec plus de 90% de part de marché. Microsoft est totalement insignifiant (à peine 1%) Si on tient compte en plus de l'arrivée prochaine de périphériques low-cost qui seront aussi de plus équipé de différentes déclinaison de Linux (Androïde, Chrome OS, Meego de Intel & Nokia) et de la convivialité des distributions Linux Desktop tel que Mint ou Ubuntu et bien il est très peu probable que l'action Microsoft soit un un choix très pertinent dans un portefeuille. Et que dire des responsables de Tic qui s'obstinent à payer des fortunes pour faire moins bien que des logiciels libres avec des instances de Sharepoint en veut tu en voilà. La prochaine restriction budgétaire va faire mal, très mal pour tous ceux qui n'ont pas vu venir le vent et qui serons balayé par la vague du Libre qui s'impose de plus en plsu comme la seule solution viable et pérenne dans le temps concernant le TIC.
La généralisation de l'adoption d'OpenCL et Cuda va accélérer l'adoption des GPU de Nvidia et de Ati comme périphérique de calculs ultra-puissant pour un rapport prix/puissance dérisoire. Et le paradigme de la programmation massivement parallèle va encore plus s'imposer comme le chalenge à relever dans les années qui viennent.

Choisir parmi plusieurs versions de java sous Ubuntu

2010-04-14T15:41:00.002+02:00

Sous Linux Gentoo il existe une commande java-config qui permet de configurer la version de java runtime que l'on désire utiliser par défaut.
Avec Ubuntu il faut utiliser la commande update-alternatives
Pour différente raison j'ai besoin d'utiliser la dernière version de java provenant de chez SUN et les paquets se trouvant dans aptitude ne correspondent pas forcément à la toute dernière version.
Ainsi après avoir installé le jdk de Sun dans /opt et fait un lien symbolique sur la version courante avec (ln -s jdk1.6.0_19 jdk) je vais dire que c'est cette version que je veux utiliser avec ces deux commandes :
sudo update-alternatives --install /usr/bin/java java /opt/jdk/jre/bin/java 1
sudo update-alternatives --config java
lors de cette dernière commande je me verais présenter une liste des java disponibles sur le système et je n'aurais qu'à choisir parmi une d'entre elles avec le numéro se trouvant à gauche.

Plus d'informations sont disponibles sur l'excellent site de la Communauté francophone des utilisateurs d'Ubuntu.

Comment renommer 350 fichiers d'un coup d'un seul sous Linux-bash

2010-04-08T11:50:00.001+02:00

Je me suis retrouvé dans la situation ou dans un répertoire j'avais 350 fichiers du style dtmgrid122413_1m.asc.gz qu'il fallai que je renomme en MNT_1224-13_1m.asc.gz
grâce aux pipe et à sed c'est possible en une seule commande:
for i in dtm*; do (mv $i `echo $i|sed 's/dtmgrid$[1-9]\{4\}$/MNT_\1-/'`); done
on retrouve une boucle for qui parcoure chaque fichier dans le répertoire courant et le stocke dans la variable i. Puis pour chaque fichier trouver on va faire un mv pour renommer l'ancien nom de fichier se trouvant en $i en quelquechose qui se trouve etre le résultat de l'expression:
`echo $i|sed 's/dtmgrid$[1-9]\{4\}$/MNT_\1-/'`
notez bien que l'expression est entre backquotes c'est grâce à cela que l'on reçoit la valeur finale de l'éxécution de cette suite de commande et non pas une simple chaine de caractères équivalent à notre commande...
en gros c'est grâce à une substitution sed " s/avant/apres/ " qui reçoit l'ancien nom de fichier et le convertit selon nos désirs grâce à l'expression régulière qui dit que l'on veut remplacer:
dtmgrid$[1-9]\{4\}$
par:
MNT_\1-
ce qui signifie que dtmgrid sera remplace sans autre par MNT_ et que le contenu de la chaine se trouvant entre parenthèse $ et $ sera à l'arrivée dans la chaine finale utilisé tel quel grâce au \1 et que l'on veut faire suivre cela par un - avant de laisser s'afficher le reste de la chaine en l'état
pour ce qui est du contenu ente parenthèse et bien le [1-9] indique que l'on cherche n'importe quel chiffre entre 1 et 9 et le \{4\} signifie que l'on veut prendre en compte très exactement 4 chiffres.

SuperTux is back : 4.6 TeraFlops avec ATI Radeon™ HD 5970 & OpenCL let's go ride

2010-03-18T17:09:00.002+01:00

Et si en 2010 vous vous offriez votre supercalculateur Linux personnalisé : Viva SuperTux !
Si on se rend sur la fiche technique de la nouvelle ATI Radeon HD 5970 on découvre que cette nouvelle carte graphique possède une puissance de calcul assez impressionnante de 4.6 TeraFLOPS par GPU :

Processing power (single precision): 4.64 TeraFLOPS
Processing power (double precision): 928 GigaFLOPS
Polygon throughput: 1.45 billion polygons/sec

Si on décide d'utiliser toute cette puissance pour qqchose de plus constructif que des FPS et autre jeux stériles et bien on arrive vite à la conclusion que l'on peut avoir un supercalculateur pour pas cher.

Nvidia avait déjà lancé CUDA mais personnellement, je pense comme dans l'article de
Douglas Eadline, Ph.D.
(GP-GPUs: OpenCL Is Ready For The Heavy Lifting sur Linux Magazine)
que OpenCL a pas mal de chances d'avoir plus de succès car il s'agit d'un standard qui est supporté par plusieurs vendeurs sur plusieurs types de hardware depuis juin 2008 dans le cadre du Khronos Group.

C'est ainsi qu'armé de votre PC Linux favori avec le tout nouveau
ATI Stream SDK v2.01 fraichement installé sur votre Ubuntu 9.10 vous pouvez essayez de taquinez le top10 du top500 car si vous utilisez une des nouvelles Radeon HD 5970 Eyefinity 6 chez XFX
c'est déjà 2 GPU onboard en admettant que vous ayez cassez votre tirelire vous pouvez en mettre
une deuxième en CrossFireX ce qui nous amène à une puissance théorique de 4 x 4.64 TeraFlops = 18.56 TeraFlops (en sp bien sur mais c'est déjà joli) et pour le double on reste honorable avec un 4 x 0.928 = 3.7 TeraFlos thèorique en double précision.

En allant voir la liste du top500 on observe que les Rmax (aussi en TeraFlops) atteint par des "supercalculateurs" livrés en 2009 ne sont pas si éloignés de ce chiffre !
Ainsi à la 99ème position on a le BlueGene de l'EPFL livré en 2009 avec 16'384 processeurs PowerPC 450 850 MHz (3.4 GFlops) qui totalise un RMax de 47.73 TeraFlops
Et soyons certains qu'au vu du nombre de processeurs et de la consommation que cela représente il y a de fortes chances qu'avec votre SuperTux vous puissiez concourir au moins dans le Green500 !
Et il y a de fortes chances que vous soyez très haut dans le classement parcequ'avec une consomation de pointe de 294 Watts pour la carte selon la fiche technique de AMD on arrive à 15'782 MFLOPS/W !

Download du snapshoot de chromium

2010-02-02T20:57:00.007+01:00

Si vous êtes comme moi, vous aimez avoir chromium sur votre distribution Linux favorite. Pers Personnellement rien que pour la syncro automatique des favoris et pour pouvoir tester webgl, j'avoue que je ne pourrais plus me passer de chromium.
Pour avoir toujours la dernière version j'ai écrit ce petit script perl getchromium.pl

Maintenant en lançant getchromium.pl sur ma Ubuntu j'obtiens la dernière archive pour Linux x86_64 qui va se décompresser dans le répertoire du nom de cette release et créer un lien symbolique sur ce répertoire. Comme j'ai créé sur mon bureau Gnome un lanceur qui pointe sur
~/tools/chromium/chrome-linux/chrome --enable-webgl
je peux donc toujours lancer la dernière snapshoot de chromium x86_64 disponible sur le buildbot chromium.

Clonage d'une machine virtuelle OpenVZ

2010-01-13T12:22:00.001+01:00

Je suis un heureux administrateur système Linux qui utilise Proxmox comme plateforme de virtualisation

J'utilise passablement les "conteneurs" OpenVZ. Et je venais de me finaliser un clônage comme indiqué sur le wiki,
Comme j'étais sur un cluster proxmox, j'ai pris soin de créer au préalable mon nouveau conteneur depuis l'interface de management web du noeud "master" (j'utilise les mêmes valeurs de config que pour l'original), puis j'effectue une migration sur le noeud de destination. Ensuite j'ai effectué un ssh sur le noeud destination et j'ai effectué

# vzctl stop 101
# vzctl stop 112
# rsync -avz /var/lib/vz/private/101/ /var/lib/vz/private/112/
# diff /etc/vz/conf/101.conf /etc/vz/conf/112.conf
# théoriquement il ne devrait pas y avoir de différence si ce n'est l'adr IP qui doit être différente donc on démarre les deux noeuds 
# vzctl start 101
# vzctl start 112

Par rapport à la démarche proposée sur le wiki, vous aurez constaté que je préfères utiliser le rsync plustôt que la longue ligne avec les deux tar à travers un pipe
quand au démarrage de ma nouvelle machine virtuelle j'ai constaté une incongruité au niveau des quotas disque en effet l'indication de l'espace dhistorisque encore disponible était complètement faux. Du style j'utilisais 0% de mes 200GB alloué à ce conteneur alors que je lui avais déjà mis 90 GB dans le ventre.
J'ai trouvé l'explication sur le site d'OpenVz et la solution est simple il fallait réinitialiser le calcul des quotas comme-ceci :
vzquota drop 112

Utiliser curl pour récupérer des logs sur un serveur Microsoft IIS avec l'authentification ntlm

2010-01-04T17:48:00.004+01:00

Quand il s'agit de récupérer des fichiers depuis un serveur Web Microsoft IIS, (sisi ça arrive dans la vie d'un sysadmin linux) il ne faut pas hésiter à utiliser curl (en lieu et place de wget)
En effet curl (via libcurl) supporte toute les variantes d'authentification dont certaines spécifiques à Microsoft comme le fameux ntlm.
Pour vérifier si vous avez déjà curl vous pouvez exécuter un simple
dpkg -l |grep curl
Ce qui dans mon cas donne sur une Ubuntu 9.1 :

ii  curl                 7.19.5-1ubuntu2       Get a file from an HTTP, HTTPS or FTP server
ii  libcurl3             7.19.5-1ubuntu2       Multi-protocol file transfer library (OpenSS
ii  libcurl3-gnutls      7.19.5-1ubuntu2       Multi-protocol file transfer library (GnuTLS
ii  libcurl4-gnutls-dev  7.19.5-1ubuntu2       Development files and documentation for libc
ii  php5-curl            5.2.10.dfsg.1-2ubuntu6.3  CURL module for php5

Vous pouvez le cas échéant installer ces paquets avec un gestionnaire de paquets graphique (tel synaptic) ou avec un simple :
sudo apt-get install curl

voici un exemple d'utilisation :
curl --proxy '' --verbose --ntlm --netrc http://myserver.mydomain.ch/iislog/
toutes les nombreuses options sont documentées dans les "man" pages ou en ligne sur le site de curl
Dans cet exemple j'utilise notamment :

--proxy '' : pour forcer la non-utilisation du proxy d'entreprise, en effet dans mon cas j'ai une variable d'environnement du style "http_proxy=http://monproxy.mondomaine.ch:8080/" qui existe et curl et assez futé pour l'utiliser par défaut, sauf que dans mon cas je veux aller sur un serveur en interne d'ou mon besoin de désactivez l'usage du proxy
--verbose : pour avoir quelques infos utile en cas de problèmes, pratiquement cette option n'est que rarement utilisée en production
--ntlm : dans ce cas je force l'utilisation de l'autentification ntlm, j'aurais pu utiliser --anyauth et curl aurait essayé différent mode d'authentification jusqu'à trouver le bon (dans ce cas --verbose prend tout son sens) en production il est de bon ton d'utiliser directement le bon mode ( --basic, --digest, --ntlm, and --negotiate.
--netrc : cette option demande à curl de scanner le contenu du fichier .netrc (_netrc on Windows) pour connaitre les utilisateurs et les mot de passes pour un serveur donné en gros le format du fichier est le suivant pour chaque ligne on a : machine monserveur.mondomaine.com login monusername password monmotdepassesecret.

D'ailleurs il est utile de préciser pour cette dernière option que ce fichier .netrc doit se trouver dans votre répertoire HOME, et que donc curl va voir ou se trouve votre HOME en regardant dans le contenu de la variable d'environnement HOME. (par exemple HOME=/home/cgil)
si d'aventure vous êtes sur une Ubuntu ou un autre dérivé de Debian, il y a des fortes chances que vous usiez et abusiez du "sudo qqcchose" or dans ce cas il faut juste prendre garde au fait que bien qu'on agisse en tant que USER root il se trouve que dans ces distributions la variable d'environnement HOME reste elle fixée à votre HOME de simple mortel et utilisateur lambda.
Ce qui fait que curl ou un shell script utilisant curl avec l'option --netrc ira chercher le fichier --netrc dans votre HOME en non pas dans le HOME théorique de /root comme on pourrait s'y attendre pour vérifer cela il suffit de :

cgil@neotux:~$ env|grep -E 'USER|HOME'
USER=cgil
USERNAME=cgil
JAVA_HOME=/opt/jdk/
HOME=/home/cgil
cgil@neotux:~$ sudo env|grep -E 'USER|HOME'
HOME=/home/cgil
USER=root
USERNAME=root
SUDO_USER=cgil

ceci a parfois des effets de bords fort génants et je trouve personnellement que le HOME devrait toujours suivre le USER

Lire un site web en mode offline grâce à wget

2009-12-17T17:17:00.001+01:00

Il existe plusieurs "aspirateurs" de site web, il y a même une extension comme scrapbook pour firefox qui permettent de lire des infos ou une documentation en ligne sur votre netbook même sans connexion réseau
mais je dois dire que en ce qui me concerne l'efficacité d'un outil tel que GNU Wget reste le top du must absolu ainsi avec un simple :


wget -N -r --no-parent --convert-links http://www.example.com/projects/doc/

c'est tout le contenu du répertoire doc sur le site www.example.com que vous allez pouvoir consulter offline. La documentation de wget est disponible en ligne l'option -r signifie que la récursion est active, l'option --no-parent évite d'aspirer les répertoires parents et --convert-links permet de créer une copie contenant des hyperliens pointant correctement
Essayez ! Vous verrez que vous ne pourrez plus vous en passer !

Pavé numérique innopérant ou bloqué sous Linux Ubuntu (Avec Gnome)

2009-11-23T12:06:00.001+01:00

Si d'aventure d'un coup d'un seul un bô jour vous avez un pavé numérique qui ne semble plus fonctionner... Et ce malgré que que vous appuyez frénétiquement sur NumLock ou non, ça changer rien...
Bon et ben je vous épargne de chercher vainement

Support de votre clavier S520 Logitech (rien à voir il fonctionne bien au boot)
Support des touches multimedia (la touce calculatrice n'y est pour rien)
L'évt influence de la conjonction de Mars et Saturne...

Non, non que no y que no "señor", il se trouve que vous utilisez Gnome (ou Ubuntu standard peut-être si vous préférez)
et vous avez malencontreusement utilisez la combinaison de touche
[Shift]+[Num Lock]
qui a pour effet sous Gnome de désactiver totalement le pavé numérique
Donc il suffit de refaire cette combinaison de touche et tout rentrera dans l'ordre...
J'ai perdu une énergie à cause de ce truc...
Me demande bien ce qui pouvais se passer dans l'esprit du gars qui a voulu mettre cette option dans le code du bureau Gnome alors que la touche NumLock fait ça très bien depuis des années, j'avoue que je comprend pas.

Changer le prompt en ligne de commande sous Bash

2009-11-11T14:38:00.001+01:00

Quand on est tout le temps en train de travailler dans la console, il peut arriver que l'on désire changer le prompt du shell.
Ce prompt peut ressembler à qqch du style :

cfred@tuxhost:/var/log$

seulement parfois on arrive dans des profondeurs de répertoire qui rendent juste intenable l'affichage du path courant dans le prompt. Dans ce cas il suffit de changer la définition du prompt qui se trouve dans la variable PS1

cfred@tuxhost:/var/log$ SAVE=$PS1

cfred@tuxhost:/var/log$ PS1="\u:\W $ "
cfred:log $ echo "Pour restaurer la valeur d'origine il suffira alors de faire"
cfred:log $ PS1=$SAVE

Il y a plusieurs caractères d'échappement qui peuvent être utilisé comme par exemple :
\d pour la date
\h le nom du host jusqu'au premier point (sans le suffixe dns)
\H le nom du host complet
\t l'heure au format 24h HH:MM:SS
\T l'heure au format 12h HH:MM:SS
\u le nom d'utilisateur courant
\w le chemin complet sur le répertoire courant
\W le répertoire courant
la liste exhaustive est disponible sur la doc bash

postgresql et les encodages

2009-10-09T11:53:00.007+02:00

Sur une distribution récente avec la base de données Postgresql je n'arrivais pas à créer une nouvelle BD avec un encodage LATIN1.
Après quelques recherches le problème provient du fait qu'a l'installation du paquet le cluster est créé avec un encodage UTF8, pour vérifier regarder la valeur de :

/usr/lib/postgresql/8.3/bin/pg_controldata /var/lib/postgresql/8.3/main/

Dans mon cas j'avais :
LC_COLLATE:fr_CH.UTF-8
LC_CTYPE: fr_CH.UTF-8

Or le problème avec cette config c'est que du coup quand on veut créer une nouvelle base de données avec un encodage différent rien ne va plus.

su postgres -c 'createdb -E LATIN1 -O cgdb goeland'

On se voit recevoir un message fort peu sympathique en forme de fin de non-recevoir :
createdb: database creation failed: ERREUR: l'encodage LATIN1 ne correspond pas à la locale fr_CH.UTF-8 du serveur
DETAIL: Le paramètre LC_CTYPE du serveur nécessite l'encodage UTF8.

L'explication se trouve dans la documentation postgresql Si on veut pouvoir lor de la création de base de données utiliser n'importe quel encodage il faut pour le initdb utiliser "C" ou "POSIX" pour le locale par défaut
Donc la solution consiste a casser le cluster par défaut (n'oubliez pas de backupez avant)
Hum Encore une fois ATTENTION ne lancez pas un pg_dropcluster sur un serveur en prod avec des données car il est clair que cela détruit de façon irrémédiable vos données

pg_dropcluster --stop 8.3 main
localedef -f ISO-8859-1 -i fr_CH fr_CH.ISO-8859-1
export LANG="fr_CH.iso88591"
pg_createcluster --locale fr_CH.iso88591 8.3 main

Dans la foulée on fixe le mot de passe de postgresql avec :

su postgres
psql template1

ALTER USER postgres WITH PASSWORD '123456';

Et voila maintenant on peut créer une BD en LATIN1 avec

su -c "createdb -E LATIN1 mabellebdenlatin1" postgres

Utiliser rsync pour syncroniser de gros volumes de données

2009-06-09T11:27:00.004+02:00

On se retrouve parfois dans la situation ou on a un serveur principal qui contient un certain volume de données qui doivent être copiée à intervalle régulier sur des serveurs "miroirs".
Dans ces cas de figures il peut être intéressant de configurer d'apprendre à utiliser la commande rsync (voire même de configurer un serveur rsync).
Cet utilitaire du projet samba maintenu par Wayne Davison est excellent pour les transferts de fichier en mode incrémental.
Il y a une excellente documentation et de nombreux exemples sur le site du projet http://www.samba.org/rsync/.
S'il n'est pas déjà présent sur votre box, il peut être installé relativement facilement sur votre distribution Linux avec les outils de paquetages adapté (yum install rsync rpm sous fedora & co, et apt-get install rsync pour debian, ubuntu et dérivés)
Dans mon cas je l'utilise dans des scripts executé par des crontab toutes les nuits pour synchroniser quotidiennement plus de 80 GB de géodonnées sur plusieurs serveurs de guichet cartographique (mapserver).
Sur le serveur principal j’ai installé et configuré le démon rsyncd (service linux)
Voici le contenu de mon fichier /etc/rsync.conf sur le serveur principal :


///////////////////////////////////////////////////////////////////////////////////////////////////////////////
# /etc/rsyncd.conf

# Minimal configuration file for rsync daemon
# See rsync(1) and rsyncd.conf(5) man pages for help

# This line is required by the /etc/init.d/rsyncd script
pid file = /var/run/rsyncd.pid
uid = nobody
gid = nobody
pid file = /var/run/rsyncd.pid
use chroot = no
read only = yes
max connections = 15
log file = /var/log/rsync.log
transfer logging = yes
log format = %t %a %o %m %f %b
syslog facility = local3
timeout = 300
dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz *.jpg *.tif
[dataweb]
        path = /data/dataweb
        comment = Calculator dataweb
        hosts allow = 192.168.50.12,192.168.50.235,192.168.50.148
[geodata]
        path = /data/geodata
        comment = Calculator geodata
        hosts allow = 192.168.50.12,192.168.50.235,192.168.50.148

[goelanddocs]
        path = /data/goelanddocs
        comment = Goeland Documents
        hosts allow = 192.168.50.12,192.168.50.235,192.168.50.148
[goelandlogs]
        path = /backup/weblogs/goeland
        comment = Goeland Logs
        hosts allow = 192.168.50.12,192.168.50.235,192.168.50.11,192.168.50.148

///////////////////////////////////////////////////////////////////////////////////////////////////////////////

Typiquement ce qui est important c’est de retreindre l’accès aux adresses ip des serveurs qui doivent venir se synchroniser avec hosts allow dans chaque section
Une autre sécurité que j’ai pris dans mon cas c’est que le serveur principal n’expose pas la fonction écriture (mode read only =yes)
En gros l’idée c’est qu’on a une section par répertoire que l’on veut pouvoir synchroniser avec des droits différents
A partir du moment ou le serveur tourne (/etc/init.d/rsyncd start)
Avec un netstat -anp on peut vérifier que le démon « écoute » bien sur le port 873 (en général c’est celui la par défaut)


tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      19138/rsync

On peut ensuite aller tenter une synchronisation depuis une autre bécane avec la commande rsync.
En général la première fois il faut laisser le temps pour que la copie des données s'effectue, mais dés la deuxième fois, il n'y a que ce qui a changé qui est copié. Et il s'agit bien de différence binaire ce qui fait que pour des volumes de plus de 80 GB, j'arrive à un temps de syncro inférieur à la minute (temps qui peut bien sur varier s'il y a de gros volumes de données modifiées)
Voici un exemple de script qui est configuré dans crontab pour s'éxécuter toutes les nuits sur un serveur qui doit contenir une copie de ces géodonnées :
#!/bin/bash
RSYNC="/usr/bin/rsync"
LOG="/root/log/SyncCalculator4.log"
#--archive implies -rlptgoD or --recursive --links --perms --times --group --owner --devices
OPTS="--verbose --archive --stats --partial --delete --timeout=300"
SRC1="rsync://calculator4/dataweb"
DST1="/new_data/calculator4/dataweb"
SRC2="rsync://calculator4/geodata"
DST2="/new_data/calculator4/geodata"

echo "****Started update at" `date` >> ${LOG} 2>&1
echo "**re-rsyncing the calculator dataweb tree" >> ${LOG} 2>&1
${RSYNC} ${OPTS} --exclude 'phpTempSession/' ${SRC1} ${DST1} >> ${LOG} 2>&1
echo "**re-rsyncing the calculator geodata tree" >> ${LOG} 2>&1
${RSYNC} ${OPTS} ${SRC2} ${DST2} >> ${LOG} 2>&1

echo "**End: "`date` >> ${LOG} 2>&1

Rsync est un outil vraiment formidable et qui devient vite indispensable quand on a des besoins de syncro sur des volumes de données important et/ou sur des fichiers de taille importantes.
Et il faut bien sur garder à l'esprit que l'on peut l'utiliser sans avoir configuré un serveur rsync sur un des côtés du transfert. Ainsi comme expliqué dans le man rsync avec un simple :
rsync -avz serveur1:/data/toto /data/tmp
On va transférer récursivement tous les fichiers du répertoire /data/toto sur le serveur1 dans le répertoire /data/tmp sur la machine locale ou on execute la commande. Ces fichiers seront transferes en mode "archive" ce qui assure que liens symboliques, attributs, permissions etc. soit préservés pendant le transfert. En plus avec l'option "z" la compression sera utilisée pour réduire la taille du transfert.
Mais rien ne remplace la lecture du man et pour prendre conscience des nombreuses options disponibles tel que --exclude=PATTERN qui permet de tout copier sauf certains types de fichiers

Enfin voila pour l'introduction, j'éspère que cela vous donne envie d'en savoir plus, en tout cas en ce qui me concerne cette commande est pour moi réellement indispensable et on la retrouve dans plusieurs de mes scripts de réplications de données. Alors "Bonne découverte" !

Avoir une belle distro SliTaz sur sa clé USB

2009-06-04T13:27:00.003+02:00

Avec l'utilitaire UNetbootin on peut intaller en quelques click de souris une chouette Distribution Linux comme par exemple la fameuse distro SliTaz (30 mb de concentré de bonheur) sur sa clé USB favorite

Comment comparer (et connaitre) les paquets debian installés sur 2 serveurs

2009-05-19T13:57:00.004+02:00

Je me suis retrouvé dans la situation ou je voulais connaitre la liste des paquets installés sur une Debian 5.0 Lenny et comparer cette liste avec ce qui était sur un autre serveur.
Tout d'abord pour obtenir une liste exhaustive des paquets présent sur un serveur Debian j'utilise l'excellent dpkg.
dpkg -l
va donner une liste des paquets installés par ordre alphabétique avec version et description et status, qqch du style:
gocarto01:~# dpkg -l


Desired=Unknown/Install/Remove/Purge/Hold
| Status=Not/Inst/Cfg-files/Unpacked/Failed-cfg/Half-inst/trig-aWait/Trig-pend
|/ Err?=(none)/Hold/Reinst-required/X=both-problems (Status,Err: uppercase=bad)
||/ Name                              Version                           Description
+++-=================================-=================================-==================================================================================
ii  adduser                           3.110                             add and remove users and groups
ii  apache2                           2.2.9-10+lenny2                   Apache HTTP Server metapackage
ii  apache2-doc                       2.2.9-10+lenny2                   Apache HTTP Server documentation
ii  apache2-mpm-prefork               2.2.9-10+lenny2                   Apache HTTP Server - traditional non-threaded model
ii  apache2-utils                     2.2.9-10+lenny2                   utility programs for webservers
ii  apache2.2-common                  2.2.9-10+lenny2                   Apache HTTP Server common files
ii  apt                               0.7.20.2+lenny1                   Advanced front-end for dpkg
ii  apt-file                          2.1.5                             APT package searching utility -- command-line interface
ii  apt-utils                         0.7.20.2+lenny1                   APT utility programs
ii  base-files                        5lenny2                           Debian base system miscellaneous files
ii  base-passwd                       3.5.20                            Debian base system master password and group files
ii  bash                              3.2-4                             The GNU Bourne Again SHell
rc  bind9                             1:9.5.1.dfsg.P1-2                 Internet Domain Name Server

avec cette belle liste que l'on sauve dans un fichier en faisant une simple redirection
dpkg -l >package-list_serveur1.txt
Ensuite sur l'autre serveur on procéde de même
dpkg -l >package-list-serveur2.txt
Et on recupére la liste précédente par exemple avec un scp (outils fourni avec ssh)
scp serveur1:package-list_serveur1.txt .
Et finalement un simple diff entre les 2 fichiers et on obtient la liste des paquets présents d'un côté ou de l'autre :
diff package-list-serveur2.txt package-list_serveur1.txt

> ii  php5-gd                         5.2.6.dfsg.1-1+lenny3    GD module for php5
264a270
> ii  php5-sybase                     5.2.6.dfsg.1-1+lenny3    Sybase / MS SQL Server module for php5

Ainsi dans cet exemple je peux constater qu'il me manque les paquets php5-gd et php5-sybase sur le serveur2 (car il ne sont présent que dans la liste générée sur le serveur1.
Bon courage si vous essayez de faire de même sous Microsoft...
Bien entendu rien ne vous empêche de filtrer cette liste avec un grep
Ainsi avec un :


gocarto01:~# dpkg -l |grep php
ii  libapache2-mod-php5             5.2.6.dfsg.1-1+lenny3    server-side, HTML-embedded scripting languag
ii  php-pear                        5.2.6.dfsg.1-1+lenny3    PEAR - PHP Extension and Application Reposit
ii  php5-cli                        5.2.6.dfsg.1-1+lenny3    command-line interpreter for the php5 script
ii  php5-common                     5.2.6.dfsg.1-1+lenny3    Common files for packages built from the php
ii  php5-gd                         5.2.6.dfsg.1-1+lenny3    GD module for php5
ii  php5-pgsql                      5.2.6.dfsg.1-1+lenny3    PostgreSQL module for php5
ii  php5-sybase                     5.2.6.dfsg.1-1+lenny3    Sybase / MS SQL Server module for php5
ii  php5-xsl                        5.2.6.dfsg.1-1+lenny3    XSL module for php5

un man dpkg vous montrera plein d'autre possibilités de ce formidable outil. Ainsi si vous voulez connaitre la liste des fichiers installés par le paquetage postgresql-8.3-postgis il vous suffit de lancer un :
dpkg -L postgresql-8.3-postgis


gocarto01:~# dpkg -L postgresql-8.3-postgis
/.
/usr
/usr/share
/usr/share/doc
/usr/share/doc/postgresql-8.3-postgis
/usr/share/doc/postgresql-8.3-postgis/changelog.gz
/usr/share/doc/postgresql-8.3-postgis/copyright
/usr/share/doc/postgresql-8.3-postgis/README.Debian.gz
/usr/share/doc/postgresql-8.3-postgis/changelog.Debian.gz
/usr/share/postgresql-8.3-postgis
/usr/share/postgresql-8.3-postgis/lwpostgis_upgrade.sql
/usr/share/postgresql-8.3-postgis/lwpostgis.sql
/usr/share/postgresql-8.3-postgis/spatial_ref_sys.sql
/usr/lib
/usr/lib/postgis
/usr/lib/postgis/1.3.3
/usr/lib/postgis/1.3.3/postgres
/usr/lib/postgis/1.3.3/postgres/8.3
/usr/lib/postgis/1.3.3/postgres/8.3/lib
/usr/lib/postgis/1.3.3/postgres/8.3/lib/liblwgeom.so.1.3
/usr/lib/postgresql
/usr/lib/postgresql/8.3
/usr/lib/postgresql/8.3/lib
/usr/lib/postgresql/8.3/lib/liblwgeom.so.1
/usr/lib/postgresql/8.3/lib/liblwgeom.so

Augmenter la taille d'un volume logique LVM2 online

2009-05-05T16:56:00.004+02:00

J'ai installé proxmox sur un de mes serveurs contenant 2 disques physiques en miroir RAID1 (raid hard avec un controlleur PERC) vu comme /dev/sda d'une taille de 73GB par Linux.
Proxmox installé avec un partitionnment par défaut j'avais au final le partitionnment suivant sur le disque :

calc0:/var/lib/vz# fdisk /dev/sda -l
Disk /dev/sda: 73.5 GB, 73555509248 bytes
255 heads, 63 sectors/track, 8942 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sda1 * 1 66 524288 83 Linux
/dev/sda2 66 8942 71302295 8e Linux LVM

et au niveau du LVM j'avais les infos suivantes au niveau physique, de "volume group" et logique:

calc0nokvm:/var/lib/vz# pvdisplay
--- Physical volume ---
PV Name /dev/sda2
VG Name pve
PV Size 68.00 GB / not usable 0
Allocatable yes (but full)
PE Size (KByte) 4096
Total PE 17407
Free PE 0
Allocated PE 17407
PV UUID 3bzRCT-gRWz-7EGo-IMAl-rIAq-SJDz-rLqOOd
calc0nokvm:/var/lib/vz# vgdisplay
--- Volume group ---
VG Name pve
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 3
Open LV 3
Max PV 0
Cur PV 1
Act PV 1
VG Size 68.00 GB
PE Size 4.00 MB
Total PE 17407
Alloc PE / Size 16385 / 64.00 GB
Free PE / Size 1022 / 3.99 GB
VG UUID qbzjFv-rYTt-pRGE-FfUP-BgXr-z54a-5QNmXh

calc0nokvm:/var/lib/vz# lvdisplay
--- Logical volume ---
LV Name /dev/pve/swap
VG Name pve
LV UUID cuS75E-ppYt-Rk1H-8CyL-Hhc9-Gs3b-v5yMUW
LV Write Access read/write
LV Status available
# open 1
LV Size 7.00 GB
Current LE 1792
Segments 1
Allocation inherit
Read ahead sectors 0
Block device 254:0

--- Logical volume ---
LV Name /dev/pve/root
VG Name pve
LV UUID gZ4825-OGRN-vqvm-9JUF-1FvK-II91-feQDcg
LV Write Access read/write
LV Status available
# open 1
LV Size 17.00 GB
Current LE 4352
Segments 1
Allocation inherit
Read ahead sectors 0
Block device 254:1

--- Logical volume ---
LV Name /dev/pve/data
VG Name pve
LV UUID uovK3Q-gOP8-svnT-TxHg-CA3X-Cek8-FaLZG1
LV Write Access read/write
LV Status available
# open 1
LV Size 40.00 GB
Current LE 10241
Segments 1
Allocation inherit
Read ahead sectors 0
Block device 254:2

Ce qui fait qu'il ne me restait pas grand chose pour créer mes machines virtuelles OpenVz car un simple df m'indiquait qu'il ne me restait guère plus que 19GB de libre:
calc0nokvm:/var/lib/vz# df -hT
Filesystem Type Size Used Avail Use% Mounted on
/dev/pve/root ext3 17G 750M 16G 5% /
tmpfs tmpfs 3.9G 0 3.9G 0% /lib/init/rw
udev tmpfs 10M 64K 10M 1% /dev
tmpfs tmpfs 3.9G 0 3.9G 0% /dev/shm
/dev/mapper/pve-data
ext3 40G 21G 19G 53% /var/lib/vz
/dev/sda1 ext3 496M 35M 436M 8% /boot

Il se trouve que j'avais rajouté trois disques tout neuf de 400GB en RAID5 ce qui fait que j'avais un /dev/sdb de 800GB qui ne demandais qu'à être utilisé. J'aurais pu le formater est utiliser un lien symbolique pour relier /var/lib/vz/root à ma nouvelle partition seuleument du coup la formidable interface de management web de proxmox ne m'aurais pas donner les infos correctes sur l'espace disponible alors j'ai décidé d'utiliser les formidable possibilité de LVM2 le Logical Volume Manager de Linux.

Création d'une partition sur monnouveau disque /dev/sdb avec fdisk /dev/sdb et le type 8e pour Linux LVM ce qui me donne :
calc0nokvm:/var/lib/vz# fdisk /dev/sdb -l
Disk /dev/sdb: 899.9 GB, 899995926528 bytes
255 heads, 63 sectors/track, 109418 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sdb1 1 109418 878900053+ 8e Linux LVM
Initialisation du disque au niveau lvm avec un pvcreate /dev/sdb1
calc0nokvm:/var/lib/vz# pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created
calc0nokvm:/var/lib/vz# pvdisplay
--- Physical volume ---
PV Name /dev/sda2
VG Name pve
PV Size 68.00 GB / not usable 0
Allocatable yes
PE Size (KByte) 4096
Total PE 17407
Free PE 1022
Allocated PE 16385
PV UUID 3bzRCT-gRWz-7EGo-IMAl-rIAq-SJDz-rLqOOd

--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 838.18 GB
Allocatable NO
PE Size (KByte) 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID B1eOlE-xfwe-wDDJ-E15M-o5lV-VMSC-LJ9Hdk
Ajout de ce nouveau volume physique au "volume groupe" pve
calc0nokvm:/var/lib/vz# vgextend pve /dev/sdb1
Volume group "pve" successfully extended
calc0nokvm:/var/lib/vz# vgdisplay
--- Volume group ---
VG Name pve
System ID
Format lvm2
Metadata Areas 2
Metadata Sequence No 5
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 3
Open LV 3
Max PV 0
Cur PV 2
Act PV 2
VG Size 906.18 GB
PE Size 4.00 MB
Total PE 231982
Alloc PE / Size 16385 / 64.00 GB
Free PE / Size 215597 / 842.18 GB
VG UUID qbzjFv-rYTt-pRGE-FfUP-BgXr-z54a-5QNmXh
Augmentation de la taille d'un des volumes logiques, en l'occurence je rajoute 100GB au volume /dev/pve/data
calc0nokvm:/var/lib/vz# lvextend -L+100G /dev/pve/data
Extending logical volume data to 140.00 GB
Logical volume data successfully resized
Pas oublier de mettre a jour le filesystem avec un
calc0nokvm:/var/lib/vz# resize2fs -p /dev/pve/data
resize2fs 1.40-WIP (14-Nov-2006)
Filesystem at /dev/pve/data is mounted on /var/lib/vz; on-line resizing required
old desc_blocks = 3, new_desc_blocks = 9
Performing an on-line resize of /dev/pve/data to 36701184 (4k) blocks.
The filesystem on /dev/pve/data is now 36701184 blocks long.

calc0nokvm:/var/lib/vz# df -hT
Filesystem Type Size Used Avail Use% Mounted on
/dev/pve/root ext3 17G 750M 16G 5% /
tmpfs tmpfs 3.9G 0 3.9G 0% /lib/init/rw
udev tmpfs 10M 64K 10M 1% /dev
tmpfs tmpfs 3.9G 0 3.9G 0% /dev/shm
/dev/mapper/pve-data
ext3 138G 21G 118G 16% /var/lib/vz
/dev/sda1 ext3 496M 35M 436M 8% /boot

Maintenant comme on peut le constater avec le df ci-dessus j'ai bel et bien gagné 100GB de plus sur mon volume logique pve-data ou est "mounté" mon /var/lib/vz. Et tout ça sans interruption de service. Je peux à tout moment relancer la commande pour rajouter de l'espace sur un de mes volumes logique. C'est pas beau cette souplesse ?!
Cet article sur wikipédia est utile, tout comme la LVM Howto

Utilisation de Proxmox derrière un Proxy

2009-05-04T15:40:00.005+02:00

J'utilise depuis peu la distribution Proxmox comme environnent de virtualisation.
Seulement il se trouve que dans le réseau ou j'utilise cette distribution je dois utiliser un proxy pour sortir sur le Net. Voici les modifications qu'il faut effectuer dans l'installation de base pour que tout cela fonctionne correctement.

Pour que "apt-get update" et "apt-get upgrade" fonctionne on modifie (ou le cas échéant création) du fichier /etc/apt/apt.conf contenant au moins la ligne :
Acquire::http::Proxy "http://10.1.253.63:3128";
Pour que wget fonctionne on modifie le fichier /etc/wgetrc aux environs de la ligne 79 on enlève le commentaire en supprimant le # et on corrige l'adresse du proxy comme suit :
http_proxy = http://10.1.253.63:3128/
Pour que la commande "pveam update" fonctionne on modifie le fichier : /usr/share/perl5/PVE/APLInfo.pm après la ligne 84 dans la méthode update on ajoute :
# this code works for ftp and http
# always use passive ftp
local $ENV{FTP_PASSIVE} = 1;
my $ua = LWP::UserAgent->new;
$ua->env_proxy; #<--ajout pour support proxy
$ua->agent("PVE/1.0");

il suffit ensuite d'exécuter dans un shell:
export http_proxy="http://10.1.253.63:3128/"
avant de lancer le fameux pveam update

Sur la coloration syntaxique dans Vim sur Debian

2009-04-21T14:54:00.004+02:00

Je travaille en ce moment sur la configuration d'un serveur ProxMox.
Cette distribution permet de mettre en oeuvre un serveur de virtualisation assez rapidement en s'appuyant sur une debian 64 bit et sur les outils kvm que j'utilise déjà depuis un bon bout de temps sur Gentoo et OpenVz (une solution de virtualisation "container" pour Linux que je découvre), il faudra d'ailleurs que je fasse un post rien que sur ça.
En attendant je vous livre l'url publique de mon blocnotes sur la virtualisation
Bref toujours est-il que dans mon envirronement réseau je suis dérrière un Proxy et qu'il a fallu que je fasse 2-3 modifs pour que tout cela fonctionne. Et comme ProxMox utilise les modules PVE en perl et que j'en avais marre de voir le code Perl dans /usr/share/perl5/PVE/ en Noir et Blanc avec vim je voulais activer la coloration syntaxique en faisant un syntax enable en mode commande dans Vim et je me vois répondre que c'est Nicht Supportieren dans cette version de Vim !
Ach non d'un karambar ! et la en faisant un vim --version je vois qu'il y a un -syntax Was ist das!
Ni de une ni de deux je lance un apt-cache search vim qui m'indique qu'il existe un paquet "vim-perl" et zou un chtit apt-get install vim-perl et je me retrouve avec une belle commande vim.perl
et maintenant quand vim.perl /usr/share/perl5/PVE/APLInfo.pm et que je tappe :syntax enable j'ai bel et bien du beau code en technicolor.
Comme j'ai pas envie de tapper ça à chaque fois je met cela dans ~/.vimrc et ainsi cela sera pour toujours et tout simplement.
A+ dans le bus

Convertir des fichier Tiff en Geotiff avec gdal

2008-12-02T15:37:00.002+01:00

J'avais un répertoire plein de fichiers tif avec les fichiers tfw. Je voulais pouvoir me retrouver avec toutes ces images converties en Geotiff. L'avantage ensuite c'est que l'on a inclus dans le fichier image tiff toute les informations de géoréférencement. Pour cela on a besoin d'un seul outil : gdal_translate de l'excellente suite d'outil Gdal
Ainsi avec la commande :


for i in `ls -1 *.tif`; do (gdal_translate -of GTiff -a_srs EPSG:4149 $i `basename $i .tif`_geo.tif); done

tous les fichiers d'origine de votre répertoire serons préservés et pour chaque fichier tif MonBoFichier.tif il y aura un nouveau fichier MonBoFichier_geo.tif qui aura été créé.
Et ces nouveaux fichiers contiennent des informations de géoréférencement comme vous pouvez le constater en lancant un tiffinfo ou mieux un :


listgeo cn41_geo.tif
Geotiff_Information:
   Version: 1
   Key_Revision: 1.0
   Tagged_Information:
      ModelTiepointTag (2,3):
         0                0                0
         550000           158000           0
      ModelPixelScaleTag (1,3):
         5                5                0
      End_Of_Tags.
   Keyed_Information:
      GTModelTypeGeoKey (Short,1): ModelTypeGeographic
      GTRasterTypeGeoKey (Short,1): RasterPixelIsArea
      GeographicTypeGeoKey (Short,1): Unknown-4149
      GeogCitationGeoKey (Ascii,7): "CH1903"
      GeogAngularUnitsGeoKey (Short,1): Angular_Degree
      End_Of_Keys.
   End_Of_Geotiff.

GCS: 4149/CH1903
Datum: 6149/CH1903
Ellipsoid: 7004/Bessel 1841 (6377397.16,6356078.96)
Prime Meridian: 8901/Greenwich (0.000000/  0d 0' 0.00"E)

Corner Coordinates:
Upper Left    (550000d 0' 0.00"E,158000d 0' 0.00"N)
Lower Left    (550000d 0' 0.00"E,110000d 0' 0.00"N)
Upper Right   (620000d 0'4294967296.00"E,158000d 0' 0.00"N)
Lower Right   (620000d 0'4294967296.00"E,110000d 0' 0.00"N)
Center        (585000d 0' 0.00"E,134000d 0' 0.00"N)

Backuper toutes les bases de données d'un serveur Postgresql

2008-07-23T14:05:00.004+02:00

Il se trouve que je viens de décider d'updater mon Postgresql 8.3 sur mon serveur de développement.
Mais avant de basculer de la 8.2 à la 8.3 j'aimerais faire un backup de chacune de mes bases de données. Comme c'est une opération que je fais assez régulièrement je décide d'écrire un petit script que voici:


#!/bin/bash
## Script  : DBBAckup.sh allows to backup a postgresql database
USAGE="Usage : `basename $0` dbnametobackup [postgresql_server(=localhost by default)]"
CGDATE=`date -I`

if [ $# -lt 2 ] ; then
    if [ $# -lt 1 ] ; then
            echo "$USAGE"
            exit 1
    else
            DBName=$1
            DBServer='localhost'
    fi
else
          DBName=$1
          DBServer=$2
fi

BackupPath="DBBackup_${DBName}_${CGDATE}_Compressed.backup"
echo "****Started backup of db $DBName at `date`, log of operation is in $BackupPath.log"

if  pg_dump --ignore-version --verbose --format=c --oids -h $DBServer  -p 5432 -U postgres -f $BackupPath -n public $DBName > $BackupPath.log 2>&1 ; then
          echo "BACKUP OKAY"
          pg_restore -l $BackupPath > "DBBackup_${DBName}_${CGDATE}_tablelist.txt"
else
          echo "PROBLEM OCCURED --> see log in  $BackupPath.log"
          if [ -f $BackupPath ] ; then
                    if ![ -f $BackupPath ] ; then
                       rm -f $BackupPath
                    fi
          fi
fi

echo "****Finished sync of db $DBName at `date` "

puis en une ligne on sauve toutes les bases locales sauf les 2 templates qui ne me servent à rien :
for i in `psql -U postgres -l | awk '{ print $1}' | grep -vE '^-|^List|^Name|template[0|1]|^\('`;do (DBBackupLocal.sh $i);done

FireFox 3 ça y est 5'690'000 download à 12h heure de Berck

2008-06-18T12:02:00.003+02:00

Vous pouvez suivre le décompte du nombre de download en temps réel chez Mozilla
Et chez Framasoft vous pouvez trouver un petit guide des nouveautés de FireFox 3 en Français qui est une traduction de l'article en anglais "A Field Guide to FireFox 3" de Debra Lyn Richardson

Le plus bô des navigateurs fait peau neuve

2008-06-17T09:44:00.004+02:00

Il est beau il est frais il est dans les étalages : le tout nouveau FireFox 3 sera disponible dans les heures qui viennent et c'est la bonne occasion de rappeler à tout un chacun d'aller chercher sa toute nouvelle version.
J'ai déjà pas mal utilisé pour ma part les versions 3 beta et candidate release et le premier constat que j'ai pu faire c'est une plus grande RAPIDITE. Oui, Firefox 3 est sacrément plus rapide sur des pages web 2 bien chargées.
L'autre point que je trouve fabuleux c'est un support encore accru des normes dont au niveau graphique SVG et CANVAS .D'ailleurs je rpofite de signaler un essai particulièrement intéressant d'intégration avec OpenGL dans le projet CANVAS 3D démarré par Vladimir Vukicevic. Mais il faut aussi et surtout dire que c'est la première version de FireFox qui utilise le moteur de rendu et de layout Gecko 1.9. Et on pourrait écrire un livre entier sur tout ce que l'on peut faire juste avec Gecko. D'ailleurs une idée serait d'utiliser Gecko pour réaliser un ActiveX qui permettrait de "voir" internet dans IE avec les yeux de FireFox. L'avantage d'une telle démarche étant qu'elle éviterait à tous les web dev de la planète de maintenir du code différent html+javascript et css pour chaque version deIE4, IE5,IE 5.5,IE6,IE7 et bientôt IE8. Et ainsi de n'écrire qu'une seule version de code qui respecte les norme du W3C et qui fonctionne sur FireFox, sur Opera et qui pour toutes les déclinaisons de IE et ces "subtiles" différences s'appuye sur une visualisation via l'ActiveX de rendu avec Gecko 1.9 pour montrer la page comme si on était dans FireFox. En fait la démarche inverse existe déjà, comme la pluspart des web développeurs travaillent avec Fire Fox il y a un plugin (IEtab) qui permet de "voir" une page dans FireFox avec le moteur de rendu de IE pour vérifier à quel point on est dans la m. dans la page en cours sous IE...
A terme il serait plus utile et efficace "d'éliminer" IE du paysage Internet en faveur de navigateurs plus surs et respectueux des normes. Seulement comme IE est le navigateur par défaut sur les OS de Micro$oft on peut pas partir du principe qu'il existera plus après-demain en revanche on peut faire des sites qui redirigent les utilisateurs de IE sur des pages contenant un ActiveX Gecko-FireFox qui leur présentent notre site avec les "yeux de FireFox". D'ailleurs on pourrait appeler cet ActiveX "FireFoxEyeForBlindIE" et il pourrait avoir un logo assez rigolo...
Sur le Mozilla Developer Center on trouvera une liste des nouveautés pour les développeurs

Bon assez rigolé on fha en chtimi :
" Té n’vas pas cor acater inne brin au Crôchoft , T'va droit trifouïer chta version di FyreFotch 3 aujord'hui et ti m'dit quoi !"
ce qui donne à peu près :
Tu ne vas pas encore acheter une merde à Microsoft, tu vas te chercher ta version de FireFox 3 aujourd'hui et tu m'en diras des nouvelles...
et pour aider à battre le record du monde de download d'un des meilleurs navigateur of the World on démarre tous le download ce mardi 17 juin 2008 à 19h heure de "Berck" (à chtit-land)

Detecter des images foireuses

2008-04-01T15:02:00.004+02:00

Lorsque l'on doit retrouver dans une arborescence toutes les images jpeg,gif ou png qui n'en sont pas, parce que une "bonne âme" a fait une malencontreuse "erreur" lors d'un transfert de fichiers qui c'est mal passé et que la "bonne âme" en question n'a pas pris la peine de tester son boulot...
Enfin bref je veux donc détecter toutes les images qui n'en sont pas.
Première étape, détecter tous les fichiers qui finissent par gif,png et jpg :
find mydirectory/ -regextype egrep -iregex '.+\.(png|gif|jpg)'
Cette commande va me trouver tous les fichiers qui possèdent un nom qui va se terminer par un .png ou un .gi ou encore un .jpg.
Ok on a la liste de toutes les images reste à trier le bon grain de l'ivraie pour cela je vais utiliser la commande identify du superbe Imagemagick Cet outil très puissant permet entre autre de traiter des images en ligne de commande et il se trouve qu'avec identify on va laisser imagemagick détecter s'il s'agit d'une image. Si l'image n'en est pas une on aura une erreur et on pourra se concentrer sur ces fichiers images corrompus. En gros ça donne :
find mydirectory/ -regextype egrep -iregex '.+\.(png|gif|jpg)'|xargs identify 2>erreurs_images.txt
Et voila ! on utilise xargs pour transmettre le résultats de la commande précédente (le find) comme argument à la commande identify, puis avec la redirection de STDERR ( 2> ) on récolte toutes les erreurs dans un fichier pour traitement.

Extraire tous les textes de liens dans un tag

2008-03-13T16:26:00.004+01:00

Soit une page html contenant une liste de fichiers du style de ce que l'on trouve dans une page d'index générée par le serveur Apache. Je veux en extraire tous les noms de fichiers.
Donc en résumé j'ai quelque chose du style :


<img src="compressed.gif" alt="[   ]" height="22" width="20"> <a href="http://mirror.switch.ch/ftp/mirror/gentoo/distfiles/zsh-lovers_0.5.orig.tar.gz">zsh-lovers_0.5.orig.tar.gz</a> 01-Aug-2006 18:05  487K
<img src="unknown.gif" alt="[   ]" height="22" width="20"> <a href="http://mirror.switch.ch/ftp/mirror/gentoo/distfiles/zsnes151src.tar.bz2">zsnes151src.tar.bz2</a>   25-Jan-2007 02:22  1.0M
<img src="compressed.gif" alt="[   ]" height="22" width="20"> <a href="http://mirror.switch.ch/ftp/mirror/gentoo/distfiles/zssh-1.5a.tgz">zssh-1.5a.tgz</a>    24-Mar-2003 17:22  332K

et je veux obtenir la liste des fichiers :
zsh-lovers_0.5.orig.tar.gz
zsnes151src.tar.bz2
zssh-1.5a.tgz
La solution comme d'habitude vient avec un perl oneliner


perl -ne 'print "$1\n" if m:<a[^>]+>(.+?)</a>:gi' thefile.html

esound emerge failed

2008-02-28T16:02:00.002+01:00

J'ai eu une plantée de jade lors de mon emerge -pvuD world sur le ebuild media-sound/esound-0.2.38-r1
en fait c'est pas la première fois que j'ai des ennuis avec jade lors d'un ebuild or ce qui est ennuyant c'est que malgré le fait que j'avais utilisé un USE -doc sur ce ebuild à la compilation il s'obstinait à vouloir lancer openjade et à planter systématiquement. Quelques google-minutes plus tard je trouvais la solution sur le forum gentoo en fait il s'agit d'une corruption possible de /etc/sgml et la solution est de refaire un build de sgml-common avec :
emerge -v app-text/sgml-common
l'histoire complète se trouve sur cette entrée du bugzilla gentoo

Comment extraire une "zone" de texte

2008-02-06T13:37:00.002+01:00

Il arrive qu'on aie besoin de sortir tout ce qu'il y a en tre blabla et blabli et bien en perl on peut utiliser lkes ranges avec l'opérateur '..'. Ainsi avec
perl -ne 'print if /<title.*>/../<\/title>;/' index.html
On obtient uniquement le titre de la page
Bien sur rien n'empêche d'utiliser l'excellent LWP pour récupérer la page
perl -MLWP::Simple -e 'getprint q(http://lapt.blogspot.com)'

Exécuter une commande sur plusieurs serveurs

2008-01-22T11:32:00.000+01:00

Comme il m'arrive de plus en plus souvent de devoir exécuter une commande sur plusieurs serveurs Linux, je devais trouver une solution efficace et élégante pour éviter de lancer n fois un ssh NomServeuri MAcommande.
Bien entendu cette solution existe déjà elle s'appelle DSH pour distributed shell (ou dancer shell ) et un fois installé elle permet de lancer un :

dsh -a -M -c -- geos-config --version
pour connaitre la version de geos installé sur chaque serveur 
l'option -a indique que l'on veut lancer la commande sur toutes les machines se trouvant dans /etc/dsh/machines.list
l'option -c indique que l'on veut lancer la commande en mode concurrent 
l'option -M préfixe la sortie des commandes avec le nom du serveur qui a envoyé la réponse
le fichier /etc/dsh/dsh.conf permet de configurer les valeurs par défaut de certaines options
Cet outil est une source d'efficacité extraordinaire quand on a plusieurs serveurs et bien sur comme toujours pour un outil puissant il peut être aussi relativement dangereux s'il est mal utilisé.



Compter le nombre de codes HTTP dans des fichiers logs avec awk
2008-01-15T15:21:00.000+01:00

Aujourd'hui je devais sortir rapidement la liste des différents codes HTTP de tous les fichiers logs IIS. Comme expliqué dans mon post précédent j'ai un fichier par jour et environ 16 GB de fichiers logs sur une année...
Dans un fichier log pour un serveur web  il y a en général un code indiquant le status de l'opération réalisée.
Ainsi dans 
IIS on peut utiliser un format de log W3C qui affichera la colonne sc-status pour le Http status code ainsi que la colonne sc-substatus. Mon but est de parcourir tous les fichiers logs et de calculer le nombre de fois que l'on trouve chacun de ces status code.
On pourrait le faire avec du perl, mais je préfère aujourd'hui essayer awk présent sur toutes les bonnes distros Linux en standard.
awk ou le plus répandu et moderne gawk est un outil formidable pour traiter très rapidement des gros volumes de données au format texte. Commençons par un exemple simple :
je veux trouver toutes les lignes du log ou le code d'état HTTP est plus grand que 500 ce qui correspond à une erreur serveur. Et bien avec awk cela ce fait simplement en écrivant :
gawk '$14>500 {print}' 2007/ex070105.log
la première partie indique une règle qui est suivie entre accolade de l'action à entreprendre si cette règle est vraie.Donc dans ce cas on dit que lorsque $14 est plus grand que 500 on veut afficher la ligne courante.
Pourquoi $14 me direz vous et bien il se trouve que awk considère chaque ligne comme un enregistrement et dans chaque ligne il considère que chaque fois qu'il y a un espace c'est un nouveau champ de l'enregistrement courant.
Comme une ligne de mon log IIS est composée des champs suivants :
# date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs-version cs(User-Agent) cs(Referer) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken
 
pour awk le $1 contiendra la date,le $2 la valeur time et ainsi de suite.
bien entendu la commande précédente peut être lancée sur un groupe de fichiers. Par exemple pour avoir la liste complète pour tout le mois de janvier il suffit de faire:
gawk '$14>500 {print}' 2007/ex0701*
Dans le cas qui m'intéresse je vais devoir stocker dans un tableau associatif une entrée par paire de status/sous-status trouvé et l'incrémenter chaque fois que je le retrouve et tout cela ce fait en écrivant :
{s[$14 ":" $15]++}
Ici la variable tableau s'appelle "s" et la clé d'indexation et composée de la valeur courante du champ $14 (sc-status) suivi d'un charactère de séparation ":" puis la valeur de $15 (sc-substatus)
Comme je ne veux pas traiter les lignes de commentaires je peux ajouter une règle avant cette action qui ne prendra que les lignes qui ne commence pas par un "#" ce qui donnera donc :
$1 !~ /^#.+$/ {s[$14 ":" $15]++}http://www.blogger.com/img/gl.link.gif
Il ne me reste plus qu'à parcourir le contenu de mon tableau associatif une fois que toutes les lignes ont été traitées et c'est la que la règle END prend tout son sens puisqu'elle correspond justement au cas que nous voulons  on aura donc qqch du style:
END{for(i in s) {printf("%-9s\t%i\n",i,s[i])}}
Voici la solution complète de mon problème en une ligne, ça va donner au final qqch comme:
gawk '$1 !~ /^#.+$/ {s[$14 ":" $15]++}; END{Mysort="sort -k 1";for(i in s) {printf("%-9s\t%i\n",i,s[i])|Mysort}}' 2007/ex0701*


On peut trouver la liste des status-code et leur explication pour IIS sur le site Technet de Microsoft
Par ailleurs la documentation très complète de awk est disponible sur le site GNU
Voici un lien sur un site avec plusieurs Manuels très utile tels que bash, bison et awk


Analyse de fichiers Log en perl
2008-01-11T15:42:00.001+01:00
Quand il faut analyser de grandes quantité de données sous format texte tel que des fichiers logs, Perl est d'une aide inappréciable.
Voici un joli "perl oneliner" qui va calculer le nombre de hits par user login dans un log IIS

perl -ne 'unless (/^#.*$/) {@e=split(/ /,$_); $Login{uc($e[8])}++;} END{foreach $key (sort keys %Login){printf(qq(%-25s %i\n),$key,$Login{$key}); } }'  2007/ex070106.log 2007/ex070107.log |sort -k 2nr >DistinctsLogins200701.txt

Analysons un peu cette ligne de commande:
perl -ne :  on lance perl  avec les option -n qui rajoute une boucle while (<>) {...} implicite et l'option -e qui permet justement d'exécuter une commande cf doc perl en ligne
'unless (/^#.*$/) { : viens maintenant le début du programme perl,  en l'occurrence on dit que tant qu'on est pas dans une ligne de commentaire on va faire quelque chose se trouvant après l'accolade ouvrante. En effet dans les fichiers logs une ligne commentaire commence par un dièse # d'ou l'expression régulière /^#.*$/  qui signifie  si la ligne  commence  par  (c'est le chapeau  ^)  un dièse  (# )  suivi de n'importe quel caractère (.) qui se répète zéro ou plusieurs  fois (*) jusqu'à la fin de la ligne ($)
@e=split(/ /,$_); :on stocke dans le tableau @e tous les éléments résultants de l'éclatement de la ligne courante ($_)  en réalisant cet "éclatement" en partageant la ligne en plusieurs morceaux séparés par un espace (/ /). On aurait pu aussi bien utiliser une autre expression régulière que celle-ci qui est vraiment triviale, mais il se trouve que dans les fichiers logs de IIS, les champs de chaque lignes sont bel et bien séparés par un espace.
$Login{uc($e[8])}++; : ici on incrémente la valeur stockeé dans un tableau associatif (ou un dictionnaire si vous préférez) $Login dont la clé est justement le nom du login trouvé à l'emplacement 9 $e[8] que l'on passe en majuscules (avec la fonction uc). C'est assez concis par rapport à d'autres langages... ainsi si on trouve sur la ligne courante on trouve un utilisateur du nom de toto on va créer une nouvelle entrée dans notre tableau associatif $Login{"toto"} qui sera incrémentée de 1 à l'aide de l'opérateur ++. Quand on retombera plus loin sur une autre ligne avec l'utilisateur toto et bien l'entrée du tableau associatif qu'on avait créé au stade d'avant va simplement s'incrémenter à deux.
} END { : voila on est à la fin du code qui s'éxécute pour chaque ligne du fichier sauf si c'est un commentaire. Et on va passer grâce au "END {...}" au bloc de code qui doit s'éxécuter une fois que toutes les lignes de tous les fichiers passé en paramètre aurons été traités. Cette syntaxe sympa est tirée de l'outil awk dont il faudra que je vous parle d'ailleurs
foreach $key (sort keys %Login){ : On veut parcourir notre tableau alors on a pour chaque clé ($key) de notre tableau associatif (%Login) trié au préalable par les valeurs de ces clés (sort keys). La phrase est un peu alambiquée mais c'est assez simple
printf(qq(%-25s %i\n),$key,$Login{$key}); : Ici on faire un  affichage formaté avec la fonction printf d'une chaine entre guillemet (la fonction qq(coucou) équivaut au traditionnel "coucou" mais elle est beaucoup plus digeste dans une ligne de commande).  le %-25s revient à dire affiche sur 25 colonnes aligné à gauche la chaine de caractère que je vais te donner. Il est suivi du %i\n pour afficher le nombre de hits trouvé pour cet utilisateur suivi d'un saut de ligne. Enfin on passe les deux valeurs à savoir $key qui contient le nom de l'utilisateur courant et $Login{$key} son nombre de hits.
} }' : Et voila ! on ferme le bloc du foreach et on ferme le bloc de code du END{ et nous voici au bout de notre commande perl ... plus long à expliquer qu'à taper...
2007/ex070106.log 2007/ex070107.log : sont deux fichiers de logs que je veux traiter. J'aurais pu aussi bien dire 2007/*.log pour traiter d'un coup tous mes fichiers logs de l'année. Ou encore 2007/ex0701* pour traiter uniquement les fichiers du mois de janvier.
|sort -k 2nr >DistinctsLogins200701.txt : Finalement je "pipe" avec | les résultats dans le filtre sort avec les options -k 2nr ce qui a pour effet d'effectuer un tri numérique descendant basé sur la deuxième colonne du fichier. Au final je redirige le tout dans le fichier DistinctsLogins200701.txt.
Bon ne reste plus qu'à faire de belles annalyse croisée de vos fichiers logs. Le même oneliner peut être utilisé pour sortir la liste des Http Code de votre Serveur et ainsi voir combien d'erreurs serveurs vous avez eut (HTTP CODE 500)  la seule chose que vous allez changer c'est l'indice du tableau e au point 4. Au lieu de 8 vous aurez une autre valeur. Pour info dans IIS il y a à intervalle régulier des lignes d'entêtes du style
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2007-01-07 11:33:26
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs-version cs(User-Agent) cs(Referer) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken
C'est à cause de ces lignes que j'ai le unless du point 2 et vous voyez que la quantité de champ que vous pouvez analysez est plutôt vaste alors bonne analyse.


Downloader un fichier sur le net sous Win32
2008-01-07T11:51:00.000+01:00
Il est parfois nécessaire de récupérer un ou plusieurs fichiers sur le net en ligne de commande sous Microsoft. Pour cela il suffit d'utiliser l'excellent curl compilé pour cette plateforme.
Ensuite de quoi il faut penser à utiliser un utilisateur null avec l'option -u ":" . Ainsi cela force curl à utiliser les credentials du compte courant, c'est à dire le user qui est connecté.
Chez moi au final cela donne 
curl --anyauth -u ":" -x "" --netrc http://www.test.com/logs/

l'option -x "" annule une evt variable d'environnement définissant un proxy, elle est utile par exemple quand vous ne voulez pas utilisez le proxy parceque votre serveur est dans votre réseau local (et pas sur internet)
A vous de voir si vous en avez besoin ou pas selon les cas.


Trouver la date de hier en Perl
2007-07-10T09:43:00.001+02:00
Pour récupérer la date de hier en Perl, toujours en une ligne:
perl -e '($d,$m,$y)= (localtime)[3..5];printf("%04d-%02d-%02d",$y+1900 ,$m+1,$d-1)'
retournera : 2007-07-09
S'il s'agit de conserver cette chaine pour par exemple downloader un fichier log il suffit d'utiliser sprintf

#!/usr/bin/perl
($d,$m,$y)= (localtime)[3..5];
$yesterday=sprintf("%04d-%02d-%02d",$y+1900 ,$m+1,$d-1);
print $yesterday;



Récuperer tous les hyperliens d'une page web
2007-07-09T16:34:00.000+02:00
c'est trop beau pour pas le signaler, en une ligne afficher la liste de tous les hyperliens sur une page web
curl --anyauth --netrc http://yourweb/yourpage.htm |perl -ne 'while (m/HREF=["]([^"]+)/gi) {print "$1\n";} '




Vista? Voyons un peu plus loin que le bout de notre nez
2007-01-30T07:46:00.000+01:00
Aujourd'hui la société Micro$oft lance à grand coup de millions de dollars son "nouvel" OS. Quand un journaliste a demandé s'il était vrai que la société allait investir plus d'un demi-milliard de dollars pour la promotion de son produit Vista le big boss a joué son joker et n'a pas voulu démantir...
Posons nous la question si aujourd'hui avec les problèmes et la misère qu'il y a sur la planète  s'il est raisonnable qu'une société investisse autant pour la promotion que pour la manufacture d'un produit. Pour la petite histoire il y a quelques anées pour le lancement de Windows NT 4 Micro£oft avaient déjà reconnu à l'époque que le budget promo était identique au coûts de dev.
Si un vendeur d'aspirateurs vous annonçait la même chose fièrement en essayant de vous fourguez son tout dernier produit contre la modique somme de 450US$ vous feriez quoi ? 
Probable que vous éclateriez de rire et que vous iriez achetez un aspirateur à la concurrence pour 10 fois moin cher.
Dans le monde merveilleux de l'informatique cette société vend du vent depuis déjà quelques années. Cela n'a pas toujours été le cas, mais maintenant c'est vraiment lamentable. Rien de réellement innovant, juste des plagias de technologies qui existent et qui fonctionnent ailleurs, ou ils sont passés maîtres dans l'art subtil de l'apparence du standard interne qui n'a pour seul but que de rendre leur produit incompatible avec le reste du monde.
Le reste du monde c'est Linux, c'est le monde de l'OpenSource. J'ai travaillé pendant plus de 10 ans avec des produits de chez MicroFroft, aujourd'hui après quelques années sous Linux, je suis très serein.
Et je suis certain d'une chose c'est que je ne dépenserais plus un sou pour des produits Micro$oft, car il y a des choses magnifique dans le monde de l'OpenSource.
Alors puisque Micro£oft à baptiser son nouvel OS "Vista" et que cela signifie Vue en bon français faisons preuve de lucidité et avec un bon pied et un bon oeil investissons dans l'OpenSource et dans des oeuvres d'entraide les montants que Micro$osft nous demande pour son "nouveau" produit . Ce sera de l'argent bien mieux utilisé, croyez moi !
Peut-être que la mort récente de l'abbé Pierre nous rappelera à la raison et que nous allons commencer à nous comporter en citoyen et consommateur responsable pour que la cohabitation sur notre petite planète soit plus l'oeuvre d'une construction durable basée sur l'équité et le partage.
Bill Gates a donné des montants considérables à des organisations d'entraide. Nous pouvons faire comme lui, et en ammont du cycle de consommation faire nos choix en bonne intelligence.
Bon je vous laisse je vais verser la moitié du prix de Vista à Gentoo et l'autre  à Emaus.


2006-11-28T13:48:00.000+01:00
Premier  test de Google Docs & Spreadsheets !

Bon et bien  voilà  le premier test d'utilisation d'un service de plus de Google à savoir l'éditeur en ligne de document et de tableaux...
Il faut avouer que la perspective de pouvoir utiliser un traitement de texte et un tableur indépendamment de la plate-forme sur laquelle on se trouve est assez sympathique.

Et puis le fait de pouvoir rédiger un document dans une interface conviviale et le poster dans un blog c'est bien pratique.
On verra à l'usage...




QEMU un PC dans ton PC
2006-11-07T14:21:00.000+01:00
Après un essai de vmware sur ma Linux Gentoo Box, et vu que je n'étais pas chaud pour lacher 190$  j'ai décidé de tester QEMU

Et ben ça marche super bien, sur gentoo il y a un HOWTO de disponible. En gros après le traditionnel emerge
il faut faire un :
qemu-img create disk.img 10G
qui va créer un fichier disque pour votre bécanne virtuelle, puis après avoir mis dans votre lecteur CD une galette de chez M$ vous pouvez sans autre lancer :
qemu -localtime -hda disk.img -cdrom /dev/cdrom -boot d -m 256 -win2k-hack
et c'est parti pour l'installation de l'OS du père Bill sur votre bécanne virtuelle
Quand c'est terminé (l'installation) vous pouvez éteindre votre bécanne virtuelle.
Dorénavant pour lancer votre Bécanne M$ sur Linux il vous suffirea de taper :
qemu -localtime -hda disk.img  -m 256
Sur ma bécanne gentoo j'ai rajouté  les 4 paquetages suivants dans /etc/portage/package.keywords pour avoir les dernières versions
app-emulation/qemu-user ~x86
app-emulation/qemu-softmmu ~x86
app-emulation/qemu ~x86
app-emulation/kqemu ~x86
j'ai aussi utilisé les 3 USE FLAGS suivants dans /etc/portage/package.use
app-emulation/qemu-softmmu kqemu sdl alsa
kqemu est particulièrement intéressant puisqu'il crée un module kernel qui va rendre l'utilisation de qemu beaucoup plus rapide, il faut bien sur charger le module avec un chtit:
modprobe kqemu major=0

C'est bô, ça fonctionne vachement vite, c'est pur, c'est sous Linux !



Comment ajouter un séparateur de millier (en 1line)
2006-09-04T17:33:00.000+02:00
c'est trop beau, c'est du perl et c'est en une seule ligne :

perl -pi.original -e "s/(?<=\d)(?=(\d\d\d)+(?=<\/FONT>))/'/g unless /2006/" default.html
et avec ça tous les chiffres du fichier html passé en paramètre vont recevoir un joli séparateur de milliers. Et ne plus on a une copie de sécurité qui se crée au cas zou...
Ainsi j'avais des lignes du style :
<FONT SIZE="-1">644303595217</FONT>
qui deviennent
<FONT SIZE="-1">644'303'595'217</FONT>

c'est juste pur , c'est juste du perl !


Modifer une variable dans n fichiers de configs INI
2006-07-26T08:07:00.000+02:00
Hier, j'ai finalisé la config d'un serveur de secours Linux Opteron pour notre guichet cartographique. Il s'appuye sur l'excellent produit Mapserver ainsi que sur le non moins excellent framework  php Cartoweb de CamptoCamp!
J'utilise rsync pour la synchronisation et j'ai été confronté à un chtit problème, sur mon deuxième serveur au vu des versions de apache et php que j'avais utilisé il me fallait charger la dll php_mapscript.so au niveau du php.ini. Du coup il me fallait modifier tous les sites cartographiques de mon serveur au niveau d'un fichier de config nommé server.ini. Je devais modifier dans tous ces fichiers la valeur d'une variable nommée disablePHPModuleCheck, est la passer de false à true.
Donc en résumé j'avais n fichiers server.ini à chercher dans une arborescence complexe démarrant dans "/data/dataweb/web/" puis il me fallait éditer chacun de ces fichiers pour passer la valeur de la variable "disablePHPModuleCheck" de false à true. Et il fallait absolument automatiser cette tâche pour deux raisons, la première étant que je suis un gros fainéant ne supportant pas de faire des tâches répétitives, la deuxième étant qu'à chaque synchronisation depuis le serveur source mes modifs seraient perdues.
Heureusement en m'appuyant sur le truc précédent et en le combinant avec un "perl oneliner" j'allais facilement atteindre le nirvana de l'adminsitrateur système.
Assez parlé voici la commande :
find /data/dataweb/web/ -name 'server.ini'|xargs perl -pi.original -e 's/(^disablePHPModuleCheck\s*=\s*)(false)/$1true/'
la première partie jusqu'au xargs est similaire au truc précédent, on cherche tous les fichiers "server.ini" depuis un endroit donné est on passe le nom de ces fichiers à la commande se trouvant après xargs. Ensuite on utilise perl pour éxécuter une expression perl en mode ligne de commande (grâce au -e). Dans mon cas il s'agit d'une bête regular expression de substitution contenant deux groupes de match identifiables aux deux paires de parenthèses, le premier groupe va chercher une ligne commençant par (grâce au ^) le mot clé disablePHPModuleCheck suivi de zéro ou plusieurs espace (grâce au \s*) suivi d'un signe égal (=) et de zéro ou plusieurs espaces (\s*).Le deuxième groupe va chercher la présence d'une valeur false pour cette variable. la valeur de substitution correspond à tous le contenu du premier groupe (grâce au $1) suivi de la valeur true. En fait la partie vraiment "magique" se situe au niveau des paramètres -p et -i.originale le premier crée une boucle implicite du style :

while (<>) {
 #et ici il éxécute votre commande
} continue {
 print or die "-p destination $!\n";
}

cette boucle sera appliquée sur tous les fichiers passé en paramètre, et on peut même rajouter du code à exécuter avant ou après la boucle (comme dans awk) avec des blocs "BEGIN" et "END" le mieux c'est de faire un chtit "man perlrun" pour voire tout cela plus en détail.
Enfin le paramètre -i.original permet d'éditer le fichier en place et de créer une copie de secours de l'original en le renommant en rajoutant .original à la fin du nom du fichier.
Voilà c'est tout, c'est plus long à expliquer qu'à taper, j'éspère que vous allez faire plein de tests d'editions en place grâce au "perl oneliners".


Trouver des fichiers contenant une regular expression
2006-06-15T11:03:00.000+02:00
L'autre jour je devais parcourir toute une arborescence de fichiers pour trouver tous les fichiers de type CSS ayant un style utilisant l'attribut url("cheminrelatif/fichierimage.png") et ou il manquait le premier guillemet.
Avec la combinaison des commandes find,egrep et surtout xargs j'ai pu trouver les fichiers en question tout de suite :
find . -name '*.css' |xargs egrep -lr 'url\([^"]+"\)'



Les commandes "shell bash" sont trop belles !
2006-06-13T11:49:00.000+02:00
Quand on administre des serveurs, ou quand on programme on a souvent des petits problèmes à résoudre en relation avec un certain nombre de fichiers ou une crackée de paramètres.
Et franchement la connaissance du shell est un outil qui fait gagner beaucoup de temps.
Un des problèmes qui vient souvent c'est un truc du style :
pour chacun de ces trucs
         fait ça avec le truc...
Et la boucle for est salvatrice, Ainsi je veux lancer un script ou une commande avec un paramètre différent qui se trouve être dans un fichier ListeParam.txt :

for i in `cat ListeParam.txt` ; do (./MonScript.sh $i) ; done

Et voilà ! mon script va se lancer autant de fois qu'il y a de lignes dans le fichier ListeParam.txt
Simple, efficace, juste BÔ !
J'avais par exemple cette liste de noms de 352 tables SQL ListeTables.txt
et un script php qui devait analyser la table sous MSSQL et généer du code pour la créer sous PostgreSql GenPgSqlCreate.php
et bien avec un rapide :

for i in `cat ListeTables.txt` ; do (php GenPgSqlCreate.php  $i>$i.sql) ; done

j'ai pu génèrer mes 352 fichiers avec du code sql pour migrer ma base sur PostgreSql qui se trouve être le plus beau des SGBDR qui soit (surtout avec son extension géographique Postgis)


Traiter des valeurs avec perl dans un log
2005-07-11T15:04:00.000+02:00
Il m'arrive régulièrement d'automatiser des tâches avec des scripts en perl ou en bash. Typiquement voici un exemple de petit script qui va effectuer une syncronisation avec rsync et garder une trace dans un log de tout problèmes éventuel.

#!/usr/bin/bash
RSYNC="/usr/bin/rsync"
OPTS="-va  --stats --partial --partial-dir=tmp --safe-links  --no-implied-dirs --timeout=300 --exclude-from=rsync_excluded.txt"
SRC1="rsync://myserver.mydomain.org/mydirectory/"
DST1="mylocal_directory/"
echo "Started update at" `date` >> $0.log 2>&1
logger -t rsync "re-rsyncing witm my remote rsync directory"
${RSYNC} ${OPTS} ${SRC1} ${DST1} >> $0.log 2>&1
echo "End: "`date` >> $0.log 2>&1 

Okay, maintenant après quelque mois d'exploitation vous vous retrouverez avec un fichier contenant beaucoup d'informations. Si vous voulez récupérez une partie, et seulement une partie un petit bout de programme perl peut vous être plus utile qu'un simple grep. Dans mon cas j'avais au début de chaque session de rsync j'avais ma ligne avec la date du jour du style :

Started update at Mon Jan 21 08:16:58 2005

puis quelque lignes plus bas, le nombre de lignes étant variable d'un jour à l'autre, je me retrouve avec une ligne qui résume les transferts qqch du style :

sent 20657 bytes  received 72055964 bytes  103931.68 bytes/sec

Ce que je voulais obtenir c'est une liste avec la date du transfert, suivi du nbre de bytes reçus, puis le taux de transfert et à la fin le numéro de la ligne du log pour un contrôle si nécessaire :

2005-Jan-21   72'055'964 bytes received 103'931.68 bytes/sec [       407]

Et voici le copde correspondant :


#!/usr/bin/perl -w
use strict;
my $CurentDate;
my @DateParts;
my $TransferSpeed;
my $BytesSend;
my $BytesReceived;
while (<>) {
    if (m/Started update at (.*)/gi) {
        @DateParts = split(/ /,$1);
        $CurentDate = sprintf("%04s-%03s-%02s",$DateParts[4],$DateParts[1],$DateParts[2]);
    }
    if (m/\D+(\d+) bytes  received (\d+) bytes  ([0-9.]+) bytes\/sec/gi) {
        $BytesSend = PrintStringWithThousandSeparator($1);
        $BytesReceived = PrintStringWithThousandSeparator($2); # bytes /1024 = Kbytes
        $TransferSpeed = PrintStringWithThousandSeparator($3);
        printf("%12s\t%15s bytes received\t%10s bytes/sec\t[%10s]\n", $CurentDate,$BytesReceived,$TransferSpeed,$.);
    }
}

sub PrintStringWithThousandSeparator
{
    my $Newtext = $_[0];
    $Newtext =~ s/(?<=\d)(?=(?:\d\d\d)+(?!\d))/'/g;
    return $Newtext;
}



Obtenir la liste des paquetages "ebuilds" sous Gentoo
2005-06-29T16:09:00.000+02:00

Quand on utilise la distribution Gentoo sur plusieurs serveurs comme c'est le cas en ce qui me concerne, il peut être intéressant de retrouver rapidement la liste des paquetages wue l'on emerger par le passé.
Bien sur certain dirons qu'il suffit de regarder le contenu du "world" et faire un :
less /var/lib/portage/world
pour voir la liste des paquetages installé expressement sur cette machine...

Sauf que bien souvent on aimerait bien avoir un peu plus d'informations, c'est pour cela que j'utilise les outils du paquetage gentoolkit notamment l'utilitaire qpkg qui permet d'obtenir des informations sur un paquetages précis. 

Donc vous pouvez installer le paquetage gentoolkit avec un :
emerge -v gentoolkit
puis ensuite vous puvez voir tout ce qui a été installé en lançant un :
equery f gentoolkit
ce qui va vous lister les fichiers contenus dans le paquetage en question.
Comme le but de toute l'opération était de pouvoir ressortir plus d'onformations sur les paquetages présents dans votre machine (world file), on va utiliser notre langage de choc pour résoudre ce petit problème et afficher pour chaque paquetage le nom et la version, le site web et la description du paquetage.Ci après le script perl que vous pouvez stocker dans votre $home/bin pour des appels ultérieurs simplifié.

#!/usr/bin/perl
@packages=qx(sort /var/lib/portage/world);
foreach $package (@packages) {
 # qpkg comes from gentoolkit
 $info = qx(qpkg -i -I -v -nc $package); 
 $info =~ /(.*)\n([^\[]+)(.*)\n(.*)/;
 print "\n[$1] $2\nWEB :\t$3\n$4\n";
}

Le code en question ne fait rien de bien extraordinaire, il récupére le contenu trié du fichier world dans un tableau @packages, puis il parcoure ce tableau et pour chaque élément utilise la commande qpkg pour récupérer les infos, une regular expression plus loin on affiche à notre convenance les 3 éléments qui nous intéressent comme bon nous semble.


Dans la jungle des blogs !
2005-03-02T17:23:00.000+01:00


Waouhh, il est très difficile de comprendre la logique de google, j'en étais à ma Xième tentative d'enregistrement de mon blog sur google quand j'ai commencé à sérieusement me demander si le moteur d'indexation de «Gogol» n'était pas un peu inspiré de la logique floue voire du mouvement brownien...
En effet il semble parfois impossible de faire fonctionner ce maudit moteur pour qu'il indexe mon blog. 
Damned ! 
Je commence sérieusement à douter de l'engin, il faut que je me veille avant de basculer dans le côté obscur de la Force...

Du coup j'ai voulu vérifier au niveau des autres blogs comment cela se passe, et dans mes pérégrinations je suis tombé sur blogwise que je trouve assez cool. L'idée d'indexer et de classer des blogs uniquement me semble être une tâche titanesque, il y a quasiment 40'000 blogs sur ce site, mais comment assuré un minimum de pertinence.


Et dans le genre débile on a les plus de 6'176'200 blogs annoncés comme indexés sur blo.gs pour seulement 10'863 utilisateurs ... Vous avez une calculatrice ? non ?
Et bien cela fait une moyenne de 569 blogs par utilisateurs 
Totalement crétin, et le site est à vendre ? Cool ! bon débaras.


Perl : Comment afficher des "gros" chiffres avec un séparateur de milliers ?
2005-02-23T11:47:00.000+01:00
Hummm quand il s'agit de lire des très grand chifres à l'écran, il n'est pas très pratique de devoir compter à la main sur l'écran les groupes de milliers...
Et donc un séprateur de millier prend tout son sens :
1'456'987 est plus lisible que 1456987 !
c'est ainsi que Perl devient votre petit à petit votre alié quotidien.
Car à l'aide des expressions régulières et de l'opérateur de substitution il est très facile d'obtenir l'effet escompté en 3 lignes !
En éxécutant le code ci-dessous on obtient .
My personal fortune is 1'234'567 US$

#!/usr/bin/perl -w
use strict;
my $test = "My personal fortune is 1234567 US\$";
print PrintStringWithThousandSeparator($test);

sub PrintStringWithThousandSeparator
{
    my $Newtext = $_[0];
    $Newtext =~ s/(?<=\d)(?=(?:\d\d\d)+(?!\d))/'/g;
    return $Newtext;
}



ReverseProxy avec Apache
2005-02-17T16:24:00.000+01:00
Quand on veut permettre à un utilisateur lambda d'accèder sur un reseau public d'accèder à des informations sur un site web 192.168.50.120 situé dans un réseau privé, deux possibiliés s'offre à nous:
   On peut prendre  un serveur Linux  et avec deux cartes réseau :
          une côté publique - eth0[10.163.200.9],
       une côté privé       - eth1[192.168.50 77])
     
 l'utiliser comme un Firewall avec les iptables et une règle DNAT pour ouvrir un port sur l'interface publique du firewall qui redirigera les demandes sur le serveur web du réseau privé exemple:
          echo 1> /proc/sys/net/ipv4/ip_forward
       iptables -t nat -A PREROUTING -i eth0 -p tcp -d 10.163.200.9  --dport 80 -j DNAT --to-destination 192.168.50.120
     
     
  
   Ou on peut configurer un reverse proxy avec Apache ou Squid sur le Firewall
 
 Dans le deuxieme cas on a plus de souplesse car on peut intervenir sur chaque url par exemple avec mod_rewite
mais tout d'abord la config nécessaire dans le fichier config apache


<IfModule mod_proxy.c>
    ProxyRequests Off
    <Proxy *>
        Order deny,allow
        Deny from all
       Allow from 10.163.100.44
    </Proxy>
 ProxyPass / http://192.168.50.90/
 ProxyPassReverse / http://192.168.50.90/
 ProxyPreserveHost On
</IfModule>

Ne pas oublier d'utiliser HTTP 1.1 sur le navigateur...


Du code portable Win32-Linux
2005-02-14T16:58:00.000+01:00
Pour obtenir très rapidement du code utilisant du graphisme et fonctionnant aussi bien sous Linux que sous Microsoft, je dois dire que le couple OpenGL/GLUT reste des valeurs sures à mes yeux.
Ainsi le code ci-après fonctionne et se compile pil-poil sous win32 et sous Linux:
/* My First GLUT chtit bout de code
pour compiler sous linux : gcc -o cgglut01 cgglut01.cpp -lglut -lX11 -lGL -lGLU
*/
#include 
void display(void)
{
   glClear (GL_COLOR_BUFFER_BIT);
// draw blue rectangle with corners at
// (0.25, 0.25, 0.0) and (0.75, 0.75, 0.0) 
   glColor3f (0.0, 0.0, 1.0);
   glBegin(GL_POLYGON);
      glVertex3f (0.25, 0.25, 0.0);
      glVertex3f (0.75, 0.25, 0.0);
      glVertex3f (0.75, 0.75, 0.0);
      glVertex3f (0.25, 0.75, 0.0);
   glEnd();

// start processing buffered OpenGL routines 
   glFlush ();
}

void init (void)
{
   glClearColor (0.0, 0.0, 0.0, 0.0);// select clearing color background
/* initialize viewing values  */
   glMatrixMode(GL_PROJECTION);
   glLoadIdentity();
   glOrtho(0.0, 1.0, 0.0, 1.0, -1.0, 1.0);
}

int main(int argc, char** argv)
{
   glutInit(&argc, argv);
   //Declare initial window display mode (single buffer and RGBA)
   glutInitDisplayMode (GLUT_SINGLE | GLUT_RGBA);
   glutInitWindowSize (500 , 500);
   glutInitWindowPosition (100, 100);
   glutCreateWindow ("My First GLUT Window");
   init ();
   glutDisplayFunc(display); //Register callback function to display graphics.
   glutMainLoop(); //Enter main loop and process events.
   return 0;   /* ANSI C requires main to return int. */
}
Et sous Mikro$oft le mieux c'est d'utiliser l'excellent dev-cpp
et d'utiliser le package glut disponible sur http://devpaks.org/
ou directement ici


Apache - Action : la magie de l'interception
2004-11-02T18:52:00.000+01:00
En utilisant Apache et avec des clients IE on tombe parfois sur des abérations à la MiKro$oft!
Par exemple ce fichier pdf qui plantait IE alors qu'il s'ouvre parfaitement bien dans 

Firefox  le même genre de mésaventure pouvant se produire avec des fichiers tiff, et qui n'a pas connu la joie du rennomage d'un fichier CGI sur un serveur web de Programme.pl ou Programme.cgi en Programme.txt afin que IE veuille bien ne pas tenter le download mais se contenter d'afficher le texte retourné....
Bien souvent tout cela est souvent du à la méthode pour le moins peu ortodoxe de Microsoft de traiter les headers Content-type (voici une excelente page explique la saga IE sur ce point...)
Quand je dit traiter comprenez ignorer , ainsi sur MSDN Microsoft nous explique que :
 
..If the server-provided MIME type is either known or ambiguous, the buffer is scanned in an attempt to verify or obtain a MIME type from the actual content. If a positive match is found (one of the hard-coded tests succeeded), this MIME type is immediately returned as the final determination, overriding the server-provided MIME type ...

Ben voyons ! normal quoi ! On va quand même pas  faire confiance aux webmasters qui configure un content-type correct, da'illeurs il n'y a que chez Kro$oft qu'on sait ce qui est correct et bon pour le gentil utilisateur de IE. Accessoirement Mikro$oft recommande de ne pas utiliser Adobe PDF comme ça point de soucis...

Enfin bref, il se trouve que tout ceci est du vécu. Et en recherchant un moyen de contourner le problème (comme d'hab)  j'ai constaté qu'avec  un simple php de trois ligne et Apache on pouvait faire des miracles .
 en utilisant ce code php :
   
       
 
      1 < ?php
      2 // on veut sortir du PDF
      3 header('Content-type:  application/pdf');
      4
      5 // On veut appeller le fichier test.pdf  et FORCER le download
      6 header('Content-Disposition: attachment;  filename="test.pdf"');
      7
      8 // The PDF d'origine est dans  original.pdf
      9 readfile('original.pdf');
     10  ?>

 
 On peut à l'aise blaise forcer l'ouverture de la case de dialogue Ouvrir/enregistrer dans le fameux IE dont il est question, ce qui bien souvent aide déj à pas mal. Le gag c'est que sans la ligne 6 il se trouve que dans mon cas le fichier passait aussi comme une fleur, alors qu'en ouvrant le fichier d'origine sans passer par du php c'était «BigBadaBoum�»�.
HuHummm ...  Il faudrait un moyen de dire a Apache :
Si on te demande un fichier de type .xxx alors passe donc par la case de l'oncle Tom qui va te servir ce fichier à la sauce du Sud...

Et bien il se trouve que cela existe dans la config apache du répertoire au vous voulez faire ce test il faut que vous ajoutier :

  AddHandler   cgil-pdf .xxx
  Action cgil-pdf "/temp/cgpdf.php?pdffile="

puis il faut créer votre fichier cgpdf.php avec qqchose du style de :

      1 < ?php
      2 header('Content-type: application/pdf');
      3 $pdffile=$_SERVER["DOCUMENT_ROOT"] . $_REQUEST["pdffile"];
      4 readfile($pdffile);
      5 ?>


Et voila !!!
en cliquant sur un fichier pdf qui s'appelle MonBofichier.pdf.xxx on le voit qui s'affiche sous nos yeux émerveillés.
et le gag c'est qu'avec la ligne :

  AddHandler   cgil-pdf .pdf

On traite le pdf avant de le balancer au IE récalcitrant

C'est Bô Apache 



Gentoo sur un AMD64  Opteron
2004-11-02T18:45:00.000+01:00
Au moment de l'installation souvent la détection de matériel n'est pas effectuée aussi est-il nécessaire de faire un petit :

modprobe e100 --> pour une carte réseau intel

modprobe  ide_disk   --> pour un disque ide

sata_sil et libata pour un disque SATA etc...




Installer Gentoo avec un clavier  Suisse romand
2004-11-02T18:34:00.000+01:00
Quand on se lance dans une installation d'une Gentoo (en stage1 bien entendu...) il faut utiliser un petit



loadkeys fr_CH



pour pouvoir utiliser pleinement les claviers de nos contrées




Un reverse proxy pour que ton web soit plus sur !
2004-07-16T16:30:00.000+02:00
Avec un reverse proxy ton serveur web peut répondre plus vite en cachant les réponses, en plus il peut rediriger sur un ou plusieurs serveurs différents des requêtes web.

 Typiquement on peut utiliser Apache avec le mod_proxy 

 Mais il faut aussi des projets tels que pound 

 Ou encore mod_security

 Il y à même squid qui a été utilisé comme reverse proxy

 




Apache Virtual host
2004-07-16T14:20:00.000+02:00
On désire parfois créer sur le même serveur web plusieurs sites différents. En utilisant dns on modifie notre config comme suit :



cat /etc/bind/db.labo.org

$TTL    1H

@       IN      SOA     ns1.labo.org. root.labo.org. (

                     2004071801         ; Serial

                             1H         ; Refresh

                             1H         ; Retry

                             1H         ; Expire

                             1D )       ; Negative Cache TTL

;

@       IN      NS      ns1.labo.org.

@       IN      NS      ns2.labo.org.



@       IN      MX 10   ns1.labo.org.



ns1     IN      A       10.0.0.4

box3    IN      A       10.0.0.3

fw1     IN      A       10.0.0.1

ns2     IN      A       10.0.0.2

box4    IN      A       10.0.0.19





fw2     IN      CNAME   ns2

red     IN      CNAME   box3

blue    IN      CNAME   box4



ceci va nous permettre d'avoir des alias qui pointent sur notre serveur, maintenant il faut pouvoir les détecter dans apache. On traite cela dans le fichier /etc/apache/httpd.conf dans lequel on va rajouter une section virtualhost comme suit:



NameVirtualHost red

<virtualhost _default="">

    ServerAdmin webmaster@red.labo.org

    DocumentRoot /var/www2/

    ServerName red

    ErrorLog /var/log/apache/redserver-error.log

    CustomLog /var/log/apache/redserver-access.log common

</virtualhost>>



Et voila le travail !

Vous pouvez maintenant accéder aux deux contenus avec 

http://box3/ pour le contenu de /var/www/

http://red/ pour le contenu de /var/www2/


messagerie traitement avec procmail
2004-07-15T14:26:00.000+02:00
Avec procmail on peut faire des traitements automatiques, ainis en ajoutant dans le home directory un fichier .forward qui va juste "pointer" sur procmail



cat /home/cgil/.forward

"|IFS=' '&&exec /usr/bin/procmail -f-||exit 75 cgil"



et en créant ensuite un fichier .procmailrc qui peut lui, comme ici archiver des mail et faire une réponse automatique



cat /home/cgil/.procmailrc

:0c:

$HOME/mail.backup



:0

* !^X-Loop: cgil@labo.org

| (formail -rk -A "X-Loop: cgil@labo.org" -A "Precedence: auto"; echo "Hello Thank you for your mail"; echo "I will answer as soon as possible"; ) | $SENDMAIL -t -oi






La Messagerie, POP3 sous Linux
2004-07-15T11:32:00.000+02:00
Tout comme pour SMTP il y a une quantité impressionante de variantes de serveurs POP3 et IMAP a disposition pour Linux. Il faut prendre garde au fait que POP3 transmet le user et le mot de passe en clair (dsnif et ngrep sont de redoutables ennemis à ce niveau...)

Citons les serveurs et outils tel que cyrus, teapot, fetchmail etc..

Le sujet de la messagerie sous Linux est manifestement un vaste sujet.


La messagerie SMTP sous Linux
2004-07-15T09:43:00.000+02:00
Il existe plusieurs variantes de programmes de messagerie, du plus ancien et plus compliqué comme sendmail au plus "simple" comme exim en passant par postfix et qmail.

Avec mutt on a un cllient en mode console  pour les messages.

En fait il faut installer et configurer un de ces programmes dans mon cas j'utilise postfix sous debian. Il faut que dns soit configuré et opérationnel ! Il faut typiquement ajouter l'entrée MX :


cat /etc/bind/db.labo.org

$TTL    1H

@       IN      SOA     ns1.labo.org. root.labo.org. (

                     2004071504         ; Serial

                             1H         ; Refresh

                             1H         ; Retry

                             1H         ; Expire

                             1D )       ; Negative Cache TTL

;

@       IN      NS      ns1.labo.org.

@       IN      NS      ns2.labo.org.



@       IN      MX 10   ns1.labo.org.



ns1     IN      A       10.0.0.4

box3    IN      A       10.0.0.3

fw1     IN      A       10.0.0.1

ns2     IN      A       10.0.0.2





fw2     IN      CNAME   ns2

Et bien sur il faut la partie reverse dns
cat /etc/bind/db.10.in-addr.arpa

$TTL    1H

@       IN      SOA     ns1.labo.org. root.labo.org. (

                     2004071403         ; Serial

                             1H         ; Refresh

                             1H         ; Retry

                             1H         ; Expire

                             1D )       ; Negative Cache TTL



@       IN      NS      ns1.labo.org.

@       IN      NS      ns2.labo.org.

@       IN      MX 10   ns1.labo.org.



4.0.0.10.in-addr.arpa.  IN      PTR     ns1.labo.org.

3.0.0.10.in-addr.arpa.  IN      PTR     box3.labo.org.

1.0.0.10.in-addr.arpa.  IN      PTR     fw1.labo.org.

2.0.0.10.in-addr.arpa.  IN      PTR     ns2.labo.org.





On peut vérifier que tout est okay avecun chtit dig


dig labo.org mx



; <<>> DiG 9.2.4rc5 <<>> labo.org mx

;; global options:  printcmd

;; Got answer:

;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 52731

;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITIONAL: 2



;; QUESTION SECTION:

;labo.org.                      IN      MX



;; ANSWER SECTION:

labo.org.               3600    IN      MX      10 ns1.labo.org.



;; AUTHORITY SECTION:

labo.org.               3600    IN      NS      ns1.labo.org.

labo.org.               3600    IN      NS      ns2.labo.org.



;; ADDITIONAL SECTION:

ns1.labo.org.           3600    IN      A       10.0.0.4

ns2.labo.org.           3600    IN      A       10.0.0.2



;; Query time: 2 msec

;; SERVER: 10.0.0.4#53(10.0.0.4)

;; WHEN: Thu Jul 15 09:25:36 2004

;; MSG SIZE  rcvd: 110





Et ensuite on peut tester avec un simple telnet


telnet ns1 25

Trying 10.0.0.4...

Connected to ns1.labo.org.

Escape character is '^]'.

220 localhost ESMTP Postfix (Debian/GNU)

ehlo

501 Syntax: EHLO hostname

ehlo tutu.org

250-localhost

250-PIPELINING

250-SIZE 10240000

250-VRFY

250-ETRN

250 8BITMIME

mail from: 

250 Ok

rcpt to: 

554 : Relay access denied

rcpt to: 

250 Ok

data

354 End data with .

TO : root.labo.org

FROM : toto@tutu.org

SUBJECT : testing

hello from toto...







il faut absolument vérifier comme ci-dessus que votre serveur ne permet pas de faire du mail relay !



Il faut "vraiment" lire la doc et effectuer la configuration par exemple dans /etc/postfix/mail.cf il faut rajouter votre propre réseau dans la ligne "mynetworks = 127.0.0.0/8,10.0.0.0/24" afin que vous puissiez envoyer des email depuis les postes du réseau.

Un bon firewall devant entre votre serveur et internet prend tout son sens

et si vous voyez plein de tentatives de connections sur des ports bizares vérifier si

le port en question correspond à un troyan connu sur une des listes existantes comme celle chez proxy blind

Comme déjà dit il existe nombre de client tel que mutt en mode console ou sylpheed-claws et evolution en mode graphique


DHCP une adresse IP automatique
2004-07-14T15:39:00.000+02:00
Pour que les machines de notre petit réseau obtiennent une adr ip automatiquement on va utiliser du dhcp donc on installe dhcpd3 serveur et on configure dans le fichier

/etc/dhcp3/dhcpd.conf


#

# Sample configuration file for ISC dhcpd for Debian

#

# $Id: dhcpd.conf,v 1.1.1.1 2002/05/21 00:07:44 peloy Exp $

#

# option definitions common to all supported networks...

option domain-name "labo.org";

option domain-name-servers ns1.labo.org, ns2.labo.org;

default-lease-time 600;

max-lease-time 7200;



# If this DHCP server is the official DHCP server for the local

# network, the authoritative directive should be uncommented.

#authoritative;



# Use this to send dhcp log messages to a different log file (you also

# have to hack syslog.conf to complete the redirection).

log-facility local7;



# No service will be given on this subnet, but declaring it helps the

# DHCP server to understand the network topology.



# This is a very basic subnet declaration.

subnet 10.0.0.0 netmask 255.255.255.0 {

  range 10.0.0.10 10.0.0.20;

  option routers fw1.labo.org;

}




DNS - exemples de fichiers de config réseau local
2004-07-14T14:28:00.000+02:00
l'idée c'est qu'on veut configurer un chtit caching name server sur un réseau local.

Donc on commence par installer bind9,puis en avant la configuration

Dans le fichier named.conf


include "/etc/bind/named.conf.options";

// prime the server with knowledge of the root servers

zone "." {

        type hint;

        file "/etc/bind/db.root";

};

// be authoritative for the localhost forward and reverse zones, and for

// broadcast zones as per RFC 1912

zone "localhost" {

        type master;

        file "/etc/bind/db.local";

};

zone "127.in-addr.arpa" {

        type master;

        file "/etc/bind/db.127";

};

zone "0.in-addr.arpa" {

        type master;

        file "/etc/bind/db.0";

};

zone "255.in-addr.arpa" {

        type master;

        file "/etc/bind/db.255";

};

zone "com" { type delegation-only; };

zone "net" { type delegation-only; };



include "/etc/bind/named.conf.local";



puis à la fin de named.conf est inclu le contenu de named.conf.local


zone "labo.org" {

        type master;

        file "/etc/bind/db.labo.org";

};



zone "10.in-addr.arpa" {

        type master;

        file "/etc/bind/db.10.in-addr.arpa";

};



maintenant db.labo.org


$TTL    1H

@       IN      SOA     ns1.labo.org. root.labo.org. (

                     2004071402         ; Serial

                             1H         ; Refresh

                             1H         ; Retry

                             1H         ; Expire

                             1D )       ; Negative Cache TTL

;

@       IN      NS      ns1.labo.org.



ns1     IN      A       10.0.0.4

box3    IN      A       10.0.0.3

fw1     IN      A       10.0.0.1

fw2     IN      A       10.0.0.2



et dans db.10.in-addr.arpa


$TTL    1H

@       IN      SOA     ns1.labo.org. root.labo.org. (

                     2004071402         ; Serial

                             1H         ; Refresh

                             1H         ; Retry

                             1H         ; Expire

                             1D )       ; Negative Cache TTL



@       IN      NS      ns1.labo.org.



4.0.0.10.in-addr.arpa.  IN      PTR     ns1.labo.org.

3.0.0.10.in-addr.arpa.  IN      PTR     box3.labo.org.

1.0.0.10.in-addr.arpa.  IN      PTR     fw1.labo.org.

2.0.0.10.in-addr.arpa.  IN      PTR     fw2.labo.org.



On peut vérifier la syntaxe avec l'outil dlint

et bien sur penser a redemarrer bind9 avec

 /etc/init.d/bind9 restart

dans les postes clients il faut bien sur penser a modifier le fichier /etc/resolv.conf



search labo.org

nameserver 10.0.0.4



Et finalement il est intéressant de sécuriser un chouia notre dns en modifiant named.conf.options

cat /etc/bind/named.conf.options

options {

        directory "/var/cache/bind";



        // If there is a firewall between you and nameservers you want

        // to talk to, you might need to uncomment the query-source

        // directive below.  Previous versions of BIND always asked

        // questions using port 53, but BIND 8.1 and later use an unprivileged

        // port by default.



        // query-source address * port 53;



        // If your ISP provided one or more IP addresses for stable

        // nameservers, you probably want to use them as forwarders.

        // Uncomment the following block, and insert the addresses replacing

        // the all-0's placeholder.







forwarders {

                192.168.7.254;

        };



        // forwarders {

        //      0.0.0.0;

        // };



        auth-nxdomain no;    # conform to RFC1035

        Version "None your business";

        Allow-query     { 10.0.0.0/24; };

        Allow-transfer  { 10.0.0.2;

                          10.0.0.4;

                        };



};






Des animations flash sous Linux
2004-07-14T11:32:00.000+02:00
Yeahhh ! Flash 7 est disponible sous Linux

Pour l'installer il faut essentiellement copier les 2 fichiers contenus dans l'archive de Macromedia dans le répertoires des plugins de votre navigateur:



tar xfvz install_flash_player_7_linux.tar.gz

cd install_flash_player_7_linux/

cp flashplayer.xpt /usr/lib/mozilla-firefox/plugins/

cp libflashplayer.so /usr/lib/mozilla-firefox/plugins/



Pour connaitre le répertoire des plugins j'ai fait au préalable :

dpkg -L mozilla-firefox |grep plugins



Finalement pour tester si tout est okay il faut absolument passer sur le site de yeti pour tester online vos aptitudes au lancement de tux




IPTABLES - modifs d'un script firewall de base pour distcc
2004-07-14T11:23:00.000+02:00
si on veut utiliser la puissance de calcul d'un firewall pour compiler avec distcc on peut modifier comme suit notre petit script :



#!/bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward



DMZ=10.0.0.0/24

IPT='/sbin/iptables'



$IPT -F

$IPT -F -t nat



$IPT -P INPUT DROP



$IPT -P FORWARD DROP



# accept localhost internal trafic

$IPT -A INPUT -i lo -s localhost -j ACCEPT



#$IPT -P INPUT ACCEPT

#$IPT -P FORWARD ACCEPT



# accept ssh from dmz

$IPT -A INPUT -s $DMZ -i eth1 -p tcp --dport 22 -j ACCEPT



$IPT -A FORWARD -s $DMZ -i eth1 -p udp --dport 53 -j ACCEPT

$IPT -A FORWARD -d $DMZ -i eth0 -p udp --sport 53 -j ACCEPT

$IPT -A FORWARD -s $DMZ -i eth1 -p tcp --dport 80 -j ACCEPT

$IPT -A FORWARD -d $DMZ -i eth0 -p tcp --sport 80 -j ACCEPT

$IPT -A FORWARD -s $DMZ -i eth1 -p tcp --dport 9999 -j ACCEPT

$IPT -A FORWARD -d $DMZ -i eth0 -p tcp --sport 9999 -j ACCEPT

#allow all trafic for our network to go the internet

$IPT -t nat -A POSTROUTING -s $DMZ -j MASQUERADE



# on laisse venir de l'intérieur des demandes distcc

$IPT -A INPUT -s $DMZ -i eth1 -p tcp --dport 3632 -j ACCEPT

$IPT -A INPUT -i eth0 -p udp --sport 53 -j ACCEPT

$IPT -A INPUT -i eth0 -p tcp --sport 9999 -j ACCEPT

$IPT -A INPUT -i eth0 -p tcp --sport 80 -j ACCEPT



$IPT -A INPUT -j LOG --log-prefix  "##DROPPED INPUT -- "

$IPT -A FORWARD -j LOG --log-prefix "##DROPPED FORWARD -- "

#show the actual iptables rules

iptables-save




Compilation en parallèle avec distcc
2004-07-14T11:14:00.000+02:00
Grâce à distcc on peut méchamment augmenter la vitesse de compilation en utilisant des serveurs faisant le travail de compilation pour nous.

On a des infos de configs sur debian sur le site de myrddin.

il faut bien sur installer distcc



apt-get install distcc

apt-get install distccmon-gnome



Il faut veiller à installer la même version du gcc sur toutes les bécannes.

On peut sur le client utiliser des subterfuges pour forcer l'usage de distcc

avec un path bidouillé



mkdir -p /usr/local/distcc/bin

cd /usr/local/distcc/bin

ln -s /usr/bin/distcc c++ 

ln -s /usr/bin/distcc cc

ln -s /usr/bin/distcc g++

ln -s /usr/bin/distcc gcc



et quelques variables d'environnment modifiée dans un .bashrc



CONCURRENCY_LEVEL=40

DISTCC_HOSTS="localhost tokra sokar alkesh osiris"

PATH="/usr/local/distcc/bin:${PATH}"

export CONCURRENCY_LEVEL DISTCC_HOSTS PATH




IPTABLES - un exemple de script firewall de base
2004-07-13T16:54:00.000+02:00
ce bout de script iptables, permet de faire un SNAT, et laisse sortir du trafic http (port 80) et dns (53) en sortie vers internet et en entrée



Les deux dernières règles permettent de voir ce qui ne va pas en allant voir le syslog avec tail -f /var/log/syslog





#!/bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward



DMZ=10.0.0.0/24

IPT='/sbin/iptables'



$IPT -F

$IPT -F -t nat



$IPT -P INPUT DROP



$IPT -P FORWARD DROP



# accept localhost internal trafic

$IPT -A INPUT -i lo -s localhost -j ACCEPT



#$IPT -P INPUT ACCEPT

#$IPT -P FORWARD ACCEPT



# accept ssh from dmz

$IPT -A INPUT -s $DMZ -i eth1 -p tcp --dport 22 -j ACCEPT



$IPT -A FORWARD -s $DMZ -i eth1 -p udp --dport 53 -j ACCEPT

$IPT -A FORWARD -d $DMZ -i eth0 -p udp --sport 53 -j ACCEPT

$IPT -A FORWARD -s $DMZ -i eth1 -p tcp --dport 80 -j ACCEPT

$IPT -A FORWARD -d $DMZ -i eth0 -p tcp --sport 80 -j ACCEPT



#allow all trafic for our network to go the internet

$IPT -t nat -A POSTROUTING -s $DMZ -j MASQUERADE



$IPT -A INPUT -j LOG --log-prefix  "##DROPPED INPUT -- "

$IPT -A FORWARD -j LOG --log-prefix "##DROPPED FORWARD -- "






IPTABLES - On veut laisser sortir les adresses internes sur internet
2004-07-13T15:34:00.000+02:00
Deux cas de figures, soit on connait notre adr ip publique de façon sure et définitive, par exemple si on a un réseau de type classe C interne 10.0.0.0/24 

et qu'on veut sur la machine qui a deux pates balancer 





(INTERNAL NETWORK) ----->[FIREWALL LINUX BOX]------->(THE INTERNET)

___10.0.0.2/24________[10.0.0.1______192.168.7.101]____All Internet IP





iptables -t nat -A POSTROUTING -s 10.0.0.0/24 -j SNAT --to 192.168.7.101





sinon on peut aussi  utiliser du masquerading



iptables -t nat -A POSTROUTING -s 10.0.0.0/24 -j MASQUERADE




Créer un lien VPN avec PPP sur SSH
2004-07-13T10:36:00.000+02:00
En utilisant du ppp à travers du ssh on arrive a relier deux réseaux !

En fait il faut au préalable autoriser le login automatique avec ssh 

donc si on a une box1 avec un acces root via ssh sur un box2 ailleurs qui est lui même sur un réseau 10.qqqchose on aura





Box1_______________________==SSH==>__________________Box2(192.168.7.101)

PPP SERVER____________________________________________PPP CLIENT

10.0.0.1  ____________________________________________  10.0.0.2

root du box1 doit pouvoir ssh sur box2 

sans rentrer mot de passe



il faut modifier /etc/ppp/pap-secrets sur serveur

#user host password IP

toto  * "pw123" *

et sur client

#user host password

toto  * pw123



ensuite on peut ajouter toto dans le fichier 

/etc/ppp/options

...

name toto

...



depuis box1 en tant que root on fait un ssh-keygen -t dsa  pour générer la clé privées et publique de root sur box1.

On copie cette clé sur la machine destination box2

scp  /root/.ssh/id_dsa.pub 192.168.7.101:.ssh/authorized_keys

ceci va permettre à root de faire du ssh depuis box1 sur box2 sans entrer de mot de passe (ce qui est sympatique vous en conviendrez)



Ensuite pour créer la liaison ppp depuis box1 on entre :

pppd updetach noauth passive ipparam vpn 10.0.0.1:10.0.0.2 pty "ssh 192.168.7.101 -lroot -o Batchmode=yes pppd nodetach notty"



et voila on a une nouvelle addr ip sur box1 10.0.0.1 sur interface ppp0

et sur box2 10.0.0.2 toujours sur ppp0

on peut pinguer box2 sur cette adr, mais le mieux c'est de créer sur box1 une route du style :

route add -net 10.0.0.0 netmask 255.255.255.224 gw 192.168.7.101


Comment créer un rescue floppy disk
2004-07-09T14:07:00.000+02:00
Premièrement compiler un noyau minimaliste avec support ramdisk

Petite astuce : on peut modifier le makefile et utiliser un Os au lieu du O2

ceci va indiquer à gcc de compiler en optimisant sur une taille minimale



Créer un Filesystem on va créer un répertoire rootfs puis on aller dedans:



mkdir rootfs

cd rootfs

mkdir dev

mkdir proc

mkdir etc

mkdir sbin

mkdir bin

mkdir lib

mkdir mnt

mkdir usr

cp -dpR /dev/fd[01]* dev

cp -dpR /dev/tty[0-6] dev

cp -dpR /dev/console dev

cp -dpR /dev/kmem dev

cp -dpR /dev/mem dev

cp -dpR /dev/null dev

cp -dpR /dev/ram0 dev

ls -RAl rootfs/





drwxr-xr-x    2 root     root         4096 Jul  9 15:15 bin

drwxr-xr-x    2 root     root         4096 Jul  9 12:05 dev

drwxr-xr-x    2 root     root         4096 Jul  9 15:12 etc

drwxr-xr-x    2 root     root         4096 Jul  9 10:58 lib

drwxr-xr-x    2 root     root         4096 Jul  9 10:58 mnt

drwxr-xr-x    2 root     root         4096 Jul  9 10:58 proc

drwxr-xr-x    2 root     root         4096 Jul  9 12:47 sbin

drwxr-xr-x    2 root     root         4096 Jul  9 10:58 usr

rootfs/bin:

lrwxr-xr-x    1 root     root            7 Jul  9 15:15 bash -> busybox

-rwxr-xr-x    1 root     root       944856 Jul  9 15:08 busybox

lrwxr-xr-x    1 root     root            7 Jul  9 15:15 sh -> busybox

rootfs/dev:

crw-------    1 root     tty        5,   1 Jul  9 11:55 console

brw-rw----    1 root     floppy     2,   0 Apr 30 02:28 fd0

crw-r-----    1 root     kmem       1,   2 Jul  5 10:53 kmem

crw-r-----    1 root     kmem       1,   1 Jul  5 10:53 mem

crw-rw-rw-    1 root     root       1,   3 Jul  5 10:53 null

brw-rw----    1 root     disk       1,   0 Jul  5 10:53 ram0

crw-------    1 root     root       4,   0 Jul  5 10:53 tty0

crw-------    1 root     root       4,   1 Jul  9 11:55 tty1

crw-------    1 root     root       4,   2 Jul  9 11:55 tty2

crw-------    1 root     root       4,   3 Jul  9 11:55 tty3

crw-------    1 root     root       4,   4 Jul  9 11:55 tty4

crw-------    1 root     root       4,   5 Jul  9 11:55 tty5

crw-------    1 root     root       4,   6 Jul  7 16:04 tty6

rootfs/etc:

-rw-r--r--    1 root     root          133 Jul  9 12:48 fstab

-rw-r--r--    1 root     root          149 Jul  9 12:48 inittab

-rw-r--r--    1 root     root           35 Jul  9 15:12 passwd

-rwxr-xr-x    1 root     root           44 Jul  9 12:12 rc

rootfs/lib: total 0

rootfs/mnt: total 0

rootfs/proc: total 0

rootfs/sbin: total 0

rootfs/usr: total 0





En fait on utilise comme shell l'excellent busybox compilé en statique, afin qu'il n'y ait aucune dépendance sur des librairies gourmandes en espace.

On doit personnaliser les fichiers dans /etc et les réduire au  strict minimum :



cat rootfs/etc/passwd

root:x:0:0:root:/root:/bin/busibox

cat rootfs/etc/fstab

/dev/ram0       /               ext2    defaults        0       0

/dev/fd0        /               ext2    defaults        0       0

proc            /proc           proc    defaults        0       0

cat rootfs/etc/inittab

# /etc/inittab: init(8) configuration.

id:2:initdefault:

si::sysinit:/etc/rc

ca:12345:ctrlaltdel:/sbin/shutdown -t1 -a -r now

1:2345:respawn:/bin/sh

cat rootfs/etc/rc

#!/bin/sh

/bin/mount -av

/bin/hostname box3



Puis il s'agit de préparer notre filesystem



dd if=/dev/zero of=cgramdisk bs=1024 count=2000

mke2fs -m0 -N2000 cgramdisk

mount -o loop cgramdisk /mnt

cp -ar rootfs/* /mnt/

umount /mnt/

gzip -v9 cgramdisk





ensuite il faut transférer le noyau sur floppy :

dd if=/usr/src/linux-2.4.26/arch/i386/boot/bzImage  of=/dev/fd0 bs=1k

On obtient en retour le nbre de bytes transferés

759+1 records in

759+1 records out

777543 bytes transferred in 50.933104 seconds (15266 bytes/sec)

dd if=cgramdisk.gz  of=/dev/fd0 bs=1k seek=765

ca va nous donner



463+1 records in

463+1 records out

474420 bytes transferred in 32.090229 seconds (14784 bytes/sec)



2 puissance 14 + 765 = 17149

rdev -r /dev/fd0  17149

rdev /dev/fd0 /dev/fd0

rdev -R /dev/fd0 0




Un peu de graphismes avec Perl::Tk !
2004-07-08T14:35:00.000+02:00
Avec perl on peut afficher des fenêtres avec le module Tk. En fait dans le Linux Magazine de Mai 2004 il y a un chouette article "Using Perl/Tk for Simple Graphing" avec un exemple de code perl qui permet de récupérer via un pipe le Uptime d'un serveur distant (avec ssh) et de l'afficher dans une jolie fenêtre tk, on peut récupérer le code perl 



#!/usr/bin/perl -w

$ProgramToTrack = $ARGV[0] || "bash";

print "Perl process tracker\n";

print "About to track : $ProgramToTrack\n";

$val = `pidof $ProgramToTrack`;

chomp($val);

#print 'DEBUG - $val =' .  . "\n";

@ListOfPid = split(/ /,$val);

print "Found those entries :\n";

foreach $ThePid  (@ListOfPid){

  $TheStats="";

  open(PSTAT,"/proc/$ThePid/stat");

  while () {

  $TheStats .= $_

  }

  chomp($TheStats);

  print "$ThePid : $TheStats\n";

  close(PSTAT);

};




Que sauvegarder et comment sur Linux
2004-07-08T11:29:00.000+02:00
Et bien oui, la question est de savoir quoi sauver sur un linux en plus des données, si on désire récupérer une machine rapidos :

1. Sauver vos données (base de données, log etc...)

2. Sauver les applications critiques  (code source, binaire, config appli)

3. Le répertoire /etc

4. La liste des paquetages installés dpkg --get-selections>ListePaquetage.txt

   Ensuite on peut remonter une bécanne avec dpkg --set-selections <ListePaquetage.txt

5. Evt le contenu du répertoire /home

6. Evt /usr/src/Linux*/.config pour récupérer les configs

7. Documenter TOUT les infos de configs partitions, iptables rules etc...

8. Et double triple vérifer ce qu'on oublie



A la limite il faut essayer de tester la remontée d'une bécanne avec les éléments

On peut backuper avec tar, rsync, unison



Le tout c'est d'avoir du bon sens et d'essayer d'être exhaustif




Un paquetage façon Linux
2004-07-07T16:40:00.000+02:00
mkdir test-0.1

cd test-0.1

vim test.c



#include 

#include "test.h"

int main()

{

        printf("Test\n");

        return 0;

}



vim test.h



#define TEST



vim configure.ac



AM_INIT_AUTOMAKE(TEST,1.0)



vim Makefile.am



bin_PROGRAMS=test

test_SOURCES=test.c





aclocal

autoscan



la il faut utiliser le contenu du configure.scan généré en lieu et place de notre configure.ac



mv configure.ac bidon

mv configure.scan configure.ac

cat bidon >> configure.ac



vim configure.ac pour remettre tout au bon endroit 



#                                               -*- Autoconf -*-

# Process this file with autoconf to produce a configure script.



AC_PREREQ(2.59)

AC_INIT(FULL-PACKAGE-NAME, VERSION, BUG-REPORT-ADDRESS)

AC_CONFIG_SRCDIR([test.c])

AC_CONFIG_HEADER([config.h])

AM_INIT_AUTOMAKE(TEST,1.0)



# Checks for programs.

AC_PROG_CC



# Checks for libraries.



# Checks for header files.



# Checks for typedefs, structures, and compiler characteristics.



# Checks for library functions.



AC_CONFIG_FILES([Makefile])

AC_OUTPUT









autoconf

touch ./README ./AUTHORS ./ChangeLog ./NEWS

autoheader

automake -a

apt-get install debmake

apt-get install devscripts



ici on rajoute essentiellement les paquetages pour deb-make et debuild

Ensuite on peut lancer la construction du paquetage



deb-make

debuild -uc -us



Et voilà ! si tout est okay on a un beau "cgtest_0.1-1_i386.deb"

dans le répertoire parent et on peut tester son install avec



dpkg -i test_0.1-1_i386.deb



Et maintenant on a installé le paquetage 

whereis cgtest donnera un cgtest: /usr/bin/cgtest

apt-cache show test

donne le même résultat qu'un

more test-0.1/debian/control




Du RAID Logiciel avec Linux
2004-07-07T10:00:00.000+02:00
On va s'entrainer au Raid logiciel sans avoir plusieurs disques...

On crée tout d'abord trois fichiers sur un disque (ou idéalement sur trois disques)

Il faut compiler le noyau avec le support pour le RAID



dd if=/dev/zero of=MyDisk0 bs=1024 count=20000

dd if=/dev/zero of=MyDisk1 bs=1024 count=20000

dd if=/dev/zero of=MyDiskSpare bs=1024 count=20000



Puis on en fait les associe à des loop devices



losetup /dev/loop0 MyDisk0

losetup /dev/loop1 MyDisk1

losetup /dev/loop2 MyDiskSpare



On peut vérifier que c'est okay avec un "echo hello > /dev/loop0" suivit d'un cat /dev/loop0

Ensuite il faut installer les raidtools2 et créer un fichier /etc/raidtab

dans lequel on précise ce que l'on veut faire au niveau du Raid, par exemple un petit Raid1 avec un disque de spare...



box3:/home/cgil/test# cat /etc/raidtab 

raiddev /dev/md0

raid-level      1

nr-raid-disks   2

nr-spare-disks  1

chunk-size      4

persistent-superblock   1

device  /dev/loop0

raid-disk       0

device  /dev/loop1

raid-disk       1

device  /dev/loop2

spare-disk      0



Finalement on peut créer notre device Raid

mkraid /dev/md0

Avec un cat /proc/mdstat on vérifie que tout est okay

Reste plus qu'a y mettre un chtit système de fichier

mke2fs -j /dev/md0

Et Allez  on peut monter le bazard a chausette une fois  !

mount /dev/md0 /mnt/

et aller faire mumuse dedans un bô disque en raid1 !

bon c'est du raid logiciel bidouillé pour pas cher,

personellement je continue à croire que pour un box en prod ça vaut vraiment la peine de mettre quelques sous en plus pour avoir une carte RAID qui fait ça bien comme il faut et rapidos.

Mais bon c'est bien de savoir qu'on peut le faire et comment, après à voir si on utilise de cas en cas.


Un système de fichier dans un fichier...
2004-07-06T15:44:00.000+02:00
On veut parfois créer un fichier qui contiendrait tout un système de fichiers.

on peut donc commencer par créer un fichier d'environ 5 mb remplit avec des zéros :

dd if=/dev/zero of=myfile bs=1024 count=5000

Puis après un "su" on peut en tant que root

mke2fs -j myfile

e2fsck myfile 

Ensuite on peut "mounter" le disque dans un répertoire

mkdir /mnt/MonDiskAMoi

mount -o loop myfile /mnt/MonDiskAMoi

Et on peut aller dedans écrire et tout et tout

On peut même monter ce truc automatiquement avec fstab

autofs ne fonctionne a priori pas ici, mais ça c'est une autre histoire...

Et en plus il faut pour autofs que le noyau soit compiler avec CONFIG_AUTOFS4_FS=y


Des Licences à la pelle !
2004-07-06T14:17:00.000+02:00
Il devient cauchemardesque de s'y retrouver dans le monde des licences

aussi voici quelques sites bien utiles

Un site pour la génération des licences en dynamique http://creativecommons.org


Linux dans Linux dans Linux... (UserMode Linux)
2004-07-06T11:12:00.000+02:00
Hiiijaaaa !

Aujourd'hui on va s'amuser un peu avec un linux qui tourne dans un linux qui tourne dans ...

Bien souvent, on  peut se retrouver dans ls situation ou on aimerait expérimenter quelquechose sur un box Linux sans pénaliser les autres aplications (quelquechose d'un peu plus fort qu'un simple ulimit), simuler un réseau etc... Et en fait pour faire cela on va utiliser le  User Mode Linux

Voila encore un super projet qui va nous permettre de lancer un linux pour y faire des "expériences" dignes de Billkenstein...

On recopie /usr/src/linux-2.4.26 dans notre home directory,

on va dedans et on fait un peu le ménage avev un make mrproprer

on récupére le patch uml pour la 2.4.26 uml-patch-2.4.26-1.bz2

Bon maintenant il faut patcher le source dans /home/cgil/linux-2.4.26 avec un chtit :

bzip2 -dc uml-patch-3.4.26-1.bz2 | patch -p1

make xconfig ARCH=um

Bon il y a des infos bien plus détaillées sur le site UML alors je vais pas m'étendre la-dessus.

A priori dans un premier temps vous pouvez laisser les options en standard et lancer la compilation :

make linux ARCH=um

ceci va créer un éxécutable du nom de "linux" et puis avec un chtit "strip linux" on lui donne une taille un peu plus raisonnable

Maintenant pour lancer notre nouveau Linux il faut un système de fichier,

On peut creer son propre filesystem 

je vais utiliser une debian3.0 dans une debian. Il s'agit en fait d'un "root filesystem" déjà prêt que vous pouvez récupérez et copier dans le répertoire ou vous avez compiler UML. Pour lancer tout cela, on peut soit créer un lien symbolique du nom de root_fs avec un :

ln -s /home/cgil/linux-2.4.26/Debian-3.0r0.ext2 root_fs

et lancer ./linux qui va lire par défaut le fichier root_fs du répertoire courant

soit on lance le programme en précisant le fichier "root_filesystem" à utiliser avec :

./linux ubd0=Debian-3.0r0.ext2

Et voila on est dans un Linux qui est bridé et quand on est dedans il est quasiment impossible de savoir que l'on est juste "dans la matrice" ! Ou est l'éxtérieur, qu'est ce qui est vrai et réel ?! qui peut le dire... Et oui avec Linux c'est de la philosophie tout les jours,

 n'hésite pas Man choisit la bonne main,

celle ou il y a Tux pingouin !

Un example plus complexe 

./linux mem=64M ubd0=root_fs.rh-7.2-full.cow,root_fs.rh-7.2-full.pristine.20020312 ubd1=swap eth0=ethertap,tap2,C0:FF:EE:C0:FF:EE,192.168.0.254

La liste de tous les switchs se trouve sur le site


PatchWork de noyau
2004-07-05T16:43:00.000+02:00
Diantre, j'ai configuré et compilé un noyau, et j'arrive a rebooter .

C'est plus magique que "Charmed" !

bon ben maintenant s'agit de patcher le noyau 2.4.25 en 2.4.26

il faut downloader le patch et le copier dans /usr/src/linux-2.4.25

bzip2 -dc patch-2.4.26.bz2 |patch -p1


Y viva la compilation del noyau !
2004-07-05T11:35:00.000+02:00
Et voilà, c'est parti pour une semaine de cours Linux LPI201 !

On commence avec une install d'une debian.

Intéressant, je n'avais jamais trop pratiqué cette distribution.

Il n'y a rien de bien spécial à dire sur l'installation, si ce n'est que le minimal est vraiment minimal... 

Pour les paquetages debian on utilise essentiellement :

apt-cache search nomdepaquetage pour avoir une liste des paquetages dispo

apt-get install nomdepaquetage pour installer le paquetage de vos rêves !

Notez que pour éxecuter "apt-get" il faut être root (un chtit su)

On s'attaque à une compilation de noyau, on récupère le source d'une 2.4.25 

on copie le tout dans /usr/src

on installe 2-3 trucs manquants tel que les librairies ncurses et bzip2:

apt-get install libncurses5-dev

apt-get install bzip2

et c'est parti pour un tar jxvf linux-2.4.25.tar.bz2

Ceci va désarchiver les sources de votre noyau dans le répertoire /usr/src/linux-2.4.25

Okay et maintenant on rentre dans la cour des grands...

On va attaquer la configuration du noyau après un "cd linux-2.4.25"

on peut utiliser plusieurs variantes :

make menuconfig menu de config en mode texte (avec librairie ncurses)

make xconfig menu de config graphique sous X

Okay le plus dur c'est de choisir les bonnes options, c'est même tout un art, mais bon Rome ne c'est pas faite en 1 jour, et puis le but d'un cours c'est d'essayer...

Personnellement j'utilisais beaucoup menuconfig, mais il semble qu'effectivement il y a plus d'analyses des dépendances en utilisant make config. J'essayerais de faire une liste à l'occasion de ce qu'il ne faut pas oublier.

make dep

make bzImage

make modules

suil faut être root pour installer !

make install

make modules_install

Ensuite il ne faut pas oublier d'éditer /boot/grup/menu.lst pour y ajouter notre nouveau kernel fraichement compilé, on peut copier une entrée existante pour créer un troisième menu (en dessous du recovery)





title		CGIl GNU/Linux, kernel 2.4.25-1-386 

root		(hd0,1)

kernel		/boot/vmlinuz-2.4.25 root=/dev/hda2 ro 

savedefault

boot
















Quels RPMs  surmon bô serveur
2004-07-02T15:35:00.000+02:00
Et voici un petits shells scripts tout con, que j'ai écrit parceque je voulais savoir rapidement ce qui se trouvait sur mon serveur, il permet de savoir les RPM qui sont déjà installés, mais surtout de lire leurs description sans devoir se casser la tête. On peut sauver le fichier sous un nom évoquateur tel que listerpm.sh et ensuite on peut l'appeller soit tel quel sans arguments et alors il donnera l'intégrale des rpm présents sur le serveur, soit on lui passe un argument du style "./listerpm.sh open" et dans ce cas il ne listera que les paquetages rpm contenant dans leurs nom "open" en majuscules ou en minuscules (switch -i du grep)...


#!/bin/sh
if [ -z "$1" ]; then
 rpm -qa |sort |perl -ne 'print qx(rpm -qi $_).qq(\n).q(*)x80 . qq(\n);'| more
 else
 rpm -qa |grep -i $1 |sort |perl -ne 'print qx(rpm -qi $_).qq(\n).q(*)x80 . qq(\n);'| more
fi


En éspérant que cela soit utile, et/ou que cela vous inspire pour un autre usage !


Perl "OneLiner"
2004-07-02T14:58:00.000+02:00
Perl a ceci de merveilleux qu'il peut être utilisé comme un formidable outil d'expérimentation. 

Avec un simple switch "-e"  on peut partir à l'aventure : 

perl -e "print qq(Coucou le hibou)"

Coucou le hibou



Ainsi voici un chtit Search & Replace bien pratique sur le contenu d'un fichier:

perl -pe 's/oldstring_re/newstring/gi ' MyFile.txt 



On verse dans le délire intégral ? Ok alors on a un fichier log d'un serveur web, qqch  du style :

2003-02-06 06:34:41 10.18.15.9 SUISSE_VS\assa0018 W3SVC3 10.180.7.40 80 GET /goeland/parc/xml/CityWithParcelle.xml - 304 0 141 602 15 

2003-02-06 06:34:41 10.13.21.4 SUISSE_VS\cmrs0062 W3SVC3 10.180.7.40 80 GET /goeland/parc/xsl/CGComboCityWithParcelle.xsl - 304 0 141 368 0 

2003-02-06 06:34:43 10.18.15.42 SUISSE_VS\rsta0015 W3SVC3 10.180.7.40 80 POST /goeland/parc/xml/CNGetDataParcelle.asp - 200 0 89 739 922 

2003-02-06 06:34:43 10.12.2.49 SUISSE_VS\rsta0015 W3SVC3 10.180.7.40 80 GET /groeland/parcelle/xsl/CNDataParcelle.xsl - 304 0 140 358 0 

En quatrième position et séparé par des espaces on a un nom de login, on veut obtenir une liste ordonnée de ces logins avec leur nombre de hits, soit le nombre de fois que l'on a trouvé des lignes dans le fichier log pour cet utilisateur. Et bien en une ligne avec du Perl ça donne :

perl -ne "if (m/^[^# ]([^ ]+)\s([^ ]+)\s([^ ]+)\s([^ ]+)/gi) { $tmp=qq(\U$4); %MyHash =(%MyHash,$tmp, $MyHash{ $tmp }+1); } END{foreach $key (sort keys %MyHash) {print qq($key => $MyHash{$key}\n);}}" ./ex030208.log

Et on obtient quelquechose du style :

SUISSE_VS\assa6018 => 32

SUISSE_VS\cmrs0062 => 160

etc...




Les certifications LPI pour Linux
2004-07-02T13:49:00.000+02:00
La semaine prochaine je vais suivre le cours LPI201 à  LinuxTraining.

Le programme de certification LPI est un programme complet conçu pour affirmer les compétences en administration système sous Linux.

Il y a beaucoup de documentation Linux sur Internet, mais il est parfois difficile de savoir par ou commencer.

Avec le programme LPI on obtient une sorte de fil rouge qui guide le néophite du plus simple au plus compliqué dans l'art subtil de la gestion et de l'administration sous Linux.

Il est intéressant de signaler que D.Robbins le président de Gentoo (cette superbe distribution Linux basée sur du code source) a commencé à  écrire une série de cours d'introduction tous intégralements disponibles sur le site developerworks de IBM. C'est en anglais, mais ça vaut sont pesant de chips...

Sur Linux France il y a des documents en français. 

Et puis il y a l'incontournable TLDP The Linux Documentation Project regroupant des manuels des HOWTOs etc... Personnellement, j'utilise le miroir Suisse chez Switch car c'est plus rapide, et après tout un miroir c'est fait pour être utilisé !

Sur Linux Online on trouve une liste de bouquins disponibles en ligne gratuitement.

Finalement j'apprécie la qualité des articles concernant Linux disponibles sur le site developerWorks d'IBM