telechargement avec authentification?

Question

j'aimerais automatiser le telechargement d'une page web pour traiter le contenu, mais l'acces a cette page se fait après authentification dans le navigateur, je n'arrive pas à y acceder avec mon programme java, je suis obligé de la telecharger manuellement. quelqu'un aurait une idée pour me permettre avec mon programme java de soumettre mes données dans le formulaire pour pouvoir automatiser le telechargement de la page..? en java ou php ou autre...
Merci

j'ai un petit programme en java qui traite le contenu d'une page html, j'aimerai modifier mon programme java pour qu'il telecharge directement la page html. mais cette page html que je veux soumettre comme parametre a mon programme est accessible par un navigateur seulement après authentification. je ne sais pas comment mon programme java pourrais envoyer mon identifiant et mon mot de passe pour ensuite telecharger cette page automatiquement.

sachant que l'aspirateur de site ne correspond pas a ce que je veux faire, j'aimerais faire executer mon programme sur une page web, alors du java oui, ou autre, mais pour l'aspirateur ca va etre dur....

Answer 1

Quel que soit le langage, la méthode est la même :
- Simuler une soumission du formulaire de login de ce site,
- Retenir les cookies d'authentification qu'il envoie dans la réponse,
- Envoyer ces cookies avec la requête de la page à télécharger.

Pour simuler la soumission de formulaire, comme déjà dit, il suffit de lire le code source de la page de login, de trouver le formulaire qui soumet login/mot de passe, de retenir l'URL de son paramètre "action" et les noms des différents champs soumis.
On fait exactement la même chose en effectuant une requête HTTP POST à cette URL, envoyant les mêmes champs avec les bonnes valeurs.

En Java, le plus simple est de se servir de la bibliothèque HttpClient ( http://jakarta.apache.org/commons/httpclient/ ) pour faire les requêtes. La bibli s'occupe automatiquement de retenir et retransmettre les cookies comme le ferait un navigateur, ce qui dispense d'un paquet de boulot.

En admettant que l'URL cible du formulaire de login soit http://www.lesite.fr/dologin.htm, avec deux champs textes login et password, puisqu'après on veuille récupérer la page à l'URL http://www.lesite.fr/mapage.htm, ce code devrait suffire :


HttpClient client = new HttpClient();

PostMethod loginRequest = new PostMethod("http://www.lesite.fr/dologin.htm");
loginRequest.addParameter("login", monLogin);
loginRequest.addParameter("password", monMotDePasse);
// réalise l'identification et retient les cookies
client.executeMethod(loginRequest);

loginRequest.releaseConnection();

GetMethod pageRequest = new GetMethod("http://www.lesite.fr/mapage.htm");

// fait la requête
client.executeMethod(pageRequest);

// Récupère la page
InputStream page = pageRequest.getResponseBodyAsStream();

/* lire et traiter la page... */

// libère la connexion
pageRequest.releaseConnection();


--
Il y a plein de doc et d'exemples sur le site d'HttpClient, pour aller plus loin ou faire autrement.

Answer 2

Réponses précédentes fausses si les pages du formulaire demandent l'autentification c'est incontournable (.htacces surement), c'est aussi fait pour hein !
Pour l'instant je ne vois que le navigateur virtuel programmé pour répondre à la demande d'autentification. Celle-ci n'est valable que pour le process qui l'a demanfé, le navigateur par exemple.

Answer 3

telecharge un aspirateur de site ce sera plus simple....Il y en a de tres bons.

Answer 4

Je crois (je dis bien je crois) comprendre...

Tu peux.
Pour celà tu regarde le code source du site en question.
La balise