\n",
"Correspondance de Joséphine Pouchet, numérisée par les Archives Départementales de l'Hérault.\n",
"Correspondance de Joséphine Pouchet, numérisée par les Archives Départementales de l'Hérault.\n"
]
}
],
"source": [
"source = root.xpath(\"/tei:TEI/tei:teiHeader/tei:fileDesc/tei:sourceDesc/tei:p\", namespaces={'tei':'http://www.tei-c.org/ns/1.0'})\n",
"print(type(source)) #xpath retourne une liste\n",
"print(source[0].text)\n",
"#ou bien\n",
"source = root.xpath(\"/tei:TEI/tei:teiHeader/tei:fileDesc/tei:sourceDesc/tei:p/text()\", namespaces={'tei':'http://www.tei-c.org/ns/1.0'})\n",
"print(source[0])"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Pour le contenu il faut ruser. La difficulté ici tient à l'utilisation d'élements `
` de type 'milestones' pour noter les retours à la ligne : \n",
"```xml\n",
"\n",
"je reponse a ton aimableux lettres
\n",
"que nous a fait plaisir en naprenas
\n",
"que tu et enbonne santes car il
\n",
"anais de maime pour nous
\n",
"
\n",
"```"
]
},
{
"cell_type": "code",
"execution_count": 116,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"\n",
"cher Laurent\n",
"\n",
"je reponse a ton aimableux lettres\n",
"\n",
"cher Laurent je repons a la cartes\n"
]
}
],
"source": [
"# la méthode findall renvoie une liste avec tous les éléments correspondant au chemin argument\n",
"body = root.findall(\"./tei:text/tei:body/tei:p\", namespaces={'tei':\"http://www.tei-c.org/ns/1.0\"})\n",
"for elem in body:\n",
" print(elem.text)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Ici on ne récupère que les noeuds text précédant les éléments `
` \n",
"Une requête `xpath` va nous permettre de récupérer tous les noeuds text"
]
},
{
"cell_type": "code",
"execution_count": 12,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"\n",
"\n",
"Baillargues Le 19 janvier 1915\n",
"\n",
"\n",
"cher Laurent\n",
"\n",
"\n",
"je reponse a ton aimableux lettres\n",
"que nous a fait plaisir en naprenas\n",
"que tu et enbonne santes car il\n",
"anais de maime pour nous\n",
"\n",
"\n",
"cher Laurent je repons a la cartes\n",
"de ma mère quelles et venue au\n",
"jourdhui pour de faire partire\n",
"partir un paquet quil aillae\n",
"les chosette sausice chocolas une\n",
"paire de chosette pour Louis\n",
"je pense que vous magerè ensenbleus\n",
"tu feras repons a la maison te\n",
"suite que tu rese vras le paquet\n",
"je te dirais que ten le midi il\n",
"fait frois il fait du vent glasais\n",
"et toi au pas de calais tu nous\n",
"dit quil pleus mai tu nous parles\n",
"pas si tu a ases pour te garendir\n",
"du froit cil te maque quelles chose\n",
"\n",
"tu nas que ledire quon de len verras\n",
"verras tu nous dit que charles ta\n",
"Ecrie et ta soeux et ta dit que\n",
"je lui et envoiez la photot\n",
"plurien a te dire pour le moment\n",
"que de ten voiez une grose\n",
"carriese de tous et boutounase\n",
"de ton petit enge \n",
"adorè Albert encorre une foi\n",
"te plui Milles baisées te tous\n",
"ta fenme pour la vie\n",
"Josephine Pouchet\n",
"bien le bonjour de la familles\n",
"et casimir et de tous le voisin\n",
"et amie et de marie la perdigailles\n",
"\n"
]
}
],
"source": [
"body = root.xpath(\"//tei:text/tei:body//text()\", namespaces={'tei':\"http://www.tei-c.org/ns/1.0\"})\n",
"for text in body:\n",
" print(text, end=\"\")"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## avec DOM"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"L'API `ElementTree` est propre à Python, `DOM` est une API indépendante d'un langage de programmation. Il existe des implémentations `DOM` dans la plupart des langages de programmation modernes. "
]
},
{
"cell_type": "code",
"execution_count": 60,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
""
]
},
"execution_count": 60,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"from xml.dom import minidom\n",
"dom = minidom.parse(\"data/josephine-1-150119.xml\")\n",
"# l'objet Document\n",
"dom"
]
},
{
"cell_type": "code",
"execution_count": 61,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"\n",
"#text\n",
"Joséphine Pouchet à son époux le 19-01-1915 depuis Baillargues\n"
]
}
],
"source": [
"title = dom.getElementsByTagNameNS(\"http://www.tei-c.org/ns/1.0\", 'title')[0] # un seul élément 'title' dans le document\n",
"print(title) # title est un objet Element, pour accèder au contenu textuel il faut récupérer le noeud texte\n",
"print(title.lastChild.nodeName)\n",
"print(title.lastChild.nodeValue)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"idem pour la source, sauf qu'on ne peut pas se permettre de rechercher tous les éléments `p`. \n",
"Il faut trouver l'élément `p` fils de `sourceDesc`"
]
},
{
"cell_type": "code",
"execution_count": 62,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Correspondance de Joséphine Pouchet, numérisée par les Archives Départementales de l'Hérault.\n"
]
}
],
"source": [
"sourceDesc = dom.getElementsByTagNameNS(\"http://www.tei-c.org/ns/1.0\", 'sourceDesc')[0]\n",
"for node in sourceDesc.childNodes:\n",
" if node.localName == \"p\":\n",
" print(node.lastChild.nodeValue)"
]
},
{
"cell_type": "markdown",
"metadata": {
"collapsed": true
},
"source": [
"Et maintenant le contenu et ses éléments milestones. \n",
"Pour garder la forme vous réécrirez les boucles `for` suivies de `if` en listes en compréhension."
]
},
{
"cell_type": "code",
"execution_count": 63,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"\n",
"Baillargues Le 19 janvier 1915\n",
"\n",
"cher Laurent\n",
"\n",
"je reponse a ton aimableux lettres\n",
"que nous a fait plaisir en naprenas\n",
"que tu et enbonne santes car il\n",
"anais de maime pour nous\n",
"\n",
"cher Laurent je repons a la cartes\n",
"de ma mère quelles et venue au\n",
"jourdhui pour de faire \n",
"partir un paquet quil \n",
"les chosette sausice chocolas une\n",
"paire de chosette pour Louis\n",
"je pense que vous magerè ensenbleus\n",
"tu feras repons a la maison te\n",
"suite que tu rese vras le paquet\n",
"je te dirais que ten le midi il\n",
"fait frois il fait du vent glasais\n",
"et toi au pas de calais tu nous\n",
"dit quil pleus mai tu nous parles\n",
"pas si tu a ases pour te garendir\n",
"du froit cil te maque quelles chose\n",
"\n",
"tu nas que ledire quon de len \n",
"verras tu nous dit que charles ta\n",
"Ecrie et ta soeux et ta dit que\n",
"je lui et envoiez la photot\n",
"plurien a te dire pour le moment\n",
"que de ten voiez une grose\n",
"carriese de tous et boutounase\n",
"de ton petit enge \n",
"adorè Albert encorre une foi\n",
"te plui Milles baisées te tous\n",
"ta fenme pour la vie\n",
"Josephine Pouchet\n",
"bien le bonjour de la familles\n",
"et casimir et de tous le voisin\n",
"et amie et de marie la perdigailles\n"
]
}
],
"source": [
"body = dom.getElementsByTagNameNS(\"http://www.tei-c.org/ns/1.0\", 'body')[0]\n",
"for node in body.childNodes:\n",
" if node.localName == \"p\" or \"opener\":\n",
" for in_node in node.childNodes:\n",
" if in_node.nodeName == \"#text\":\n",
" print(in_node.nodeValue, end=\"\")"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Avec lxml et Beautiful Soup"
]
},
{
"cell_type": "code",
"execution_count": 49,
"metadata": {},
"outputs": [],
"source": [
"from bs4 import BeautifulSoup\n",
"\n",
"with open(\"data/josephine-1-150119.xml\") as fp:\n",
" soup = BeautifulSoup(fp, 'lxml')"
]
},
{
"cell_type": "code",
"execution_count": 50,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"'Joséphine Pouchet à son époux le 19-01-1915 depuis Baillargues'"
]
},
"execution_count": 50,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"soup.title.text"
]
},
{
"cell_type": "code",
"execution_count": 51,
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"\"Correspondance de Joséphine Pouchet, numérisée par les Archives Départementales de l'Hérault.\""
]
},
"execution_count": 51,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"soup.sourcedesc.p.text"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Pour le contenu de la lettre il y a la merveilleuse fonction `get_text()`"
]
},
{
"cell_type": "code",
"execution_count": 52,
"metadata": {},
"outputs": [],
"source": [
"soup.get_text?"
]
},
{
"cell_type": "code",
"execution_count": 92,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"\n",
"\n",
"\n",
"\n",
"Baillargues Le 19 janvier 1915\n",
"\n",
"\n",
"cher Laurent\n",
"\n",
"\n",
"je reponse a ton aimableux lettres\n",
"que nous a fait plaisir en naprenas\n",
"que tu et enbonne santes car il\n",
"anais de maime pour nous\n",
"\n",
"\n",
"cher Laurent je repons a la cartes\n",
"de ma mère quelles et venue au\n",
"jourdhui pour de faire partire\n",
"partir un paquet quil aillae\n",
"les chosette sausice chocolas une\n",
"paire de chosette pour Louis\n",
"je pense que vous magerè ensenbleus\n",
"tu feras repons a la maison te\n",
"suite que tu rese vras le paquet\n",
"je te dirais que ten le midi il\n",
"fait frois il fait du vent glasais\n",
"et toi au pas de calais tu nous\n",
"dit quil pleus mai tu nous parles\n",
"pas si tu a ases pour te garendir\n",
"du froit cil te maque quelles chose\n",
"\n",
"tu nas que ledire quon de len verras\n",
"verras tu nous dit que charles ta\n",
"Ecrie et ta soeux et ta dit que\n",
"je lui et envoiez la photot\n",
"plurien a te dire pour le moment\n",
"que de ten voiez une grose\n",
"carriese de tous et boutounase\n",
"de ton petit enge \n",
"adorè Albert encorre une foi\n",
"te plui Milles baisées te tous\n",
"ta fenme pour la vie\n",
"Josephine Pouchet\n",
"bien le bonjour de la familles\n",
"et casimir et de tous le voisin\n",
"et amie et de marie la perdigailles\n",
"\n",
"\n",
"\n"
]
}
],
"source": [
"text = soup.find('text')\n",
"print(text.getText())"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"lxml est rapide, Beautiful Soup simple à utiliser. Le combo diablement efficace.\n",
"\n",
"Il y a un autre module super pour le web que nous ne verrons pas ici mais que je me dois de vous indiquer : https://selenium-python.readthedocs.io/ \n",
"Selenium va vous permettre d'automatiser des actions sur un navigateur. Je vous conseille d'essayer, c'est assez plaisant de voir votre navigateur piloté par un script."
]
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 3",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.7.4"
}
},
"nbformat": 4,
"nbformat_minor": 1
}