9 require "basemodule.rb"
11 # doc : http://www.ruby-doc.org/stdlib/libdoc/net/http/rdoc/index.html
14 # hack : http://arosien.blogspot.com/2007/06/increasing-rubys-netbufferedio-buffer.html
18 timeout(@read_timeout) { @rbuf << @io.sysread(32768) }
23 # Un module d'importation pour le site "www.allocine.fr".
24 class Allocine
< Basemodule
28 @connexion = Net
::HTTP::new('www.allocine.fr').start
if @connexion == nil || !
@connexion.started
?
30 Puts
"[!] Impossible de se connecter à Allocine
. Retry
.."
36 @connexion.finish if defined? @connexion && @connexion.started? # on admet qu'après un load on a plus besoin de la connexion
41 def rechercherFilm(titre)
47 reponse = @connexion.get("/recherche/?rub
=1&motcle
=#{CGI::escape(Iconv.iconv("ISO-8859-1", "UTF-8", titre)[0])}")
48 #reponse = @connexion.get("/recherche/?rub
=1&motcle
=#{CGI::escape(titre)}")
51 puts "[!
] Erreur lors de la recherche du titre
#{titre}, retry.."
57 # convertit le code latin-1 en UTF8
58 html = Iconv.iconv("UTF-8
", "ISO-8859-1
", reponse.body)[0]
60 # si pas trouvé alors on enlève un mot à la fin
61 if /.*?Pas de résultats.*?/ =~ html || ! html
.include?("<h3><b>Films <h4>")
62 /(.*?)[^ ]+?$/ =~ titre
.strip
68 end while not titre
.nil? and not titre
.empty
?
71 unless titre
.nil? or titre
.empty
?
72 r
= html
.scan(/<h4><a href="\/film\
/fichefilm_gen_cfilm=(\d+)\.html".*?>(.*?)<\/a
><\
/h4>(?:<h5><a .*?> (.*?)<\/a
><\
/h5>)?(?:<div.*?><h4.*?>(\d*?){4}<\/h4
><\
/div>)?(?:<div.*?><h5.*?>de (.*?)<\/h5
><\
/div>)?(?:<div.*?><h5.*?>avec (.*?)<\/h5
><\
/div>)?/)
73 # f[0] : l'id allocine du film
80 reponses
[f
[1].virerBalisesHTML +
(f
[2] !
= nil ? " " + f
[2].virerBalisesHTML
: "") +
(f
[4] !
= nil ? " de " + f
[4].virerBalisesHTML
: "") +
(f
[5] !
= nil ? " avec " + f
[5].virerBalisesHTML
: "") +
(f
[3] !
= nil ? " (" + f
[3].virerBalisesHTML +
")" : "")] = f
[0]
88 loadPath("/film/fichefilm_gen_cfilm=#{id}.html", film
)
92 def loadURL(url
, film
)
93 loadPath(URI
.parse(url
).path
, film
)
96 def loadPath(path
, film
)
101 html
= @connexion.get(path
).body
102 rescue Exception
=> e
104 puts
"[!] Erreur lors du chargement de
#{film.fichiers[0]}, retry.."
110 puts "Pompage de
#{film.titre} (#{film.fichiers[0]}) ..."
112 # convertit le code latin-1 en UTF8
113 html = Iconv.iconv("UTF-8
", "ISO-8859-1
", html)[0]
115 # pompage de l'image dans un thread séparé
116 if take?("image
") && ($force || !film
.possedeImage
?)
117 /<img src="(.*?)" border="0" alt="" class="affichette" \/>/ =~ html
119 @threadImage = Thread
::start($1){|imageUrl
|
122 imageUrlParsed
= URI
.parse(imageUrl
)
123 connexionImage
= Net
::HTTP::new(imageUrlParsed
.host
).start
124 film
.setImage(connexionImage
.get(imageUrlParsed
.path
).body
)
125 connexionImage
.finish
126 rescue Exception
=> e
129 puts
"[!] Erreur lors du chargement de l
'image '#{imageUrl}', retry.."
130 retry if (nbRetry += 1) < 5
136 if take
?("url") && ($force || film
.url
== nil)
138 film
.url
= "http://www.allocine.fr" + path
143 /<title>(.*?)<\/title
>/ =~ html
147 if take
?("annee") && ($force || film
.annee
== nil)
149 /<h4>Année de production : (\d+)<\/h4
>/ =~ html
150 film
.annee
= $1 unless $1.nil?
153 if take
?("realisateurs") && ($force || film
.realisateurs
.empty
?)
155 film
.realisateurs
.clear
156 /<h4>Réalisé par(.*?)<\/h4
>/ =~ html
157 $1.scan(/\s*<a class="link1" href=".*?">(.*?)<\/a
>\s
*/m
){|a
|
158 film
.realisateurs
<< Personne
::ajouter(a
[0]) unless a
[0].nil?
162 if take
?("acteurs") && ($force || film
.acteurs
.empty
?)
165 /<h4>Avec(.*?)<\/h4
>/ =~ html
166 $1.scan(/\s*<a class="link1" href="\/personne\
/fichepersonne_gen_cpersonne=\d+\.html">(.+?)<\/a
>\s
*/m
){|a
|
167 film
.acteurs
<< Personne
::ajouter(a
[0]) unless a
[0].nil?
171 if take
?("pays") && ($force || film
.pays
.empty
?)
174 /<h4>Film (.*?)\. <\/h4
>/ =~ html
175 $1.split(',').each
{|pays
|
176 film
.pays
<< Pays
::ajouter(pays
.strip
) unless pays
.nil?
180 if take
?("duree") && ($force || film
.duree
== nil)
181 # Duree (capture des heures et des minutes séparement vue que c'est le bordel sur allocine
182 /<h4>Durée :(?:.*?)(\d+)h/ =~ html
183 heure
= $1.nil? ? 0 : $1.to_i
184 /<h4>Durée :(?:.*?)(\d+)min/ =~ html
185 min
= $1.nil? ? 0 : $1.to_i
186 film
.duree
= heure
* 60 + min
189 if take
?("critiquenote") && ($force || film
.critiquePresse
== nil || film
.critiqueSpectateur
== nil)
190 # Critiques presse et spectateur
191 /Presse.*etoile_([012345]).*Spectateurs.*etoile_([012345])"/m
=~ html
192 film
.critiquePresse
= $1 unless $1.nil?
193 film
.critiqueSpectateur
= $2 unless $2.nil?
196 if take
?("genres") && ($force || film
.genres
.empty
?)
199 /<h4>Genre : (.*?)<\/h4
>/ =~ html
200 $1.scan(/<a href="\/film\
/alaffiche_genre_gen_genre=.*?" class="link1">(.+?)<\/a
>/m
){|g
|
201 film
.genres
<< Genre
::ajouter(g
[0]) unless g
[0].nil?
205 if take
?("synopsis") && ($force || film
.synopsis
== nil)
207 /Synopsis.*?<h4>(.*?)<\/h4
>/m
=~ html
210 film
.synopsis
.gsub!
(/<br\s*\/>|<br\s
*>/, "\n")
211 film
.synopsis
.virerBalisesHTML!
215 if take
?("budget") && ($force || film
.budget
== nil)
217 /Budget<\/b
> : (.+
?) millions d
'euros<\/h4>/ =~ html
218 film.budget = $1 unless $1.nil?
225 # on attend que tous les threads de pompage d'image aient terminé
226 @threadImage.join
if defined? @threadImage