-
Notifications
You must be signed in to change notification settings - Fork 1
Expand file tree
/
Copy pathatom.xml
More file actions
2986 lines (2186 loc) · 197 KB
/
atom.xml
File metadata and controls
2986 lines (2186 loc) · 197 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
<?xml version="1.0" encoding="utf-8"?>
<feed xmlns="http://www.w3.org/2005/Atom">
<title><![CDATA[1up4developers]]></title>
<link href="http://1up4dev.org/atom.xml" rel="self"/>
<link href="http://1up4dev.org/"/>
<updated>2016-07-29T19:00:43-03:00</updated>
<id>http://1up4dev.org/</id>
<author>
<name><![CDATA[1up4developers]]></name>
<email><![CDATA[1up4dev@googlegroups.com]]></email>
</author>
<generator uri="http://octopress.org/">Octopress</generator>
<entry>
<title type="html"><![CDATA[Encerramento do blog]]></title>
<link href="http://1up4dev.org/2016/07/encerramento-do-blog/"/>
<updated>2016-07-08T12:00:00-03:00</updated>
<id>http://1up4dev.org/2016/07/encerramento-do-blog</id>
<content type="html"><![CDATA[<p>Amigos, este blog será encerrado no final deste mês :(</p>
<p>Desde 2008 vínhamos compartilhando nossas aventuras e experiências no maravilhoso mundo da programação. Aprendemos muito com esta trajetória, com os comentários que vocês leitores fizeram e com as oportunidades que surgiram através do blog.</p>
<p>Foi uma etapa muito importante e proveitosa em nossas carreiras, mas este ciclo chegou ao fim. E este é o momento de iniciar um novo ciclo em nossas carreiras.</p>
<p>O blog será encerrado, mas continuaremos compartilhando nossas experiências no Twitter, Medium e nos blogs pessoais de cada autor.</p>
<p>Aqui estão nossos feeds de conteúdo agile a partir do próximo mês:</p>
<h3>Rodrigo Panachi</h3>
<ul>
<li><a href="http://rpanachi.com">http://rpanachi.com</a></li>
<li><a href="https://medium.com/@rpanachi">https://medium.com/@rpanachi</a></li>
<li><a href="https://twitter.com/rpanachi">https://twitter.com/rpanachi</a></li>
</ul>
<h3>Roger Leite</h3>
<ul>
<li><a href="https://medium.com/@rogerleite">https://medium.com/@rogerleite</a></li>
<li><a href="https://twitter.com/rogerleite">https://twitter.com/rogerleite</a></li>
</ul>
<h3>Plinio Balduino</h3>
<ul>
<li><a href="https://medium.com/@pbalduino">https://medium.com/@pbalduino</a></li>
<li><a href="http://twitter.com/p_balduino">http://twitter.com/p_balduino</a></li>
</ul>
<h3>Tony Fabeen</h3>
<ul>
<li><a href="https://medium.com/@tonyfabeen">https://medium.com/@tonyfabeen</a></li>
<li><a href="https://twitter.com/tonyfabeen">https://twitter.com/tonyfabeen</a></li>
</ul>
<h3>Miguel Horlle</h3>
<ul>
<li><a href="https://twitter.com/miguelbaldi">https://twitter.com/miguelbaldi</a></li>
</ul>
<h3>Humberto Bulhões</h3>
<ul>
<li><a href="https://twitter.com/01berto">https://twitter.com/01berto</a></li>
</ul>
<h3>Rogério Ramos</h3>
<ul>
<li><a href="https://medium.com/@habutre">https://medium.com/@habutre</a></li>
<li><a href="https://twitter.com/habutre">https://twitter.com/habutre</a></li>
</ul>
<p>Continue nadando contra o waterfall e até a proxima. Sucesso!</p>
]]></content>
</entry>
<entry>
<title type="html"><![CDATA[Type hints no Clojure - Parte 2]]></title>
<link href="http://1up4dev.org/2015/02/type-hints-no-clojure-parte-2/"/>
<updated>2015-02-02T17:14:00-02:00</updated>
<id>http://1up4dev.org/2015/02/type-hints-no-clojure-parte-2</id>
<content type="html"><![CDATA[<p>Parte 1: <a href="http://1up4dev.org/2015/01/type-hints-no-clojure-parte-1">http://1up4dev.org/2015/01/type-hints-no-clojure-parte-1</a></p>
<h2>Quando otimizar</h2>
<p>Não adianta sair adicionando <em>type hints</em> no código sem critério. A primeira coisa a ser feita é detectar onde estão os gargalos, os pontos que consomem mais recursos sem trazer resultados imediatos utilizando uma boa ferramenta de ::profiling::.</p>
<p>Uma vez que você localize os pontos lentos da aplicação, adicione a seguinte linha no início do seu código:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="nf">set!</span> <span class="nv">*warn-on-reflection*</span> <span class="nv">true</span><span class="p">)</span>
</span></code></pre></td></tr></table></div></figure>
<p>Agora o compilador vai nos avisar toda vez que for obrigado a usar <em>reflection</em> para invocar um método ou acessar um membro.</p>
<p>Vamos usar a nossa função <code>upper-case</code> para detectar os pontos que podem ser otimizados com <em>type hinting</em>.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="nf">set!</span> <span class="nv">*warn-on-reflection*</span> <span class="nv">true</span><span class="p">)</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case</span> <span class="p">[</span><span class="nv">text</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">text</span><span class="p">))</span>
</span><span class='line'><span class="c1">; Reflection warning, NO_SOURCE_PATH:2:3 - reference to field </span>
</span><span class='line'><span class="c1">; toUpperCase can't be resolved.</span>
</span><span class='line'><span class="c1">; #'user/upper-case</span>
</span></code></pre></td></tr></table></div></figure>
<p>Essa é a mensagem do compilador nos avisando que não sabe que tipo contém o método <code>toUpperCase</code>. Como estamos usando <code>toUpperCase</code> em <code>text</code>, vamos adicionar o <em>type hint</em> nele.</p>
<p>Perceba que o erro ocorreu durante a compilação da função, e não durante sua execução. Lembre-se que todo código executado já foi compilado em algum momento, incluindo o código que escrevemos no <em>REPL</em>.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case-2</span> <span class="p">[</span><span class="o">^</span><span class="nv">String</span> <span class="nv">text</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">text</span><span class="p">))</span>
</span><span class='line'><span class="c1">; #'user/upper-case-2</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="nf">upper-case-2</span> <span class="s">"umba umba umba ê"</span><span class="p">)</span>
</span><span class='line'><span class="c1">; "UMBA UMBA UMBA Ê"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Sem erros nem avisos, resolvemos a questão do <em>reflection</em> na expressão.</p>
<p>Falamos sobre otimização e gargalos mas não mostramos na prática o que isso significa.</p>
<p>Vamos posicionar as duas funções, com e sem <em>type hint</em> e executar uma iteração apresentando o tempo gasto com cada versão.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
<span class='line-number'>10</span>
<span class='line-number'>11</span>
<span class='line-number'>12</span>
<span class='line-number'>13</span>
<span class='line-number'>14</span>
<span class='line-number'>15</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case</span> <span class="p">[</span><span class="nv">texto</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">texto</span><span class="p">))</span>
</span><span class='line'><span class="c1">; Reflection warning, NO_SOURCE_PATH:2:3 - reference to field </span>
</span><span class='line'><span class="c1">; toUpperCase can't be resolved.</span>
</span><span class='line'><span class="c1">; #'user/upper-case</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case-2</span> <span class="p">[</span><span class="o">^</span><span class="nv">String</span> <span class="nv">texto</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">texto</span><span class="p">))</span>
</span><span class='line'><span class="c1">; #'user/upper-case-2</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="nb">time </span><span class="p">(</span><span class="nb">dotimes </span><span class="p">[</span><span class="nv">_</span> <span class="mi">100000</span><span class="p">]</span> <span class="p">(</span><span class="nf">upper-case</span> <span class="s">"mandarina"</span><span class="p">)))</span>
</span><span class='line'><span class="c1">; "Elapsed time: 327.720765 msecs"</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="nb">time </span><span class="p">(</span><span class="nb">dotimes </span><span class="p">[</span><span class="nv">_</span> <span class="mi">100000</span><span class="p">]</span> <span class="p">(</span><span class="nf">upper-case-2</span> <span class="s">"mandarina"</span><span class="p">)))</span>
</span><span class='line'><span class="c1">; "Elapsed time: 55.403849 msecs"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Nesse nosso exemplo simples o processamento ficou de seis a sete vezes mais rápido.</p>
<p><em>(Trecho do meu livro “Clojure: Programação Funcional Descomplicada para a JVM”, a ser publicado em breve)</em></p>
]]></content>
</entry>
<entry>
<title type="html"><![CDATA[Type hints no Clojure - Parte 1]]></title>
<link href="http://1up4dev.org/2015/01/type-hints-no-clojure-parte-1/"/>
<updated>2015-01-31T21:14:00-02:00</updated>
<id>http://1up4dev.org/2015/01/type-hints-no-clojure-parte-1</id>
<content type="html"><![CDATA[<p>Parte 2: <a href="http://1up4dev.org/2015/02/type-hints-no-clojure-parte-2">http://1up4dev.org/2015/02/type-hints-no-clojure-parte-2</a></p>
<h2>Otimizando com type hints</h2>
<p>Por padrão você não informa os tipos dos dados ao Clojure. Internamente o dado vai ser tratado como <code>Object</code>, que é a classe base de qualquer objeto Java.</p>
<p>Qualquer método ou propriedade que você invocar desse objeto será localizado e chamado através de <em>reflection</em>. No Java, <em>reflection</em> é a capacidade de acessar métodos e membros de um objeto ou classe através de metaprogramação.</p>
<p>Exemplificando, esse código Clojure:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case</span> <span class="p">[</span><span class="nv">text</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">text</span><span class="p">))</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="nf">upper-case</span> <span class="s">"umba umba umba ê"</span><span class="p">)</span>
</span><span class='line'><span class="c1">; "UMBA UMBA UMBA Ê"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Vai ser transformado em algo equivalente a isso:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
</pre></td><td class='code'><pre><code class='java'><span class='line'><span class="kd">public</span> <span class="n">Object</span> <span class="nf">invoke</span><span class="o">(</span><span class="n">Object</span> <span class="n">par01</span><span class="o">)</span> <span class="o">{</span>
</span><span class='line'> <span class="k">return</span> <span class="o">(</span><span class="n">Object</span><span class="o">)(</span><span class="n">par01</span>
</span><span class='line'> <span class="o">.</span><span class="na">getClass</span><span class="o">()</span>
</span><span class='line'> <span class="o">.</span><span class="na">getDeclaredMethod</span><span class="o">(</span><span class="s">"toUpperCase"</span><span class="o">,</span> <span class="kc">null</span><span class="o">)</span>
</span><span class='line'> <span class="o">.</span><span class="na">invoke</span><span class="o">(</span><span class="n">par01</span><span class="o">));</span>
</span><span class='line'><span class="o">}</span>
</span><span class='line'>
</span><span class='line'><span class="o">(</span><span class="k">new</span> <span class="n">user$upper_case</span><span class="o">()).</span><span class="na">invoke</span><span class="o">(</span><span class="s">"umba umba umba ê"</span><span class="o">);</span>
</span><span class='line'><span class="c1">// "UMBA UMBA UMBA Ê"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Eu disse <em>equivalente</em> porque o seu código Clojure vai ser compilado diretamente para <em>bytecode</em> ao invés de ser convertido primeiro para código Java.</p>
<p>Como podemos notar, além de termos que invocar três métodos para fazer a chamada de um e termos que fazer <em>typecasting</em> – ou <em>coerção de tipos</em>, se preferir – para que tudo seja tratado como <code>Object</code>, o próprio processo de <em>reflection</em> é lento por si só.</p>
<p>Note como informamos o nome do método <code>toUpperCase</code> como um texto. Com isso o método <code>getDeclaredMethod</code> vai pesquisar uma tabela interna daquela objeto comparando cada nome de método até encontrar o que procuramos.</p>
<p>Para ajudar, como o Clojure não tem a mais remota ideia do que queremos transformar em letras maiúsculas, a função aceita qualquer coisa.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="nf">upper-case</span> <span class="mf">3.14159</span><span class="p">)</span>
</span><span class='line'><span class="c1">; IllegalArgumentException No matching field found: toUpperCase for </span>
</span><span class='line'><span class="c1">; class java.lang.Double</span>
</span></code></pre></td></tr></table></div></figure>
<p><em>Ah, então o compilador do Clojure é mal feito?</em></p>
<p>Não. Acontece algo muito parecido quando escrevemos código JavaScript, Ruby, Python ou qualquer outra linguagem dinâmica para a JVM. Como você não informou o tipo, o compilador tem que adivinhar ou confiar cegamente no que você está dizendo.</p>
<p>Porém, existe uma forma de diminuir essa trabalheira toda dando dicas ao compilador sobre o tipo de dado que ele deve utilizar. Essas dicas chamam-se <em>type hints</em>, ou dicas de tipos.</p>
<p>Mas atenção: que fique claro que estamos dando dicas ao compilador ao invés de declararmos estaticamente o tipo de dados que estamos utilizando.</p>
<p>Podemos reescrever nosso código dessa forma para que o compilador receba nossas dicas:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="kd">defn </span><span class="nv">upper-case</span> <span class="p">[</span><span class="o">^</span><span class="nv">String</span> <span class="nv">text</span><span class="p">]</span>
</span><span class='line'> <span class="p">(</span><span class="nf">.toUpperCase</span> <span class="nv">text</span><span class="p">))</span>
</span><span class='line'>
</span><span class='line'><span class="p">(</span><span class="nf">upper-case</span> <span class="s">"umba umba umba ê"</span><span class="p">)</span>
</span><span class='line'><span class="c1">; "UMBA UMBA UMBA Ê"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Se tentarmos passar qualquer coisa diferente de <code>String</code>, a JVM vai reclamar na mesma hora.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
</pre></td><td class='code'><pre><code class='clojure'><span class='line'><span class="p">(</span><span class="nf">upper-case</span> <span class="mf">3.14159</span><span class="p">)</span>
</span><span class='line'><span class="c1">; ClassCastException java.lang.Double cannot be cast to </span>
</span><span class='line'><span class="c1">; java.lang.String user/upper-case (NO_SOURCE_FILE:2)</span>
</span></code></pre></td></tr></table></div></figure>
<p>Aí você pensa <em>ah, tá. era para ter passado <code>String</code> e passei <code>Double</code></em>. Bonito, não?</p>
<p>Mas não é só isso. Ao usar <em>type hints</em> você ainda leva uma otimização de código totalmente de graça.</p>
<p>O <em>bytecode</em> gerado fica equivalente a esse código Java:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
</pre></td><td class='code'><pre><code class='java'><span class='line'><span class="kd">public</span> <span class="n">Object</span> <span class="nf">invoke</span><span class="o">(</span><span class="n">Object</span> <span class="n">par01</span><span class="o">)</span> <span class="o">{</span>
</span><span class='line'> <span class="k">return</span> <span class="o">((</span><span class="n">String</span><span class="o">)</span><span class="n">par01</span><span class="o">).</span><span class="na">toUpperCase</span><span class="o">();</span>
</span><span class='line'><span class="o">}</span>
</span><span class='line'>
</span><span class='line'><span class="o">(</span><span class="k">new</span> <span class="n">user$upper_case</span><span class="o">()).</span><span class="na">invoke</span><span class="o">(</span><span class="s">"umba umba umba ê"</span><span class="o">);</span>
</span><span class='line'><span class="c1">// "UMBA UMBA UMBA Ê"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Se você imaginou que o código, além de menor, também ficou mais rápido, acertou.</p>
<p><em>Então vou usar isso no meu código inteiro!</em></p>
<p>Calma lá. Clojure não deixa de ser uma linguagem dinâmica apenas por ter <em>type hints</em>. A contrapartida dessas dicas é que elas poluem o código e, muitas vezes, e dificilmente você vai precisar que todo seu código seja otimizado.</p>
<p>Na próxima parte vamos aprender quando e como otimizar para praticamente todas as situações.</p>
<p>Até lá.</p>
<p><em>(Trecho do meu livro “Clojure: Programação Funcional Descomplicada para a JVM”, a ser publicado em breve)</em></p>
]]></content>
</entry>
<entry>
<title type="html"><![CDATA[Lendo arquivo CSV com parcimônia no Ruby]]></title>
<link href="http://1up4dev.org/2014/11/lendo-arquivo-csv-com-parcimonia-no-ruby/"/>
<updated>2014-11-17T09:34:00-02:00</updated>
<id>http://1up4dev.org/2014/11/lendo-arquivo-csv-com-parcimonia-no-ruby</id>
<content type="html"><![CDATA[<p>Ler e escrever <a href="http://en.wikipedia.org/wiki/Comma-separated_values">arquivo csv</a> é um mal necessário de muitos sistemas, ainda mais levando em conta que esta integração será feita via Excel, em algum Windows, com quilos de texto com acentos e dados a formatar. Dado este cenário, e que ele provavelmente se repetirá no futuro, deixo aqui um post auto-ajuda para mim mesmo e provavelmente para você que está lendo. :D</p>
<p>Na versão 1.9.3 e superior, o Ruby incluiu a classe <a href="http://ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV.html">CSV</a> na sua <em>standard lib</em>, que facilita o trabalho de ler e/ou escrever arquivos csv. Exemplos em código abaixo.</p>
<h2>Conhecendo o CSV</h2>
<p>O modo mais simples e direto para ler um arquivo csv, é usar o <code>CSV.read</code> que retorna um Array de Arrays:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'><span class="n">array_students</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">read</span><span class="p">(</span><span class="s1">'/tmp/mock_data.csv'</span><span class="p">)</span> <span class="c1"># return an Array of Arrays</span>
</span><span class='line'><span class="n">array_students</span><span class="o">.</span><span class="n">each</span> <span class="p">{</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span> <span class="p">}</span> <span class="c1"># => output:</span>
</span><span class='line'><span class="c1"># "[\"id\", \"name\", \"country\", \"birthday\"]"</span>
</span><span class='line'><span class="c1"># "[\"1\", \"Virginia Harvey\", \"GB\", \"01/06/1993\"]"</span>
</span></code></pre></td></tr></table></div></figure>
<p>Dentro da classe CSV, existem mais duas classes que facilitam ainda mais o manuseio dos dados.</p>
<p>Caso necessite de mais requinte e sofisticação, o método <code>CSV.table</code> retorna uma instância de <a href="http://ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV/Table.html">CSV::Table</a>. Com o table, você tem acesso ao cabeçalho através do <code>headers</code> e acesso a cada linha do arquivo com o <code>each</code>, que retorna uma instância de <a href="http://ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV/Row.html">CSV::Row</a>.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'><span class="n">table_students</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">table</span><span class="p">(</span><span class="s1">'/tmp/mock_data.csv'</span><span class="p">)</span> <span class="c1"># => instance of CSV::Table</span>
</span><span class='line'><span class="nb">puts</span> <span class="n">table_students</span><span class="o">.</span><span class="n">headers</span><span class="o">.</span><span class="n">inspect</span> <span class="c1"># => [:id, :name, :country, :birthday]</span>
</span><span class='line'><span class="n">table_students</span><span class="o">.</span><span class="n">each</span> <span class="p">{</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span> <span class="p">}</span> <span class="c1"># => output:</span>
</span><span class='line'><span class="c1"># <CSV::Row id:1 name:"Virginia Harvey" country:"GB" birthday:"01/06/1993"></span>
</span><span class='line'><span class="n">table_students</span><span class="o">.</span><span class="n">each</span> <span class="p">{</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">fetch</span><span class="p">(</span><span class="ss">:name</span><span class="p">)</span> <span class="p">}</span> <span class="c1"># => output:</span>
</span><span class='line'><span class="c1"># Virginia Harvey</span>
</span></code></pre></td></tr></table></div></figure>
<p>Tanto o <code>read</code> quanto o <code>table</code>, aceitam um hash de options como segundo argumento. Tem uma descrição detalhada na documentação do <a href="http://ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV.html#method-c-new">método new</a>. Exemplo usando options:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'><span class="n">table_students</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">table</span><span class="p">(</span><span class="s1">'/tmp/mock_data2.csv'</span><span class="p">,</span> <span class="n">col_sep</span><span class="p">:</span> <span class="s2">";"</span><span class="p">,</span> <span class="n">skip_blanks</span><span class="p">:</span> <span class="kp">true</span><span class="p">,</span> <span class="ss">converters</span><span class="p">:</span> <span class="o">[]</span><span class="p">)</span>
</span><span class='line'><span class="n">table_students</span><span class="o">.</span><span class="n">each</span> <span class="p">{</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span> <span class="p">}</span>
</span></code></pre></td></tr></table></div></figure>
<h2>CSV converters</h2>
<p><a href="http://www.ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV.html#HeaderConverters">CSV::HeaderConverters</a> contém um hash de symbol e block que são usados para converter os valores do cabeçalho. Para usá-los, você deve informar qual <em>converter</em> deseja aplicar na opção <code>header_converters</code>. Acredito que o código abaixo explica melhor.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
<span class='line-number'>10</span>
<span class='line-number'>11</span>
<span class='line-number'>12</span>
<span class='line-number'>13</span>
<span class='line-number'>14</span>
<span class='line-number'>15</span>
<span class='line-number'>16</span>
<span class='line-number'>17</span>
<span class='line-number'>18</span>
<span class='line-number'>19</span>
<span class='line-number'>20</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'><span class="nb">puts</span> <span class="ss">CSV</span><span class="p">:</span><span class="ss">:HeaderConverters</span><span class="o">.</span><span class="n">keys</span><span class="o">.</span><span class="n">inspect</span> <span class="c1"># => [:downcase, :symbol]</span>
</span><span class='line'>
</span><span class='line'><span class="c1"># Add new header converter</span>
</span><span class='line'><span class="ss">CSV</span><span class="p">:</span><span class="ss">:HeaderConverters</span><span class="o">[</span><span class="ss">:remap</span><span class="o">]</span> <span class="o">=</span> <span class="nb">lambda</span> <span class="k">do</span> <span class="o">|</span><span class="n">raw_value</span><span class="o">|</span>
</span><span class='line'> <span class="n">raw_value</span> <span class="o">=</span> <span class="n">raw_value</span><span class="o">.</span><span class="n">to_sym</span>
</span><span class='line'> <span class="k">case</span> <span class="n">raw_value</span>
</span><span class='line'> <span class="k">when</span> <span class="ss">:country</span>
</span><span class='line'> <span class="ss">:pais</span>
</span><span class='line'> <span class="k">when</span> <span class="ss">:birthday</span>
</span><span class='line'> <span class="ss">:dt_nascimento</span>
</span><span class='line'> <span class="k">else</span>
</span><span class='line'> <span class="n">raw_value</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'><span class="k">end</span>
</span><span class='line'>
</span><span class='line'><span class="n">table_students</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">table</span><span class="p">(</span><span class="s1">'mock_data.csv'</span><span class="p">,</span> <span class="n">col_sep</span><span class="p">:</span> <span class="s2">","</span><span class="p">,</span> <span class="n">header_converters</span><span class="p">:</span> <span class="ss">:remap</span><span class="p">)</span>
</span><span class='line'><span class="n">table_students</span><span class="o">.</span><span class="n">each</span> <span class="k">do</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span>
</span><span class='line'> <span class="nb">puts</span> <span class="o">[</span><span class="n">row</span><span class="o">.</span><span class="n">fetch</span><span class="p">(</span><span class="ss">:pais</span><span class="p">),</span> <span class="n">row</span><span class="o">.</span><span class="n">fetch</span><span class="p">(</span><span class="ss">:dt_nascimento</span><span class="p">)</span><span class="o">].</span><span class="n">inspect</span> <span class="c1"># => ["GB", "01/06/1993"]</span>
</span><span class='line'><span class="k">end</span>
</span></code></pre></td></tr></table></div></figure>
<p>No exemplo acima, criei o HeaderConverter “remap” que traduz o cabeçalho country para pais e birthday para dt_nascimento. Por padrão, o <code>CSV</code> disponibiliza os converters downcase e symbol, que por sinal são usados quando usamos o método <code>table</code> para ler csv.</p>
<p><a href="http://www.ruby-doc.org/stdlib-1.9.3/libdoc/csv/rdoc/CSV.html#Converters">CSV::Converters</a> segue o mesmo padrão de symbol e block, a única diferença que este é usado para converter os valores da linha. Vamos ao código.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
<span class='line-number'>10</span>
<span class='line-number'>11</span>
<span class='line-number'>12</span>
<span class='line-number'>13</span>
<span class='line-number'>14</span>
<span class='line-number'>15</span>
<span class='line-number'>16</span>
<span class='line-number'>17</span>
<span class='line-number'>18</span>
<span class='line-number'>19</span>
<span class='line-number'>20</span>
<span class='line-number'>21</span>
<span class='line-number'>22</span>
<span class='line-number'>23</span>
<span class='line-number'>24</span>
<span class='line-number'>25</span>
<span class='line-number'>26</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'><span class="nb">require</span> <span class="s1">'date'</span>
</span><span class='line'>
</span><span class='line'><span class="nb">puts</span> <span class="ss">CSV</span><span class="p">:</span><span class="ss">:Converters</span><span class="o">.</span><span class="n">keys</span><span class="o">.</span><span class="n">inspect</span> <span class="c1"># => [:integer, :float, :numeric, :date, :date_time, :all]</span>
</span><span class='line'>
</span><span class='line'><span class="c1"># Add new converter</span>
</span><span class='line'><span class="ss">CSV</span><span class="p">:</span><span class="ss">:Converters</span><span class="o">[</span><span class="ss">:nil_to_empty</span><span class="o">]</span> <span class="o">=</span> <span class="nb">lambda</span> <span class="k">do</span> <span class="o">|</span><span class="n">raw_value</span><span class="o">|</span>
</span><span class='line'> <span class="n">raw_value</span><span class="o">.</span><span class="n">nil?</span> <span class="p">?</span> <span class="s2">""</span> <span class="p">:</span> <span class="n">raw_value</span>
</span><span class='line'><span class="k">end</span>
</span><span class='line'>
</span><span class='line'><span class="c1"># Add new converter</span>
</span><span class='line'><span class="ss">CSV</span><span class="p">:</span><span class="ss">:Converters</span><span class="o">[</span><span class="ss">:brazilian_date</span><span class="o">]</span> <span class="o">=</span> <span class="nb">lambda</span> <span class="k">do</span> <span class="o">|</span><span class="n">raw_value</span><span class="o">|</span>
</span><span class='line'> <span class="k">if</span> <span class="n">raw_value</span> <span class="o">=~</span> <span class="sr">/\d{2}\/\d{2}\/\d{4}/</span>
</span><span class='line'> <span class="no">Date</span><span class="o">.</span><span class="n">strptime</span><span class="p">(</span><span class="n">raw_value</span><span class="p">,</span> <span class="s2">"%d/%m/%Y"</span><span class="p">)</span>
</span><span class='line'> <span class="k">else</span>
</span><span class='line'> <span class="n">raw_value</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'><span class="k">end</span>
</span><span class='line'>
</span><span class='line'><span class="c1"># Group converters</span>
</span><span class='line'><span class="ss">CSV</span><span class="p">:</span><span class="ss">:Converters</span><span class="o">[</span><span class="ss">:my_custom_converters</span><span class="o">]</span> <span class="o">=</span> <span class="o">[</span><span class="ss">:nil_to_empty</span><span class="p">,</span> <span class="ss">:brazilian_date</span><span class="o">]</span>
</span><span class='line'>
</span><span class='line'><span class="n">table_students</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">table</span><span class="p">(</span><span class="s1">'mock_data.csv'</span><span class="p">,</span> <span class="n">col_sep</span><span class="p">:</span> <span class="s2">","</span><span class="p">,</span> <span class="ss">converters</span><span class="p">:</span> <span class="ss">:my_custom_converters</span><span class="p">)</span>
</span><span class='line'><span class="n">table_students</span><span class="o">.</span><span class="n">each</span> <span class="k">do</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span>
</span><span class='line'> <span class="nb">puts</span> <span class="o">[</span><span class="n">row</span><span class="o">.</span><span class="n">fetch</span><span class="p">(</span><span class="ss">:country</span><span class="p">),</span> <span class="n">row</span><span class="o">.</span><span class="n">fetch</span><span class="p">(</span><span class="ss">:birthday</span><span class="p">)</span><span class="o">].</span><span class="n">inspect</span> <span class="c1"># => ["GB", #<Date: 1993-06-01 ((2449140j,0s,0n),+0s,2299161j)>]</span>
</span><span class='line'><span class="k">end</span>
</span></code></pre></td></tr></table></div></figure>
<p>No exemplo acima criei dois converters. Um para trocar nil por “” e o outro que converte para Date caso o valor esteja no formato 99/99/9999.</p>
<h2>Encoding hell com Excel</h2>
<p>Normalmente o csv é usado como meio de integração Excel <=> Sistema. Acontece que o Excel não se dá muito bem com acentos especiais como ãõáé etc. Isto porque estamos em 2014. Acontece que quando há caracteres especiais, a única abordagem que funcionou foi exportar para Unicode text. Neste formato, o encoding do arquivo é UTF-16LE e separado por tab (\t). Este <a href="http://blog.plataformatec.com.br/2009/09/exportando-dados-para-excel-usando-csv-em-um-aplicativo-rails/">post de 2009 da Plataformatec</a> explica com mais detalhes este jeitinho do Excel de ser com os dados. A única diferença de 2009 pra hoje, é que podemos passar o encoding como parâmetro ao ler o arquivo, e por sorte evitar o uso do iconv. Vamos ao código:</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'>
</span><span class='line'><span class="n">table</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">table</span><span class="p">(</span><span class="s1">'mock_unicode.txt'</span><span class="p">,</span>
</span><span class='line'> <span class="n">col_sep</span><span class="p">:</span> <span class="s2">"</span><span class="se">\t</span><span class="s2">"</span><span class="p">,</span> <span class="c1"># tab as delimiter</span>
</span><span class='line'> <span class="ss">encoding</span><span class="p">:</span> <span class="s2">"UTF-16LE:UTF-8"</span><span class="p">)</span> <span class="c1"># read UTF-16LE and convert to UTF-8</span>
</span><span class='line'><span class="n">table</span><span class="o">.</span><span class="n">each</span> <span class="k">do</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span>
</span><span class='line'> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span>
</span><span class='line'><span class="k">end</span>
</span></code></pre></td></tr></table></div></figure>
<h2>Evitando o abuso de memória</h2>
<p>Ao ler arquivos com <code>read</code> ou <code>table</code>, o arquivo é colocado em memória, ou seja, ao processar uma planilha de 100mb, o seu processo ruby vai pra um 100mb e pouco. Agora imagina 20 workers e cada um processando uma planilha de 100mb ou mais, facilmente o seu servidor terá um pico de consumo de memória, o no pior cenário vai dar crash no processo. Para evitar este consumo devemos usar o <code>foreach</code> do <code>CSV</code>.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'>
</span><span class='line'><span class="no">CSV</span><span class="o">.</span><span class="n">foreach</span><span class="p">(</span><span class="s2">"mock_data.csv"</span><span class="p">,</span> <span class="n">col_sep</span><span class="p">:</span> <span class="s2">","</span><span class="p">)</span> <span class="k">do</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span>
</span><span class='line'> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span>
</span><span class='line'><span class="k">end</span>
</span><span class='line'>
</span><span class='line'><span class="c1"># =></span>
</span><span class='line'><span class="c1"># ["id", "name", "country", "birthday"]</span>
</span><span class='line'><span class="c1"># ["1", "Virginia Harvey", "GB", "01/06/1993"]</span>
</span></code></pre></td></tr></table></div></figure>
<p>Desta maneira a leitura é mais otimizada, pois apenas uma linha por vez é lida. O único problema é que perdemos algumas facilidades do <code>table</code>, como os <code>headers</code> e a instância do <code>CSV::Row</code> por linha. Tentando chegar no modelo ideal, montei uma classe que usa o foreach e mesmo assim tem os <code>headers</code> e os <code>rows</code>.</p>
<figure class='code'> <div class="highlight"><table><tr><td class="gutter"><pre class="line-numbers"><span class='line-number'>1</span>
<span class='line-number'>2</span>
<span class='line-number'>3</span>
<span class='line-number'>4</span>
<span class='line-number'>5</span>
<span class='line-number'>6</span>
<span class='line-number'>7</span>
<span class='line-number'>8</span>
<span class='line-number'>9</span>
<span class='line-number'>10</span>
<span class='line-number'>11</span>
<span class='line-number'>12</span>
<span class='line-number'>13</span>
<span class='line-number'>14</span>
<span class='line-number'>15</span>
<span class='line-number'>16</span>
<span class='line-number'>17</span>
<span class='line-number'>18</span>
<span class='line-number'>19</span>
<span class='line-number'>20</span>
<span class='line-number'>21</span>
<span class='line-number'>22</span>
<span class='line-number'>23</span>
<span class='line-number'>24</span>
<span class='line-number'>25</span>
<span class='line-number'>26</span>
<span class='line-number'>27</span>
<span class='line-number'>28</span>
<span class='line-number'>29</span>
<span class='line-number'>30</span>
<span class='line-number'>31</span>
<span class='line-number'>32</span>
<span class='line-number'>33</span>
<span class='line-number'>34</span>
<span class='line-number'>35</span>
<span class='line-number'>36</span>
<span class='line-number'>37</span>
<span class='line-number'>38</span>
<span class='line-number'>39</span>
<span class='line-number'>40</span>
<span class='line-number'>41</span>
<span class='line-number'>42</span>
<span class='line-number'>43</span>
<span class='line-number'>44</span>
<span class='line-number'>45</span>
<span class='line-number'>46</span>
<span class='line-number'>47</span>
<span class='line-number'>48</span>
<span class='line-number'>49</span>
<span class='line-number'>50</span>
<span class='line-number'>51</span>
<span class='line-number'>52</span>
<span class='line-number'>53</span>
<span class='line-number'>54</span>
<span class='line-number'>55</span>
<span class='line-number'>56</span>
<span class='line-number'>57</span>
<span class='line-number'>58</span>
<span class='line-number'>59</span>
<span class='line-number'>60</span>
</pre></td><td class='code'><pre><code class='ruby'><span class='line'><span class="nb">require</span> <span class="s1">'csv'</span>
</span><span class='line'>
</span><span class='line'><span class="k">class</span> <span class="nc">SheetReader</span>
</span><span class='line'>
</span><span class='line'> <span class="kp">attr_reader</span> <span class="ss">:headers</span>
</span><span class='line'>
</span><span class='line'> <span class="k">def</span> <span class="nf">initialize</span><span class="p">(</span><span class="n">filepath</span><span class="p">)</span>
</span><span class='line'> <span class="c1"># options to read unicode text file</span>
</span><span class='line'> <span class="c1"># options = {</span>
</span><span class='line'> <span class="c1"># col_sep: "\t",</span>
</span><span class='line'> <span class="c1"># skip_blanks: true,</span>
</span><span class='line'> <span class="c1"># encoding: "UTF-16LE:UTF-8",</span>
</span><span class='line'> <span class="c1"># converters: []</span>
</span><span class='line'> <span class="c1"># }</span>
</span><span class='line'> <span class="n">options</span> <span class="o">=</span> <span class="p">{</span><span class="n">col_sep</span><span class="p">:</span> <span class="s2">","</span><span class="p">,</span> <span class="ss">converters</span><span class="p">:</span> <span class="o">[]</span><span class="p">}</span>
</span><span class='line'> <span class="vi">@csv_reader</span> <span class="o">=</span> <span class="no">CSV</span><span class="o">.</span><span class="n">foreach</span><span class="p">(</span><span class="n">filepath</span><span class="p">,</span> <span class="n">options</span><span class="p">)</span> <span class="c1"># gets a iterator</span>
</span><span class='line'> <span class="vi">@headers</span> <span class="o">=</span> <span class="n">convert_headers</span><span class="p">(</span><span class="vi">@csv_reader</span><span class="o">.</span><span class="n">next</span><span class="p">)</span> <span class="c1"># read first line</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'>
</span><span class='line'> <span class="c1"># yield an instance of http://ruby-doc.org/stdlib-2.1.0/libdoc/csv/rdoc/CSV/Row.html</span>
</span><span class='line'> <span class="k">def</span> <span class="nf">each_row</span><span class="p">(</span><span class="o">&</span><span class="n">block</span><span class="p">)</span>
</span><span class='line'> <span class="k">begin</span>
</span><span class='line'> <span class="k">while</span> <span class="kp">true</span>
</span><span class='line'> <span class="n">raw_row</span> <span class="o">=</span> <span class="vi">@csv_reader</span><span class="o">.</span><span class="n">next</span> <span class="c1"># raise StopIteration in EOF</span>
</span><span class='line'> <span class="k">yield</span> <span class="ss">CSV</span><span class="p">:</span><span class="ss">:Row</span><span class="o">.</span><span class="n">new</span><span class="p">(</span><span class="n">headers</span><span class="p">,</span> <span class="n">raw_row</span><span class="p">)</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'> <span class="k">rescue</span> <span class="no">StopIteration</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'>
</span><span class='line'> <span class="kp">protected</span>
</span><span class='line'>
</span><span class='line'> <span class="c1"># Internal: Convert headers to Array of symbols.</span>
</span><span class='line'> <span class="c1">#</span>
</span><span class='line'> <span class="c1"># raw_headers - Array of Strings.</span>
</span><span class='line'> <span class="c1">#</span>
</span><span class='line'> <span class="c1"># Examples</span>
</span><span class='line'> <span class="c1">#</span>
</span><span class='line'> <span class="c1"># convert_headers(["ATIVO", "NOME COMERCIAL"])</span>
</span><span class='line'> <span class="c1"># # => [:ativo, :nome_comercial]</span>
</span><span class='line'> <span class="c1">#</span>
</span><span class='line'> <span class="c1"># Returns Array of symbols.</span>
</span><span class='line'> <span class="k">def</span> <span class="nf">convert_headers</span><span class="p">(</span><span class="n">raw_headers</span><span class="p">)</span>
</span><span class='line'> <span class="n">raw_headers</span><span class="o">.</span><span class="n">compact!</span> <span class="c1"># removes nil values</span>
</span><span class='line'> <span class="n">converter</span> <span class="o">=</span> <span class="nb">lambda</span> <span class="k">do</span> <span class="o">|</span><span class="n">header</span><span class="o">|</span>
</span><span class='line'> <span class="n">header_converters</span> <span class="o">=</span> <span class="ss">CSV</span><span class="p">:</span><span class="ss">:HeaderConverters</span><span class="o">.</span><span class="n">values</span>
</span><span class='line'> <span class="n">header_converters</span><span class="o">.</span><span class="n">inject</span><span class="p">(</span><span class="n">header</span><span class="p">)</span> <span class="k">do</span> <span class="o">|</span><span class="n">header</span><span class="p">,</span> <span class="n">converter_proc</span><span class="o">|</span>
</span><span class='line'> <span class="n">converter_proc</span><span class="o">.</span><span class="n">call</span><span class="p">(</span><span class="n">header</span><span class="p">)</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'>
</span><span class='line'> <span class="n">raw_headers</span><span class="o">.</span><span class="n">map</span> <span class="p">{</span> <span class="o">|</span><span class="n">header</span><span class="o">|</span> <span class="n">converter</span><span class="o">.</span><span class="n">call</span><span class="p">(</span><span class="n">header</span><span class="p">)</span> <span class="p">}</span>
</span><span class='line'> <span class="k">end</span>
</span><span class='line'><span class="k">end</span>
</span><span class='line'>
</span><span class='line'><span class="n">reader</span> <span class="o">=</span> <span class="no">SheetReader</span><span class="o">.</span><span class="n">new</span><span class="p">(</span><span class="s1">'mock_data.csv'</span><span class="p">)</span>
</span><span class='line'><span class="n">reader</span><span class="o">.</span><span class="n">headers</span> <span class="c1"># => [:id, :name, :country, :birthday]</span>
</span><span class='line'><span class="n">reader</span><span class="o">.</span><span class="n">each_row</span> <span class="k">do</span> <span class="o">|</span><span class="n">row</span><span class="o">|</span>
</span><span class='line'> <span class="nb">puts</span> <span class="n">row</span><span class="o">.</span><span class="n">inspect</span> <span class="c1"># => #<CSV::Row id:"1" name:"Virginia Harvey" country:"GB" birthday:"01/06/1993"></span>
</span><span class='line'><span class="k">end</span>
</span></code></pre></td></tr></table></div></figure>
<p>Por último, uma observação importante: todo este código acima foi rodado no ruby 2.1.0. Espero que este mini guia de como ler arquivo csv com Ruby te ajude.
Segue alguns links com mais informações:</p>
<ul>
<li><a href="http://www.sitepoint.com/guide-ruby-csv-library-part/">http://www.sitepoint.com/guide-ruby-csv-library-part/</a></li>
<li><a href="http://www.sitepoint.com/guide-ruby-csv-library-part-2/">http://www.sitepoint.com/guide-ruby-csv-library-part-2/</a></li>
<li><a href="http://technicalpickles.com/posts/parsing-csv-with-ruby/">http://technicalpickles.com/posts/parsing-csv-with-ruby/</a></li>
<li><a href="http://blog.plataformatec.com.br/2009/09/exportando-dados-para-excel-usando-csv-em-um-aplicativo-rails/">http://blog.plataformatec.com.br/2009/09/exportando-dados-para-excel-usando-csv-em-um-aplicativo-rails/</a></li>
</ul>
<p>Dúvidas, sugestões ou qualquer outra coisa. Deixe um comentário ou se preferir, mande um <a href="https://twitter.com/rogerleite">tweety!</a> :D</p>
]]></content>
</entry>
<entry>
<title type="html"><![CDATA[Extraindo dados da Internet com Clojure]]></title>
<link href="http://1up4dev.org/2014/10/extraindo_dados_da_internet_com_clojure/"/>
<updated>2014-10-28T12:10:00-02:00</updated>
<id>http://1up4dev.org/2014/10/extraindo_dados_da_internet_com_clojure</id>
<content type="html"><![CDATA[<h2>O problema</h2>
<p>A Internet é um repositórios de dados gigantesco e frequentemente precisamos extrair algo que nos interessa de maneira automatizada. O grande problema é que esses dados normalmente são apresentados de forma não estruturada, e precisamos utilizar uma técnica chamada <em>scrapping</em>, que consiste em abrir uma página, carregar o HTML e navegar dentro desse código para extrair o que precisamos.</p>
<p>Com o uso das ferramentas certas isso não é complicado, mas pode ser trabalhoso e, uma vez que a página que você estiver lendo altere alguma coisa em sua estrutura, você terá que adaptar seu código às mudanças.</p>
<p>Vamos apresentar um exemplo simples, mas que vai te dar uma boa base de como extrair dados de uma página utilizando Clojure.</p>
<h2>Quem escreveu mais livros na Casa do Código?</h2>
<p>A Casa do Código é uma editora brasileira especializada em livros para desenvolvedores de software, empreendedores e webdesigners. Seus autores são profissionais conhecidos em suas respectivas áreas e precisamos saber quais deles escreveram mais livros.</p>
<p>Para isso, vamos abrir a página inicial da editora em <a href="http://www.casadocodigo.com.br/,">http://www.casadocodigo.com.br/,</a> que contém links para todos os livros publicados até o momento. Com esses links em mãos, vamos entrar em cada um deles e extrair os nomes dos autores para em seguida agrupá-los e apresentarmos o resultado.</p>
<h3>Como fazer</h3>
<blockquote><p>É necessário ter algum conhecimento de Clojure e Leiningen para poder acompanhar este post. Dê uma lida no texto <a href="http://1up4dev.org/2014/09/magica-com-o-repl-do-clojure/">Fazendo mágica com o REPL do Clojure</a> para aprender como criar um projeto.</p></blockquote>
<p>Vamos criar um projeto chamado <code>autores</code>, definir o namespace inicial e adicionar a biblioteca <em>Enlive</em>, que vai nos permitir extrair os dados que queremos de dentro do código HTML. O nosso arquivo project.clj vai ficar parecido com o exemplo abaixo:</p>
<pre><code>(defproject autores "0.1.0-SNAPSHOT"
; informações de licença e descrição do projeto
:dependencies [[org.clojure/clojure "1.6.0"]
[enlive "1.1.5"]]
:main autores.core)
</code></pre>
<p>Enlive é uma biblioteca criada por Christophe Grand, coautor de Clojure Programming, que permite que você gere código HTML escrevendo em Clojure, e permite também que você extraia textos de um arquivo HTML já existente.</p>
<p>Para utilizarmos o Enlive em nosso código, vamos referenciar as funções na nossa declaração de namespace. Vamos também adicionar o <em>Pretty Print</em> para exibir o resultado formatado e as bibliotecas do <em>clojure.string</em> para manipularmos o texto. Também vamos precisar importar a classe <code>java.net.URL</code> para tratarmos o endereço do site. Nosso código então começa assim:</p>
<pre><code>(ns autores.core
(:require [clojure.pprint :as pp]
[net.cgrand.enlive-html :as en]
[clojure.string :as str])
(:import [java.net URL]))
</code></pre>
<p>O primeiro passo é varrer a página inicial da editora e extrair os links dos livros. Abrindo o código fonte da página, percebemos que ela tem a seguinte estrutura, que aqui está devidamente resumida para fins de apresentação:</p>
<pre><code><html>
<head>
<!-- titulo, meta, etc -->
</head>
<body>
<nav>
<!-- menu do topo -->
</nav>
<section>
<!-- links e imagens com os livros -->
</section>
<footer>
<!-- menu do rodapé -->
</footer>
</body>
</html>
</code></pre>
<p>Visualmente, a página tem a aparência da imagem abaixo:</p>
<p><img src="http://1up4dev.org/images/uploads/2014/10/cdc-parts.png" alt="/images/uploads/2014/10/cdc-parts.png" /></p>
<p>Felizmente a página está bem estruturada e todos os links que nos interessam estão dentro da área <code>section</code>, o que vai nos poupar trabalho.</p>
<p>Vamos criar uma função chamada <code>get-links</code>, que vai receber a URL do site em formato texto e vamos extrair todo o código HTML usando a função <code>html-resource</code> do Enlive.</p>
<pre><code>(defn- get-links [url]
(en/html-resource (URL. url)))
</code></pre>
<p>Perceba que a função <code>html-resource</code> exige que você converta a URL de texto para um objeto <code>java.net.URL</code>, para só então o passarmos como parâmetro para o Enlive.</p>
<p>Para evitar que o encadeamento de muitas funções torne o código difícil de ler, vamos alterá-lo para utilizar o operador <code>-></code> e vamos guardar o resultado em um <em>binding</em> chamado <code>links</code>. Perceba que essa abordagem permite que possamos adicionar funções no final da lista de argumentos de <code>-></code> sem diminuir a legibilidade do código.</p>
<pre><code>(defn- get-links [url]
(let [links (-> url
URL.
en/html-resource)]
(pp/pprint links)))
</code></pre>
<p>Vamos então usar a função <code>select</code>, também do Enlive, que recebe como argumento um <em>vector</em> com as tags que você deseja extrair. Nós queremos somente os links, formados pela tag <code><a></a></code>, que estão contidas entre <code><section></code> e <code></section></code>.</p>
<pre><code>(defn- get-links [url]
(let [links (-> url
URL.
en/html-resource
(en/select [:body :section :a]))]))
</code></pre>
<p>A função <code>select</code> vai nos retornar uma lista contendo um <em>map</em> para cada elemento HTML que obedecer aos nossos requisitos. Cada <em>map</em> tem um item <code>:attrs</code> que contém os atributos da tag HTML, incluindo a página para a qual o link está apontando. Ainda dentro da função <code>get-links</code>, vamos converter essa lista de mapas em uma lista que contenha apenas os endereços e para isso vamos usar a função <code>map</code>, que recebe como parâmetros a função que vai transformar cada item da lista e a lista a ser transformada. Para fins de didática, vamos suprimir o código que está dentro de <code>let</code>, para só no final da explicação mostrarmos a função completa.</p>
<pre><code> (map #((% :attrs) :href)
links)
</code></pre>
<p>Agora nossa função está retornando uma lista de links como na listagem abaixo, devidamente resumida:</p>
<pre><code>("/products/livro-programador-apaixonado"
"/products/livro-aspnet-mvc"
"/products/livro-jpa-eficaz"
"/products/livro-photoshop"
"/products/colecao-frameworks-java"
...
"/products/livro-ciencia-da-computacao-com-jogos"
"/products/vale-presente")
</code></pre>
<p>Os links são relativos à URL da página inicial, então vamos adicionar o endereço que que foi passado para a função <code>get-links</code> para torná-los absolutos. Note que nessa lista existem links que não são de livros, mas de coleções e do vale presente. Podemos eliminá-los usando a função <code>filter</code>, que recebe como parâmetros uma função que retorna <code>true</code> ou <code>false</code> de acordo com cada item da lista, e a lista a ser filtrada que é passada como terceiro parâmetro. Os itens que fizerem a função retornar <code>true</code> ficam, e os demais não são incluidos.</p>
<pre><code>(filter
#(. % contains "livro")
(map #(str url ((% :attrs) :href))
links))
</code></pre>
<p>E agora nossa função retorna os endereços absolutos de todos os livros da editora, conforme a listagem abaixo:</p>
<pre><code>("http://www.casadocodigo.com.br/products/livro-programador-apaixonado"
"http://www.casadocodigo.com.br/products/livro-aspnet-mvc"
"http://www.casadocodigo.com.br/products/livro-jpa-eficaz"
"http://www.casadocodigo.com.br/products/livro-photoshop"
...
"http://www.casadocodigo.com.br/products/livro-ciencia-da-computacao-com-jogos")
</code></pre>
<p>Agora que concluímos o primeiro passo da nossa pesquisa, vamos editar o código da nossa função <code>main</code> para que a função <code>get-links</code> seja chamada:</p>
<pre><code>(defn -main [& args]
(pp/pprint
(get-links "http://www.casadocodigo.com.br")))
</code></pre>
<p>Vamos criar agora uma função chamada <code>get-author</code>, que vai receber cada um dos links e, usando as funções do Enlive que já conhecemos, vai extrair o nome do autor, ou dos autores, de cada um dos livros.</p>
<p>Os nomes dos autores ficam dentro de uma tag <code>span</code> marcada com a classe <code>product-author-link</code>. Mais uma vez o site bem construído nos ajuda na tarefa. Para pesquisarmos uma tag que esteja utilizando determinada classe, vamos separar tag e classe com um ponto final, como se fosse um arquivo CSS. Assim, o nosso <code>span</code> com a classe <code>product-author-link</code> vai virar <code>:span.product-author-link</code>. O código inicial não vai ficar muito diferente do que fizemos em <code>get-links</code>:</p>
<pre><code>(defn- get-author [url]
(let [authors (-> url
URL.
en/html-resource
(en/select [:span.product-author-link]))]
(pp/pprint authors)))
</code></pre>
<p>Vamos usar o link do primeiro livro para testar. O resultado traz toda a informação da tag <code>span</code> dentro de um map que está dentro de uma lista, e não só o nome do autor.</p>
<pre><code>(get-author "http://www.casadocodigo.com.br/products/livro-programador-apaixonado")
({:tag :span,
:attrs {:class "product-author-link"},
:content
("\n \n Chad Fowler\n \n ")})
</code></pre>
<p>Novamente vamos suprimir o código que está dentro do <code>let</code> para não poluir o texto. Vamos selecionar o <em>map</em> que está dentro da lista usando a função <code>first</code> e, em seguida, utilizar somente o valor que está na chave <code>:content</code>:</p>
<pre><code>((first authors) :content)
</code></pre>
<p>O valor que estava em <code>:content</code> também é uma lista contendo o nome do autor. Além do nome do autor, o texto está poluído com quebras de linhas, simbolizado por <code>\n</code> e espaços em branco. Vamos utilizar a função <code>replace</code> do namespace <code>clojure.string</code> para remover esses caracteres indesejados. Essa função recebe como parâmetros o texto original, uma expressão regular indicando o que deve ser alterado e, por último, o texto a ser utilizado na alteração.</p>
<p>Vamos utilizar o operador <code>-></code> para facilitar a leitura:</p>
<pre><code>(-> ((first authors) :content)
first
(str/replace #"(\n| )" ""))
</code></pre>
<p>Ao executar a função, temos o nome do autor limpo e sem caracteres indesejados:</p>
<pre><code>(get-author "http://www.casadocodigo.com.br/products/livro-programador-apaixonado")
=> "Chad Fowler"
</code></pre>
<p>Tudo certo quando estamos lidando com um livro escrito por apenas um autor, mas quando temos coautorias a nossa função já não faz o que é esperado. Por exemplo, no livro de ASP.NET MVC, nossa função retorna o autor como <code>Fabrício Sanchez e Márcio Fábio Althmann</code>, e no livro de Lógica de Programação temos <code>Paulo Silveira, Adriano Almeida</code>. Tanto <code>,</code> como <code>e</code> são usados para separar os nomes dos autores.
Vamos fazer a nossa função retornar um <em>vector</em> com os nomes dos autores separados utilizando a função <code>split</code>, do namespace <code>clojure.string</code>. Essa função recebe como argumentos o texto a ser dividido e uma expressão regular indicando onde o texto deve ser dividido:</p>
<pre><code>(-> ((first authors) :content)
first
(str/replace #"(\n| )" "")
(str/split #"(, | e )"))
</code></pre>
<p>Agora temos os nomes dos autores separados corretamente dentro um <em>vector</em>, como no exemplo abaixo:</p>
<pre><code>(get-author "http://www.casadocodigo.com.br/products/livro-programacao")
=> ["Paulo Silveira" "Adriano Almeida"]
</code></pre>
<p>Voltando à nossa função <code>-main</code>, vamos fazer com que a função <code>get-author</code> pega os autores de cada um dos links retornados pela função <code>get-links</code>. Vamos usar o operador <code>->></code> para deixar mais fácil de entender as transformações que estamos fazendo nos dados. A diferença para o <code>-></code> é que o operador <code>->></code> passa o resultado da expressão como último parâmetro da expressão seguinte, enquanto o operador <code>-></code> passa como primeiro. Isso é necessário para podermos passar a lista retornada por <code>get-links</code> para a função <code>map</code> da expressão seguinte:</p>
<pre><code>(defn -main [& args]
(pp/pprint
(->> "http://www.casadocodigo.com.br"
get-links
(map get-author))))
</code></pre>
<p>A nossa função <code>-main</code> retornou uma lista contendo vários <em>vector</em> com os nomes dos autores. Um livro com mais de um autor vai retornar um <em>vector</em> com mais de um nome.</p>
<pre><code>(["Chad Fowler"]
["Fabrício Sanchez" "Márcio Fábio Althmann"]
...
["Mauricio Tollin" "Rodrigo Gomes" "Anderson Leite"]
...
["André Backes"]
["Bruno Feijó" "Esteban Clua" "Flávio S. Correa da Silva"])
</code></pre>
<p>Vamos utilizar a função <code>flatten</code> para converter essa lista de <em>vectors</em> de diversos tamanhos em uma lista de uma dimensão. Isso vai nos permitir calcular quantas vezes cada nome aparece na lista por meio da função <code>frequencies</code>. Como cada vez que o nome aparece é um livro escrito por aquele autor, podemos entender que <code>frequencies</code> vai atribuir o número de livros que aquele autor tem publicado pela Casa do Código:</p>
<pre><code>(defn -main [& args]
(pp/pprint
(->> "http://www.casadocodigo.com.br"
get-links
(map get-author)
flatten
frequencies)))
</code></pre>
<p>Agora temos uma lista não ordenada com o nome do autor e a quantidade de livros publicados:</p>
<pre><code>{"Caio Ribeiro Pereira" 1,
"Fabrício Sanchez" 1,
"Alexandre Saudate" 2,
"Chad Fowler" 1,
...
"Gabriel Schade Cardoso" 1,
"Guilherme Moreira" 1}
</code></pre>
<p>Nosso próximo passo é ordenar essa lista, deixando os autores com maior número de livros no topo. Para isso vamos usar a função <code>sort</code>, que permite que você informe uma função para selecionar o critério de ordenação, que no nosso caso vai ser a função <code>last</code>, que retorna o último item de uma lista, e também a função que vai ser usada para comparar um item com outro e definir quem vem primeiro, que nosso caso vai ser <code>></code>. No caso do <code>last</code>, convém deixar claro que vamos pegar o último item do que vai ser comparado. No caso de <code>"Caio Ribeiro Pereira" 1</code>, o último item é o número 1. Se quisessemos ordenar por nome, usariámos a função <code>first</code>.</p>
<p>Em seguida vamos dividir essa lista em <em>n</em> grupos, de acordo com a quantidade de livros publicados usando a função <code>partition-by</code>. No nosso exemplo teremos um grupo com autores que tenham dois livros publicados e outro com autores com apenas um livro. Como nos interessa apenas os autores que mais publicaram livros, vamos usar a função <code>first</code> para selecionarmos apenas o primeiro grupo. Com isso nosso código ficará assim:</p>
<pre><code>(defn -main [& args]
(pp/pprint
(->> "http://www.casadocodigo.com.br"
get-links
(map get-author)
flatten
frequencies
(sort-by last >)
(partition-by last)
first)))
</code></pre>
<p>Agora temos o resultado abaixo:</p>
<pre><code>(["Alexandre Saudate" 2]
["Sérgio Lopes" 2]
["Paulo Silveira" 2]
["Tárcio Zemel" 2]
["Anderson Leite" 2]
["Mauricio Aniche" 2]
["Gilliard Cordeiro" 2]
["Hébert Coelho" 2]
["Eduardo Guerra" 2]
["Rafael Steil" 2])
</code></pre>
<p>Agora que temos a lista dos maiores autores, vamos otimizar um o nosso código adicionando uma dose de processamento paralelo. Note que a função <code>get-links</code> retorna uma lista de endereços que é passada como parâmetro para a função <code>map</code>, que passa endereço por endereço para a função <code>get-author</code>, sequencialmente. Se trocarmos <code>map</code> por <code>pmap</code>, serão criadas threads que executarão <code>get-author</code> em paralelo, melhorando o tempo total do nosso código. A quantidade de thread criadas por <code>pmap</code> está diretamente ligada ao número de núcleos ou processadores que sua máquina tiver.</p>
<p>Porém, o uso de <code>pmap</code> pode trazer um problema: é comum que a aplicação fique congelada por até um minuto após a execução do <code>pmap</code> por conta de questões internas de timeout de threads e configurações do pool utilizado pelo Clojure. Para resolver isso, devemos solicitar ao Clojure que finalize todas as thread que não estiverem sendo usadas, liberando-as para que o programa possa ser encerrado. Para isso usamos a função <code>shutdown-agents</code> na última linha da função <code>-main</code>.</p>
<p>Agora temos o nosso código funcionando alguns segundos mais rápido e trazendo os autores que mais publicaram livros pela Casa do Código.</p>
<h3>Código completo</h3>
<pre><code>(ns autores.core
(:require [clojure.pprint :as pp]
[net.cgrand.enlive-html :as en]
[clojure.string :as str])
(:import [java.net URL]))
(defn- get-links [url]
(let [links (-> url
URL.
en/html-resource
(en/select [:body :section :a]))]
(filter
#(. % contains "livro")
(map #(str url ((% :attrs) :href))
links))))
(defn- get-author [url]
(let [authors (-> url
URL.
en/html-resource
(en/select [:span.product-author-link]))]
(str/split
(str/replace
(first
((first authors) :content))
#"(\n| )" "")
#"(, | e )")))
(defn -main [& args]
(println "Os autores com mais publicações na Casa do Código:")
(pp/pprint
(->> "http://www.casadocodigo.com.br"
get-links
(pmap get-author)
flatten
frequencies
(sort-by last >)
(partition-by last)
first))
(shutdown-agents))
</code></pre>