Posted on Oct 5, 2017 | 0 comments

Mi-a apărut un nou articol în rubrica ”Psihologul Bihoreanului”: Feluri în care atacă narcisiștii”.

În rest am tot lucrat în BASH și gnuplot zilele trecute. Am avut de făcut ceva calcule statistice pe câteva site-uri (ponderea de cuvinte în text, grafice cu variabile date, chestii de-astea). Așa că download întregul site (că acces la SQL din părți), cu output elegant, cu waitretry setat la 61 de secunde ca să nu ne blocheze serverul, fără imagini, PDF-uri și alte chestii inutile, la o adâncime de 7 nivele:

wget -cv --progress=bar --connect-timeout=30 --force-directories --ignore-length -r -l 7 --convert-links --waitretry=61 -R gif,jpg,png,svg,pdf http://site.com

Apoi am folosit html2text ca să convertesc HTML-urile rezultate în text. Apoi am scăpat de diacritice și alte simboluri cu

iconv -f utf8 -t ascii//TRANSLIT file.txt

După care am folosit uniq ca să periez textul mai bine, după ce-am dat un bulk cat la toate TXT-urile în așa fel încât tot textul să intre într-un fișier de vreo 1GB:

cat file.txt | tr '[:punct:]' ' ' | tr 'A-Z' 'a-z' | tr -s ' ' | tr ' ' '\n' | sort | uniq -c | sort -rn

Aveam nevoie de cuvinte mai mici de 20 de caractere (ca să scap de url-uri sau alte chestii rămase prin text):

awk 'length<20' file.txt > newfile.txt

După care băgat totul într-un CSV comma-delimited, importat în SPSS și făcut plot-uri, medii, chestii de-astea:

sed 's/ \+/,/g' file.txt > file.csv

So yea – it’s been fun. uniq e fain, că-mi generează în coloană separată incidența cuvântului în text. Vreau să repet faza de mai sus dar de data asta în Python. Și tot încercam să generez plot-uri mai arătoase în gnuplot (ceva 3D, mai acătării, ca cel de mai jos) și numai nu iese cum vreau eu scriptul. Partea bună e că poate importa direct CSV-uri cu

set datafile separator ","

/Later edit: Done. În Adobe Illustrator, deși am planuri cu D3.js și Python mai târziu:

In other news, cabinetul meu de psihologie intră în renovare azi și sper să fie gata în vreo două zile. Cum aveam nevoie de schița arhitecturală și nu aveam acces la ea, am măsurat eu pe-acolo și am realizat-o în SweetHome3D (ceva aplicație Linux tare mișto care generează și o randare 3D a mediului alături de schița arhitecturală). Pe scurt, arată cam așa:

Am tot gătit zilele trecute (paste, salate, niscaiva hamburgheri și cheeseburgeri, tort de ciocolată, churros, supe):

Și mai nou am devenit Technical Editor la două reviste de psihologie: ”Journal of Psychological and Educational Research” (JPER) și ”International Journal of Education and Psychology in the Community” (IJEPC).

Mă pun zilele astea pe citit cărți de sociologie. Acum că-s la doctorat dau iama în Bourdieu (”Homo Academicus”) și alții.

Ieri seară m-a anunțat track & trace-ul Poștei Române că în sfârșit mi-a ajuns camera de supraveghere WiFi cu IP propriu. O comandasem de peste cinci săptămâni. Văd cu surprindere că stochează și pe card MicroSD, which is nice.

Dar ce aștept să vină în săptămânile următoare e un convertor FTDI FT232RL USB To TTL (cca. $1, lol) cu care să pot pune un firmware Linux-based pe cele două prize WiFi de săptămânile trecute. Gen dau ping să pice curentul.

Good times.