May 16, 2023

Tapster — Robot as a Service 🤖

🇺🇸 – Tuesday, August, 28th 2018

Keywords: #Tapster, #automation, #robots, #DIY, #tests

Disclaimer: I have no stocks in Tapster Robotics, Inc. and I wrote this article because I contributed to a project in my personal spare time which to my mind must be more known. I had the chance and the great opportunity to contribute to a free and open source project: the Tapster robot designed by Tapster Robotics, Inc. Because it was rich and exciting, I wanted to write down the experience I had with this project. I won’t talk about the robot’s initialization, but this wiki page is clear and effective.

1 — First thing, why such robot?

Web app, Android app and robot

When I got my new job, I made some researches about the state of the art of automation and tests tools, quite useful for us — developers. I found a strange but fun project (mainly thanks to this article): a real robot which was able to tap on smartphones screens. The project was also free, open source and open hardware (wow!) and we could be able to build a new one using 3D printers. However I found something was missing. Basically the robot was driven by a Node.js server which receives HTTP requests, but there were no clients to use so as to send such requests, what a pity. Lucky strike I am a developer, so did I choose to work on apps in my own leisure time so as to enrich this project. Second lucky strike, in my team at Orange Group, we have to create tools in order to test and validate innovative products and services, and I succeeded later in introducing this robot in my team. Here the fun starts!

2 — The core of the bot, it’s server

The basic features of the robot were cool yet. If we dive in the legacy GitHub repository (or this one) we find several basic features such defining 3D position of the robot’s finger, changing its arms angles, tap on coordinates… The problem was the missing of other types of moves we might need for testing purposes. Thus the robot’s server was upgraded with new features: tap several times on a point, double tap, make swipes, tap on random points or draw patterns. The new server was used as a base for the following clients.

3 — {AT | T} Driven Development

When you are worried about the quality of your product, you may set up some processes like ATDD (Acceptance Test Driven Development), TDD (Test Driven Development) or BDD (Behavior Driven Development). If we focus on ATDD or TDD, we can find powerful and efficient tools to write tests. If we are looking for acceptance tests Robot Framework does the job. If we want instrumented tests for mobile apps we can use UI Automator / Espresso, Selenium or Appium. And for unit tests you can get a lot of libraries like JUnit. The thing is Robot Framework uses third party tools (guess what? Appium for example) to process tests on mobile apps. And what if this framework was able to deal with a Tapster robot? Challenge completed, keywords have been implemented. They provide to people in charge of tests several routes to the robot’s API so as to make gestures on apps. And when if we combine these keywords with Appium’s, the level of abstraction allows to make the robot interact with the app-under-test easier. New features have been added like stress taps and stress swipes (useful for monkey tests) and interactions with UI widgets using their ID, texts or Xpath. In other words these keywords helped a lot.

Robot Framework source code

4 — Automation is good, mostly with scripting

DevOps is a nowadays well-known process improving the way of working and the communication between the developers team and the ops team. In order to automate all the tests, integration and validation steps for a product, Jenkins is generally used. One of its benefits is the ability to trigger scripts, e.g. written in Python, so as to executed tasks. Because we wanted to use the robot (i.e. send HTTP requests to its server) without additional glue, a Python client has been implemented. People want to have an interactive mode? No problem. Some of them want to execute always defined commands? Implemented. With this efficient scripting language and the Jenkins scheduler it was possible to automate interactions on a smartphone using the robot.

Command Line Interface

5 —Think to your colleagues, think GUI...

OK I am a developer so do I work using GNU/Linux-based OS and the console is one of my best friends. But you may have colleagues who are not developers, and they do not use console-based softwares at all, only tools with a lovely and shiny graphical user interface. In addition if I want to animate showcases, graphical clients are sexier. For these reasons Android and Web apps have been implemented and they provide a handy use: to drive remotely the robot through Wi-Fi connections ; quite useful if your computer and the robot are in a corner while you talk to attendees, or drink a pint of beer behind a kakemono.

The Android app

The web app

6 — Hey bot!

Someday I was bored to always trigger the same commands so as to test the features. It was quite annoying to make always the same moves (that is the reason why robots have been created, haven’t they?) and a idea appeared: and what if an assistant was integrated inside the Android app? What if I were able to… talk to the robot? So let’s go to implement an assistant, but which one? For sure Google Assistant… Joking! The chosen one was Snips. Snips is an off-the-grid solution of assistant implementing both ASR (Automatic Speech Recognition) and NLU (Natural Language Understanding). Nothing is done in a foreign cloud you don’t own, in fact nothing is done in a cloud. Operations are proceeded locally, thus the solution is respectful of your private life. You can define several intents for your assistant, train it and also trigger actions. Once defined you just have to download the assets and use the binaries (dedicated to your platform) in order to process your voice and make the match between what you said and what thing should be done. The solutions is quite incredible, and you have a high degree of customization making GAFAM’s solutions not so exciting. After having defined the french and the english assistants, they have been integrated to the Android app, and the result is quite fun :–) (if you understand french, see this video).

The Snips board

→ And so what?

This project is amazing. Firstly the model 2 of the robot is free, open source, open hardware and not expensive to build. Licenses in use are MIT and BSD 2-Clause, and several forks (still-alive-or-dead) exist. Secondly even if the model 2 is not enough for you, you can improve it to your needs or use another model: the Tapster Sidekick (see this video, this one and this). Then, the robot helped for certain test cases. In fact common testing softwares can fail to trigger events (tap, swipe, …) on secured elements like SIM card-displayed-widgets. With more and more secured apps we might need hardware-based tools to complete tests and enhance the quality workflows.

But to my mind a tricky part about the robot is the calibration. Indeed the robot is agnostic: it doesn’t care about the model of smartphone you are using (or tablet) or its OS. In fact if you say to the robot to tap to (x,y), it will tap to (x,y). That’s all. (x,y) might be a point outside the screen, or a different point you want to click on. That is the reason why you have to calibrate the robot according to a device model, and that point has also been improved.

However a regret can remain about Appium.

Few years ago the version 1.4 of Appium was able to deal with a Tapster robot. But with the massive refactoring (based on axes and chain saws) of Appium with its version 1.5 the code dealing with the robot has been withdrawn, and its milestone deprecated. Thus it could be cool to integrate again the robot management in this tool… who’s on it?

If you are looking for resources, feel free to follow these links:

Slidedeck used in a meetup of the Google Developers Group Code d’Armor
Legacy GitHub repository of Tapster
The original wiki of Tapster, it’s website and Twitter profile
The Tindie shop to buy a robot
My own fork with all these evolutions and its wiki
A very simple example of use case

— Last update: Tuesday, May, 23th 2023 Previously on Medium and paper.wf —

Did you enjoy reading this blog? Give me a beer 🍺 or use something else ❤️‍🔥 Licensed under CC-BY-SA 4.0 Opinions are my own, even if I have some interests. For any comment or to contact me, feel free to choose the most suitable medium for you.

May 16, 2023

Privacy or sensitive data… a list of tools to protect your дѕѕ

🇺🇸 – Friday, August, 17th 2018

Keywords: #privacy, #data, #censorship, #surveillance, #freedom

Sometimes friends of mine asked me why I am so interested in subjects and tools related to privacy, data and share. I answered them because they are quite fun themas, and make us be aware of the use of digital tools we have. They also make us looking for new solutions and solve hard challenges so as to reach both a kind of wahoo effect and innovation. But sometimes they asked me which tools they should use so as to protect their data or just secure their devices. When I answered them I forgot some details or cool softwares which could have help them. So here we are, this is a list of tools you can use, share and improve if you are worried about your privacy, your sensitive data or the protection of the use of your daily tools.

🌐 1 — Web browsing

You should choose free and open source web browsers who are not maintained by companies looking for profits.

Some of them are dedicated to privacy like Brave, Orfox (from the Guardian Project) or Firefox Focus. Others can possess dedicated extensions like Firefox or are already configured like Tor Browser. But the browser is not enough, you have the right to define another search engine like Qwant or DuckDuckGo! Such engines do not contain trackers and do not use for example your location in order to provide to you the best list of sushis bar for the dinner you have around you. The user experience is a bit degraded, but it is a question of search request after all.

🚀 2 — Networking

Use safe browsers is a good idea. but what if the network you use is public or cannot be trusted? What should you do if you are using for example Wi-Fi hotspots?

You can still use TOR: with its onion routing and its shiny hammer, you may have a more secure but a slower connection from your device to the destination server. Be aware in this case the final layer of your onion can betray you, and sometimes computers can be confiscated for legal reasons. You can still use some VPN solutions like ProtonVPN and OpenVPN which make harder the read of your connection payloads. Another fun tool for Android and iOS powered devices is OONI probe: a kind of probe which checks if censorship has been implemented in the network you use. Beware the probe collects evidences of censorship by checking connections to certain websites which can have their content regulated or forbidden (like porn). Measurements data can be collected and available on this web page. DNS configuration can be changed to prevent your web navigation of being blocked: Quad9, Google, OpenDNS, Cloudflare, FDN, FreeDNS... no need to keep the default one!

📡 3 — Web tracking

There are a quite big list of add-ons to plug on your favorite web browser so as to check whether a web site is tracking you or not. Collect of data, locations, configuration of your device, cookies, JavaScript scripts, redirections, profile creations, all those boring things which help companies to earn money and define their audience can be blocked.

For example you can find for Firefox several plugins like Kimetrack, Privacy Badger and No Script. They allow you to disable third party scripts which are not useful for you. They give you also a lot of details about the trackers the pages may have.

💈 4 — App stores

For some operating systems like GNU/Linux and Android, we can use alternative app stores to get applications and other software. Even if some of them are not verified by the OS owner (e.g. with Google and its Google Play), alternative stores can bring to light free and open source applications respectful to your private life. They possess also applications which do not apply to the rules of the official store owner, rules which can be very boring for developers. But with these alternative stores, it will be your job to trust the app and not to complain the bad behaviors they can have on your device (malwares are spreading a lot within Android ecosystem because of those stores).

Did you know for Android F-Droid and Yalp? No? Time to move and try :)

💿 5 — Operating systems

The first thing to change if you are worried about your privacy is the operating system (OS) you have on your computer, smartphones, tablets or whatever you use. Avoid the use of black-box OS like Windows: if you cannot see what it is doing, do not use it.

For computers, GNU/Linux based OS are numerous: Ubuntu (not a big fan but it’s a start), Debian, ArchLinux (if you have a beard) or Gentoo (if you have an Albus Dumbledore’s white beard and a pointed hat). There are other systems dedicated to privacy and private life protection: Qubes OS, Tails or PureOS for examples. You can replace your smartphones and tablets OS based on Android by LineageOS (a fork of Android) or eelo (a new starting project). You must keep in mind if you are not using the official OS of your device, you may have security fixes and bug patches later than others or never...

And what if I bought a computer with such OS instead of installing it? Have a look on Minifree! They sell laptops with preinstalled GNU/Linux OS and free BIOS certified by the Free Software Foundation. Check their website, you may discover a laptop matching your needs :)

📬 6 — Messaging

Instant messaging, SMS, voice chats, emails... Who owns the apps you use daily? It might be mainly Google (Gmail, Hangouts), Apple (iMessage), Microsoft (Skype, Outlook) and Facebook (WhatsApp, Messenger), thus companies who must be interested by your data.

Have a look of enciphered SMS with Silence, and encrypted communications with Signal. Telegram is not so evil, but is concerned by political issues... Did you notice the chat app used by some of Mr Robot’s characters? It’s Wickr. This web site is able to help you to choose the most suitable app for you. “And what about my emails” do you think? Have a look on ProtonMail.

🔧 7 — Daily tools

Look deeper in the tools you use daily on your computer or your smartphone: you may see things you can replace by free or open source or privacy-respectful versions.

Have a look on softwares made by Cozy Cloud and Framasoft. Need to store your passwords or looking for an efficient software which can build for your very strong credentials? Why no... Keepass! Your device contains pictures of your kids, contact of your lover, or your personal tasks and thoughts of the day. Did you think to protect them with encryption? Plenty of operating systems provide such tools in their settings, move on! You can also have a look on VeraCrypt. If you want to hide information with pictures or sounds, thus use steganography and go to DeepSound and SilentEye websites. Yep, Mr Robot again :)

💰 8 — Payment

OK this part is far less feasible because of the laws of countries and all the bullshit you can see in not specialized press. Nevertheless if I want to talk about privacy, I cannot miss to introduce cryptocurrencies.

When you buy something on the Internet or withdraw money using fiat currencies (e.g. USD, EURO, YEN, ...) you leave traces for your bank and it can be very useful if your payment card has been stolen or pirated: block the card, cancel transactions, alert you in case of strange moves. We can read several things about cryptocurrencies: they are gorgeous, they can make you earn a lot of money and perfectly anonymous. Please stop now. This is not true at all, but some cryptocurrencies like Zcash and Monero are anonymous (a bright article here): if you make a transaction, no one can find the sender (you) and the receiver. For these two, the side effect is transactions cannot be removed, because they are stored in a blockchain, but that’s another story.

🕵 9 — Security

Did I say the previous parts were tricky? This one is harder. If you want to protect your privacy, data and your private life when you use softwares, you have to put your trust on them. But how to be sure the softwares, devices and network connections you use are safe? Keep in mind they can be spied, or contain flaws from where data can be stolen, or worse with backdoors and remote control system.

Hopefully there are some of tools you can use if you are skilled enough so as to check whether an app or a connection is clean or not. Have a look of the the Kali OS and the Metasploit framework, they are great tools to tests applications, OS, networks… If you are able to break your target or exploit it, it means other people can do so. Feel free to test but respect the law about that 8-)

⛩ 10 — The most important: people

Honestly I did not find all these tools on my own. I discussed with friends and colleagues, and read organizations blogs. Thus if you want to protect your дss and keep your things safe, you should check the news of some serious and harsh groups, they can warn people if big problems occur.

I place here unordered groups like the Electronic Frontier Foundation, the Guardian Project, La Quadrature du Net, the TOR Project, the Open Observatory of Network Interference, Exodus Privacy, the Ministry of Freedom, the Free Software Foundation and April.

🏴‍☠️ TL ; DR — Conclusion

Privacy, data, private life, web uses… we must be worried about them. We should ask to ourselves questions: what if my device is stolen? What if we have a massive data theft? What if we learn companies are spying us? How can we protect our devices as strongly as possible?

We have a lot of tools, applications, operating systems and devices. I just wrote here a small sample of them. Some of them may be Single Points of Failure so do not put all of your sensitive data in one medium. Free and open source worlds are far more convinced about privacy and private life than bg companies. Security and privacy protection make us create new solutions and help innovation. Hacktivism can bring to the light the bad behaviors of companies. People need to protect and defend their data and their private life, because damages can be massive in case of censorship, flaws or bugs. If your are not convinced, I advise you to read some great books: you might have another point of view after that: 1984 of George Orwell and 2084 written by Boualem Sansal.

Cheers!

— Last update: Friday, August, 17th 2018 Previously on Medium and paper.wf —

Did you enjoy reading this blog? Give me a beer 🍺 or use something else ❤️‍🔥 Licensed under CC-BY-SA 4.0 Opinions are my own, even if I have some interests. For any comment or to contact me, feel free to choose the most suitable medium for you.

16 mai 2023

Et si on parlait de l’hypocrisie vis à vis des GAFAM et du libre ?

🇫🇷 – jeudi 16 août 2018

Mots clés : #GAFAM, #libre, #opensource, #FLOSS, #tech

Cet article est à considérer comme un billet d’humeur, et à ce titre les opinions exprimées ici ne sont que les miennes. Mais je trouve pertinent de préciser pour la suite plusieurs choses. Tout d’abord, oui je me considère comme libriste, et partisan de l’open source. Oui, la vie privée, le partage et l’ouverture sont des sujets qui me préoccupent. Oui, je suis aussi cette année président d’un Google Developers Group (GDG). Si vous faites un blocage là-dessus me considérant comme un dévot, inutile de continuer à lire vous risqueriez d’avoir un avis nuancé :) Sinon sachez qu’être dans un GDG n’engage à rien, n’impose rien, ne contraint rien, et ne permet que d’avoir accès à beaucoup de contenus, et dans le cadre d’une p’tite association de développeurs de Lannion comme Code d’Armor, ce n’est pas négligeable. Ce billet d’humeur fait suite à ces vagues d’hypocrisie institutionnalisées et un brin démagos qui concernent aussi bien les géants du web que les solutions alternatives…

\( •_•)_† Vade retro GAFAM

Ne nous voilons pas la face, il y a des bons et des mauvais côtés chez les géants du web, et c’est un fait. Dit autrement, les avis butés et non nuancés hurlant au “diable Google” et au “cancer Facebook” sont assez risibles et tristes. Bim, c’est dit.

Que leur devons-nous, à ces grosses entreprises Américaines ? Beaucoup de choses, mais pas tout non plus. Prenons l’exemple d’Apple. Ce membre de GAFAM propose des produits onéreux, mais généralement efficaces, et faisant partie d’un écosystème riche et cohérent pour l’utilisateur. Qui a démocratisé (sans inventer) les tablettes numériques proposant (enfin !) des bons produits ? Apple. Qui évite de tomber dans la facilité en limitant son catalogue de smartphones pour ne pas avoir à proposer des appareils bas de gamme bons au rebus au bout de 2 ans ? Apple (pas seulement). Qui met en avant la protection de la vie privée de ses utilisateurs quitte à avoir des déboires avec le gouvernement Américain ? Vous avez compris. Il y a certes une prison dorée et verrouillée pour les usagers, saupoudrée d’un peu de marketing bullshit, mais la marque de Cupertino a su répondre efficacement à des besoins. Passons du côté G des GAFAM. Sans chercher pour autant à faire un catalogue des services de Google/Alphabet, il y a des éléments qui se démarquent dont des projets de X. Le projet Loon pour délivrer un accès à l’Internet dans des endroits reculés, le projet Wing pour d’autres modes de transport ou le projet AI, sobrement baptisé pour l’intelligence artificielle. Alors oui, il ne s’agit pas ici de pure philanthropie. Google et Alphabet restent des entreprises, et les revenus de la firme de Moutain View sont essentiellement publicitaires. Mais il y a des efforts pour creuser différents sujets et faire avancer les débats sur des thèmes qui finiront tôt ou tard par s’imposer.

Je ne vais pas m’amuser à faire une liste des contributions de tous ces géants, ni de leurs dérives vis à vis des données, de la vie privée ou de la coopération avec des États, mais voici quelques éléments posés en vrac qui me font me poser la question suivante : Si nous devons bannir ces entreprises de nos vies, serions-nous prêt à jeter ces produits, ou ceux sur lesquels ils sont basés, ou encore les outils auxquels des contributions ont été apportées ? Je cite en vrac entre autres les librairies et frameworks Flutter, Angular, Polymer et React, le système d’exploitation Android, le navigateur Chromium, les langages informatiques GraphQL, Dart, Go et TypeScript, l’outil Kubernetes, TensorFlow et PyTorch pour l’intelligence artificielle, l’Open Handset Alliance, et Google Project Zero pour la sécurité informatique.

On peut ainsi constater deux choses : nous devons beaucoup d’outils et de produits à ces sociétés, certains vraiment formidables d’ailleurs, mais justement, ne nous leur en devons pas trop ? La question reste ouverte.

(╯°□°)╯ Serment d’hypocrite

La raison qui me fait écrire ce billet, est de voir l’augmentation de cas de comportements schizophrènes, ou de syndromes de Stockholm, vis à vis des GAFAM. Comment peut-on rester stoïque quand des élus torpillant les GAFAM vis à vis de leur ingérence dans la vie privée et la collecte de données laissent leurs écoles ou ateliers numériques s’installer sur le territoire ? Comment ne peut-on pas être affligé quand on voit des personnalités politiques scandalisées par le monopole de ces géants, quand on leur laisse des villes, l’Éducation Nationale et le Ministère des Armées ? Comment peut-on à la fois critiquer l’omniprésence des entreprises Américaines dans nos vies quotidiennes, sans pour autant éduquer les citoyens au numérique et favoriser les solutions alternatives ? Car oui, il y en a ! En cherchant un peu, on peut voir que dans une multitude de situations, des solutions non intrusives, respectueuses et vertueuses existent, et rendent dispensable l’utilisation des produits de GAFAM.

Nombreuses sont les critiques vis à vis de l’hégémonie d’Android dans le monde des appareils mobiles. Si sa présence (indirectement celle de Google) gène autant, quand arriveront les soutiens officiels et concrets à des projets comme eelo ou LineageOS ? Lorsque des villes ont besoin de services en ligne à des fins de gain de productivité ou de partage, pourquoi ne voit-on pas ou peu de communication sur des solutions comme celles proposées par Cozy Cloud ou Framasoft ? Quand des personnalités politiques tirent sur WhatsApp et Telegram, applications n’ayant pas leur confiance, pourquoi voit-on des travaux sur une app française de messagerie sécurisée alors que d’autres existent comme Signal ? Devrions-nous nous attendre à des fiascos comme Louvois et SAIP ?

(ლ╹◡╹ლ ) La route est longue...

Il ne faut cependant pas voir le verre à moitié vide. Des progrès peuvent être cités, notamment avec GendBuntu dans la Gendarmerie (système d’exploitation basé sur Ubuntu) (chacun sa paroisse hein), ou encore la montée en puissance de Qwant. Des associations et partis continuent de taper du poing sur la table et de débattre, comme l’April, la Quadrature du Net ou le Parti Pirate. Des projets ont même donné des fruits pas dégueus comme CHATONS, et Dégooglisons Internet.

Le problème est que, au jour d’aujourd’hui, les projets et entités qui se soucient de la vie privée, du numérique, de la décentralisation et du partage sont généralement catégorisés dans un coin comme une sorte de militantisme paranoïaque à voir le mal partout, un peu comme ce tonton réac’ qu’on invite aux repas de famille mais qu’on évite de trop laisser parler. Mais ne serait-il pas tant d’essayer ou de promouvoir de nouveaux modèles ?

Prenons par exemple la plateforme Patreon. Si des artistes arrivent à être financés via cette plateforme, pourquoi pas des membres de projets libre et open source ? En France, le mouvement (relativement louable) de la #StartupNation s’installe pour favoriser la création d’entreprises. Et si on avait un mouvement similaire type #FreeNation ? Le nom claque un peu quand même. Dernière idée, les cryptomonnaies. En supposant que l’on place les efforts et débats ailleurs que sur la spéculation, la régulation ou l’interdiction des cryptomonnaies et des ICO, ne pourrait-on pas par exemple imaginer des tokens permettant de financer des entités dévouées à l’open source ? Quitte à être disruptif avec ces monnaies alternatives, pourquoi pas l’être à fond et repenser la rémunération ?

M’enfin bon. A force de réflexions de ce genre, et puisque tous ces éléments sont généralement inconnus du public, et que les discours concernant les GAFAM sont systématiquement binairisés pro/anti, je me demande s’il n’y a pas finalement un refus de la classe politique et d’une partie de la population de se poser des questions, de soutenir des solutions meilleures pour tous, et de remettre en cause ses habitudes. Personnellement je me dis qu’un jour le message finira par passer. Pas à grands coups d’articles putaclicks, mais plutôt à force d’éditions de Libre en Fête comme à Lannion ou de Cafés Vie Privée, ça finirait peut-être par changer… mais les prises de conscience tardent.

Je terminerai par une belle phrase de Framasoft qui résume tout ça : La route est longue mais la voie est libre...

Entre temps, faîtes un tour sur la page du projet Contributopia ;–)

— Dernière mise à jour : mercredi 9 février 2022 Précédemment sur Medium et paper.wf —

Did you enjoy reading this blog? Give me a beer 🍺 or use something else ❤️‍🔥 Licensed under CC-BY-SA 4.0 Opinions are my own, even if I have some interests. For any comment or to contact me, feel free to choose the most suitable medium for you.

May 16, 2023

When I say mine you say Coinhive ⚒

🇺🇸 – Saturday, January, 4th 2018

Keywords: #Monero, #cryptocurrencies, #Coinhive, #web, #Bitcoin

Few weeks ago I started an experiment like a quick-and-dirty proof of concept around cryptocurrencies and web mining. I choose Coinhive so as to see what it was possible to do with this tool. I write here the results of my experiments and the tests I made of this API. Before that, let’s sum up the principles of blockchains and Monero ⛏

Note Coinhive is closed.

⛏ About blockchains & cryptocurrencies

I won’t write too much lines about blockchains and cryptocurrencies, because it’s not a really new concept (brought out in 2008 by Satoshi Nakamoto with Bitcoin), and I should both talk about concepts of cryptanarchism, cypherpunk and cryptography. So, let’s make it short. And if you understand french-written slidedecks, go here.

Blockchains can be seen as distributed decentralized ledgers or databases. No one owns a unique instance of the base but a number of nodes linked each others through peer-to-peer network. This aspect is one of the biggest advantage of the technology, the other relies on the impossibility to corrupt the data stored inside it within “pages” of the ledger called blocks. Due to hash operations, the content of a block is unfalsifiable and sustainable, and if a block has been altered the following will be too and so on. There are several types of hash operations called Proofs of Work: Equihash for Zcash, Ethash for Ethereum, Hashcash for Bitcoin or CryptoNight for Monero. There will be also Proof of Stake instead of Proof Of Work for Ethereum but not for today. This mathematical competition is made between each node in order to choose the one which will be able to build the new block. Thus the successful node earns tokens (e.g. Bitcoin, Ether, Zcash, Monero or Dogecoin) and can spend them (e.g. in exchange places like Kraken, Changelly or Coinbase). Blockchains are public, and some of them (e.g. Monero, Dash and Zcash) can hide their data like transactions, fees, amount of used tokens or owners. For some blockchains, instead of just exchanging tokens, it is possible to store programs and define decentralized applications (ÐApps) using Ethereum or EOS. Cryptocurrencies can be called with their acronyms: BTC, BCH, BTG, ETH, ETC, ZEC, XMR respectively for Bitcoin, Bitcoin Cash, Bitcoin Gold, Ether, Ether Classic, Zcash and Monero. Some of these altcoins are in limited quantity (at most 21.000.000 for BTC) or not (XMR, ETH). Finally, altcoins are volatile and mainly used for speculation. And sometimes, there are funny crashes (see below).

(╯°□°)╯︵ ┻━┻ Ok buddy, and Coinhive?

Soon, but before let’s talk about its currency: Monero.

⛏️ About Monero

Monero is an opensource cryptocurrency launched in 2014. It is based on CryptoNote algorithm which protects privacy, contents and transactions. CryptoNote and the network in use, Kovri, obfuscate the data so as to make it quite impossible for an intruder to see what happens. Technologically Monero is quite awesome: Kovri is based on I2P’s specifications, encryption is everywhere, and several mechanisms like Ring Signatures (hiding senders), Ring Confidential Transactions (hiding amounts of XMR in transactions) and stealth addresses (protecting the receivers of the transactions) have been set up with the aim of protecting the blockchain. Yes, Monero is one of the most badass of cryptocurrencies. According to Bitinfocharts (on 01/03/2017) the USD value of 1 XMR was $379.65, the mining time to wait before a new block was around 2 minutes, the blockchain size was around 38 GB and the reward for the successful miner was around 5.5 XMR. Nice!

(ノ`Д ́)ノ Please guy, don’t make another boring article about Monero, I want Coinhive!

Ok, since we have introduced blockchains and Monero, let’s talk about Coinhive.

⛏️ “Hello Coinhive!”

What’s that?

I won’t write a too big paragraph about the history of Coinhive. I just say that this tool is quite well-known today because of its use with Pirate Bay portals, and the Showtime case. The idea behind is to provide a new way of remuneration: because more and more people use ad-blockers, it may be quite tricky to use advertisements to monetize a web site or an app. So, if we can mine Monero when the users are visiting our product? That’s why Coinhive is here.

Coinhive offers a JavaScript miner for the Monero blockchain, and it is really easy to integrate it inside a web project. The miner is run in the browser, and uses the CPU power of the users to try to mine new blocks. Due to the lack of API in Web standards, GPU are not really used with this API. Coinhive uses Monero thanks to of the lightweight of CryptoNight, and also because the calculational power to have to mine Monero can be medium.
The formula for the payouts is quite simple, Coinhive keeps around 30% of the benefits, and the remaining 70% are for the developer:

(solved-hashes / global-difficulty) * block-reward * 0.7

So, what are the features?

First, proof of work captchas!

Coinhive is not just another miner for Monero, or a tool for pirates or whatever press-groups can say. The project offers a new kind of captcha using… Proof of Work! Instead of having to write a not-so-readable keyword, or click on ugly cars with several pictures, this captcha system makes users (in fact their browsers) need to compute a defined number of hashes so as to submit a form. Spams are prevented, it is far less boring that old-school captchas, and it might make developers earn a bit of Monero. The use is quite simple: add a reference to a script in HTML, add a div with the amount of hashes and the data key, and that’s all. The div will be replaced by additional content within an iframe.

Second, proof of work shortlinks!

Coinhive provides a feature related to shortlinks. Instead of using GAFA’s or other well-knowns URL shortener (please, consider using Frama.link), it is possible for the developer to define a short link with which users have to solve a number of hashes before being automatically forwarded to the target URL. It is quite interesting so as to prevent spams, click-bots or too curious spies.

The use is very simple, add the short link in your text content, and when the user clicks on, a new page will be opened in its browser with the state of the process.

Third, Monero mining — the clean way

The last feature, and the more known, is about mining. After having defined public and private keys for the API, developers can integrate JavaScript glue and/or HTML components in a web page so as to set up the miner. In fact, it is a better idea to ask the user to allow the mining process, but on 01/03/2018 it remains possible to mine Monero silently. The use of this feature is as simple as the captcha feature: add a div in your page, add a script and that’s all. The div will contain an iframe with the widget of the miner. The widget itself is customizable, specially with colors, number of threads to use and the throttle. The higher the throttle is, the more busy will be the CPU.

... and the clean-or-not way.

Coinhive allows developers to use pure JavaScript glue to mine Monero instead of using widgets. This is this kind of tools some websites used, and they were in a dirty way I won’t show here. The cleaner way is to use the API which asks the user to grant the mining process. It is better to have resilient users choosing or not if you can mine than having lost a lot of them because of ninja mining. The code to inject is as simple of the others:

However it is not because there is no GUI that users cannot see the miner working. Indeed, if we look deeper with the task manager of the browser, we can see there is something quite busy on the web page. But no more details are available.

And a dashboard.

Finally Coinhive has a clean dashboard which sums up the hashrate (hashes/s), the total number of hashes and the pending payments. It lists also the “sites” you have defined (here “dwarf” defined for the demo in my web site). You can easily read that with this demo I’m not rich at all, and the XMR gain I may have will not refund the power supply costs. But who cares? It’s just for beauty of proofs of concepts.

⛏️ Enter in the noice of the hive

Thus, and it is the purpose of this article, I tried the mining feature of Coinhive. I made it in a quick-and-dirty way, hide it in a dedicated location in my web site, and here I am. I tried this feature with 2 smartphones and 2 laptops using Firefox as web browser. I used the same configuration: 4 threads and 100% of speed (i.e. 1.0 for the throttle). The tests duration was around 1 hour. I choose this duration so as to be closer of a use case where someone watches a video on a streaming platform or uses its favorite web application (social network, tool in the cloud, etc.). Below are the specifications of the devices.

I put below the resulting hashes of each device. I can say I made these tests with only the miner and no more application opened. The device have not been rooted, jailbreaked or overclocked. The miner in use was the UI miner.

⛏️ And so what?

I can say that if I want to make users of web projects mine Monero using Coinhive, I will make it possible if they are using computers and not smartphones. With computers there are higher hashrates and maybe they can make me earn Monero tokens if the hashes are successful. But with all the last flagships of OEMs, I think it might be interesting to mine with them. Look at the specifications of the iPhone X, the Samsung Galaxy S8 or the Huawei Mate 10, it could worth :)

I will make new tests with new parameters so as to have better ouputs. Moreover I want to look deeper in the browser so as to find more traces and logs related to the miner. Coinhive is not opensource, and I am the kind of person which wants to look deeper to trust the tools I use. I would like to make new tests with JavaScript pure miner, using Chrome, Opera, Safari and Edge. It may be interesting to make tests with several durations and speed of mining so as to find the good combination between them which permits to mine Monero units without impacting too much the users. In addition, I have felt that the fans of the laptops were noisy, and the smartphones were quite hot. So it has an impact on power consumption and temperature of the components. It may be interesting to keep an eye of these elements in the future tests.

The API of Coinhive is both really interesting and easy to use, and to my mind it is not a so bad example of what we can do with blockchains. Prevent spams, earn money for side projects or news-websites, monetize a web site even if users block advertisements, these are interesting ways of use. We can also integrate Coinhive to opensource projects or associations so as to help them to earn money and buy some supplies for examples.

Indeed malicious people and malwares can use the API to earn money silently, but I believe it is not a good reason at all to forbid this kind of tools.

Let’s see what will be the next cool features! ~=[,,_,,]:3

— Last update: Wednesday, February, 9th 2022 Previously on Medium and paper.wf —

Did you enjoy reading this blog? Give me a beer 🍺 or use something else ❤️‍🔥 Licensed under CC-BY-SA 4.0 Opinions are my own, even if I have some interests. For any comment or to contact me, feel free to choose the most suitable medium for you.

16 mai 2023

Le jour où le Web s’enfonça un peu plus dans la tombe

🇫🇷 – mercredi 20 décembre 2017

Mots clés : #web, #DRM, #surveillance, #numérique, #Technopolice, #libertés

Aujourd’hui, j’aimerais aborder un sujet qui me tient à cœur, à savoir le Web, ses principes et les coups qu’ils reçoivent.

Ceux qui me connaissent savent que je ne perds pas une occasion pour taquiner les développeurs web, mais pour une fois ce ne sera pas le cas ici. Je tiens avant tout à apporter une précision non négligeable : les opinions exprimées ici sont strictement les miennes, personnelles, et ne reflètent aucunement l’avis des associations ou des entreprises dans lesquelles je suis ou ai pu être. L’idée derrière ce billet est surtout de pousser à la réflexion car même Tim Berners-Lee a des craintes.

Étant né au début des années 1990, j’ai pu voir arriver et s'installer durablement le Web (entre deux génériques karaoké de Pokémon) avec le “Web 1.0”, le web documentaire. À cette époque là, le Web et les internets (oui, j’ose dire les internets) se résumaient à un bon vieux boîtier bleu qui chauffait assez rapidement, avec un débit ahurissant de “56 k”, et qui ouvrait les portes du monde numérique avec ce bon vieux bruit si mythique. Pour ceux qui ne voient pas de quoi je parle, ici une vidéo qui résume bien l’époque.

À cette époque là, la seule chose qui pouvait nous soucier vraiment était la facture téléphonique à cause du hors-forfait. Si on avait souscrit un abonnement de 10h/mois, et qu’on avait le malheur de dépasser cette limite, la facture devenait vite salée (un peu comme les larmes de ceux qui la reçoivent vu les prix exorbitants à l’époque). Pas de Google, pas de Facebook, juste un labrador noir à envoyer faire des recherches (qui a pensé à le nourrir ?), un chat avec un casque audio sur la tête et une mule sympa. Et Windows 98 aussi.

Puis, vinrent les années 2000, avec l’émergence du “Web 2.0”, le web social, avec ses blogs, ses wikis, les premiers réseaux sociaux et une volonté de normaliser ce joyeux désordre que constituaient le XHTML et le CSS 2. Wikipédia arriva aussi, et on commençait à se dire que, finalement, les CD-ROM de l’encyclopédie Microsoft Encarta allaient vraisemblablement finir dans le cerisier pour faire fuir les corbeaux (indice, ça ne fonctionne pas trop). Mais à partir de là, une odeur de tarte aux concombres commença à se faire sentir. Car derrière toute l’excitation de publier ses photos de vacances (putain, combien de photos de pieds dans l’eau et de selfies sur les internets ?), de râler sur tout et rien (oui bon, je suis concerné) et d’exploser les planètes de ses voisins (OGame quand tu nous tiens), se profilaient l’appât du gain et la volonté de contrôler tout ça. Remarque, quand on galère à parquer un troupeau, on peut attendre qu’il se forme quelque part et mettre une clôture ensuite. C’est con, mais ça fonctionne.

Mais finalement, pourquoi est-ce que l’odeur de la tarte aux concombres numériques envahit de plus en plus le web ?

Premier enjeu, le contenu.

Au début, le Web était un endroit de partage. Bon, partage plus ou moins légal certes, mais d’échange avant tout. Si j’aimais une image, je l’enregistrais sur mon ordinateur (avec 2 disques HDD de 3 Go chacun, s’agissait pas de déconner sur le choix de l’image) et je la partageais. Si je trouvais un lien hypertexte pointant vers un contenu intéressant, hop, je partageais. Et ainsi de suite. Mais là où le partage de l’information et de la connaissance est, le profit et les droits d’auteur se cachent.

Étant libriste dans l’âme, comprenez-bien que la notion de copyright me donne de l’urticaire (sauf si derrière vous choisissez une licence open source), même si finalement c’est le nerf de la guerre. Sans rentrer dans les détails (et j’avoue que ce n’est pas du tout mon domaine), l’usage des droits d’auteurs tend à s’imposer lourdement sur la toile. Filtrage de contenu ou même blocage complet se mettent en place si le sacro-saint droit d’auteur est bafoué. Derrière l’idée sûrement louable d’éviter que les artistes soient floués (cadeau) les effets de bords peuvent être énormes. Quid des informations parues sur Wikipédia ? Des images d’artistes sur DeviantArt ? Ou des dépôts de code source de logiciels sur GitHub ? Le monde scientifique étant déjà soumis à la loi du billet vert, élargissons alors à tout type de document ! Mais derrière ça, c’est un flou juridique qui persiste, si large que même une image banale peut être soumise à ce droit (et parfois, c’est drôle à voir). En filtrant le contenu, on filtre l’information, et de fait la connaissance générale. Dommage pour un lieu de partage, non ? Et le pire dans tout ça, c’est que l’arsenal juridique est si flou, qu’il a tendance à faire plus de dégâts qu’autre chose. Il y a des plateformes de partage en P2P ? Fermons-les. Comment ça du contenu, difficilement accessible, tombé dans le domaine public, n’est plus accessible ? Rien à faire.

Autre exemple, les Digital Rights Management, ces bons vieux DRM. Toujours pour soutenir les éditeurs, pardon, les artistes, le World Wide Web Consortium (W3C) avait commencé à travailler sur le projet des Encrypted Media Extensions pour s’assurer que tout était en ordre. Vous voulez regarder une vidéo en ligne ? Vérifions d’abord si vous avez le droit de la voir. Vous êtes dans un pays où des accords commerciaux peuvent manquer pour écouter une chanson sur une plateforme de streaming ? Hop, vérifions donc ça. Empêcher quelqu’un d’accéder à une information, juste pour des raisons commerciales qu’il ne pige même pas, ne revient pas à une forme plus vicieuse de censure ? L’enjeu était tel, que le W3C a soutenu ce projet d’insérer dans les standards du HTML 5 les notions de DRM. Résultat ? Un Web un peu plus verrouillé, et l’Electronic Frontier Foundation (EFF) qui claque la porte avec une lettre ouverte.

Dernier point relatif au contenu, et finalement au business, les bulles. Le Web étant passé de lieu de partage à lieu à forte monétisation, les réseaux sociaux se sont empressés de fournir du contenu à leurs utilisateurs et on ne le regrette pas en soit. Et pour ça, quoi de mieux que de mettre en place des systèmes de recommandations ? Après tout, si le contenu, et la publicité concernée, ramènent de l’argent, pourquoi pas non ? Sauf que, la technique a parfois ses limites, avec entre autres les fakes news. Là où on l’on partageait l’information en étant serein dans les années 2000, on en vient à douter de sa pertinence et de sa réalité en 2017, à tel point que le terme “d’ère de post vérité” est apparu.

Deuxième enjeu, la vie privée.

Pendant un long moment, les notions de chiffrement et de protection de sa vie privée étaient acceptables. Au mieux on se donnait l’image de quelqu’un de soucieux, au pire celle d’un geek qui bricole dans son coin mais qu’on aime bien quand même.

Mais depuis les années 2010, vinrent les ennuis. Par exemple, 2013 et sa Loi de Programmation Militaire. Capture en temps réel des informations, réquisition de documents, interceptions de communication, et tout ça dans un flou juridique constant et où le manque de détails laisse trop de permissivité. Mais bon, contre la délinquance et pour protéger les affaires, ça vaut bien le coup, non ? Puis arrivèrent les attentats. 7 Janvier 2015, 13 Novembre 2015, 14 Juillet 2016, des dates qui je pense ne peuvent être oubliées, et des faits qui ne peuvent être pardonnés. Mais l’unité et la solidarité qui sont apparus ont vite été remplacés par l’état policier. Le terrorisme se cache avec un routage en oignon ? Matraquons TOR. Les fanatiques chiffrent leurs communications (on dit chiffrer et pas crypter bordel) ? Essayons d’imposer des backdoors. Quelqu’un refuse de donner des identifiants de connexion ou des clés de déchiffrement ? Il est complice. Des abrutis en kalachnikovs font des recherches sur les internets ? Mettons des boites noires et gardons un maximum de données. Des discussions ont eu lieu sur des messageries instantanées chiffrées ? Interdisons-les. Et, en quelques mois, la présomption d’innocence a été remplacée par le soupçon, par défaut, de culpabilité pour tout le monde. Si vous n’avez rien à vous reprocher, pourquoi protéger votre vie privée ?

Dernier enjeu, le business.

Ce que l’on voit de plus en plus maintenant, c’est que là où le Web permettait le partage de l’information, et le cumul de connaissance, on trouve à la place des volontés mercantiles prioritaires.

Un site de torrents héberge des contenus violant les droits d’auteur ? D’accord, fermons-le, mettons ces responsables en prison, trop d’argent en jeu. Mais si un site web prône les valeurs familiales traditionnelles, défend des principes archaïques religieux et s’en prend aux droits fondamentaux des femmes à disposer de leurs corps ? Laissons-le là, les affaires ne sont pas menacées. Pour aller dans le sens commun je ne ferais pas de délation ;)

Quand on s’intéresse par curiosité au monde des cryptomonnaies, il est intéressant de voir les réactions des gouvernements, de la presse ne maîtrisant pas le sujet, et des experts autoproclamés. Soutient au terrorisme, financement d’entreprises criminelles, ou encore bulles spéculatives, les cryptomonnaies sont aussi dans le collimateur. Par exemple, les Initial Coin Offering (ICO). Imaginez un peu : des levées de fonds avec une monnaie décentralisée et non régulée, pour lancer des projets pouvant être louables, une bonne idée non ? Pour de plus en plus de pays, non. La Chine, et la Corée du Sud ont interdit ce mécanisme, la France veut le réguler. Mais pour avoir bonne conscience, est mis en avant le fait que le quidam moyen pourrait se faire arnaquer et perdre son argent, le vrai. Personnellement, je trouve que j’ai plus à perdre en achetant un album des Enfoirés qu’en investissant lors d’une ICO.

Enfin, et je dois avouer que c’est le sujet à l’origine de ce billet, les attaques incessantes contre la Neutralité du Net. Je ne vais pas faire une présentation de ce que c’est (sinon, vu la taille de ce billet, le peu de personnes étant arrivé à ces lignes n’ira pas au bout), mais, pour simplifier, cela va à l’encontre des principes même du Web. Mais bon, avouez qu’on n’est plus vraiment à ça prêt. La Neutralité du Net permet, à tous, d’avoir accès au même contenu, avec la même qualité de service, sans limitation, peu importe si l’utilisateur est un particulier, une entreprise ou un gros client ayant souscrit à une offre onéreuse. Si je veux voir une vidéo sur YouTube aujourd’hui, je devrais pouvoir la voir dans les mêmes conditions dans 6 mois, et mes amis aussi, même si notre fournisseur d’accès à Internet est différent, (et si son dirigeant fait du boudin). Sauf que ce principe fondamental du Web est remis en cause. Considéré comme dogmatique ou freinant l’innovation (ah ?), beaucoup souhaiteraient le voir disparaître. Et le 1er coup a été porté aux États Unis, avec la Federal Communication Commission (FCC). Mais finalement, payer plus pour plus de contenu (pourtant accessibles) et de meilleures performances, cela ne ferait pas furieusement penser aux années 1990 ? Remplaçons le modem 56k par une box d’un FAI quelconque, les forfaits liés aux débits par des forfaits ciblant le contenu et le tour est joué. Tu veux, tu payes. Tu ne peux pas payer ? Tu n’as rien, ou alors seulement accès à un sous-Internet, fallait avoir plus de sous mon p’tit bonhomme.

Bref, quand on fait tout ce constat, avec un peu de recul, on en vient à se poser cette question : que veut-on réellement comme Web ?

Découvrir, jouer, apprendre, s’exprimer, se protéger et être libre ? Si c’est le cas, il est grand temps de réagir. Et ce ne sont pas les outils et groupes qui manquent. Citons par exemple Framasoft (avec CHATONS et Degooglisons Internet), La Quadrature du Net, FDN, Mozilla ou encore Les Exégètes Amateurs ou le Parti Pirate. La presse en ligne comme Numerama et NextInpact propose aussi de quoi réfléchir. Sans eux pour essayer d’ouvrir les fenêtres, le web finira par sentir le renfermé, et l’odeur enivrante du billet vert. Et tout sera finalement mis en place pour que le jour où un pays bascule dans le totalitarisme, tout soit prêt pour surveiller la population. Et ceux qui voudront se protéger seront vite ciblés. Mais bon, 1984, 2084 et V for Vendetta ne sont que des bouquins de fiction non ?

Je terminerais par cette citation de Sébastien Soriano, patron de l’Arcep :

La neutralité du net vise à protéger le principe d’innovation sans autorisation, de manière à ce que le seul l’arbitre des innovations ou de la pertinence des contenus soit l’utilisateur.

Sur ces bonnes paroles…

— Dernière mise à jour : mercredi 9 février 2022 Précédemment sur Medium et paper.wf —

Did you enjoy reading this blog? Give me a beer 🍺 or use something else ❤️‍🔥 Licensed under CC-BY-SA 4.0 Opinions are my own, even if I have some interests. For any comment or to contact me, feel free to choose the most suitable medium for you.

Newer ⇢