Marathon de programmation HackITOut 2020 de Manuvie – Programme coopératif

La phase de programmation

Nous avons donné le coup d’envoi du marathon de programmation en obtenant des précisions sur les énoncés de problèmes et les objectifs précis que nous devions atteindre pour progresser en tant qu’équipe.

Il y avait cinq niveaux :

1)  Bronze
2)  Argent
3)  Or
4)  Platine
5)  Diamant

Pour chaque niveau, nous avons dû augmenter la quantité de renseignements que nous pouvions extraire de nos ensembles de données. Ce qui me rappelle que je dois vous informer de l’énoncé de problème que mon équipe devait résoudre.

Manuvie veut être en mesure de prédire ou de déterminer comment les gens la perçoivent par rapport à ses concurrents. L’utilisation de sources de données comme l’interface de programmation d’application des médias sociaux vise à intégrer ces données dans Azure, à utiliser l’apprentissage machine pour les comprendre et les traiter et à les visualiser aux fins de consommation par les utilisateurs. Étant donné que l’apprentissage machine sera mis à profit, cela nous donne aussi l’occasion d’examiner les tendances et de faire des prédictions sur la disposition des gens à l’égard de Manuvie afin que nous puissions mieux comprendre comment améliorer notre image publique.

En tant qu’ingénieur logiciel, cela ressemblait exactement à la « chose » que l’apprentissage machine pouvait faire et dont j’ai entendu parler pendant toutes ces années. Je n’avais pas vraiment travaillé avec Azure ni participé à la préparation préalable des données; c’est pourquoi je tenais à participer au marathon de programmation. Heureusement, un ingénieur de données qui savait exactement par où commencer faisait partie de mon équipe.

On nous a fourni des fichiers CSV comprenant du contenu sur les médias sociaux de différentes compagnies d’assurance et ce que les gens disaient à leur sujet. Après avoir été en mesure d’importer les données du conteneur fourni vers notre propre conteneur dans Azure Data Factory, notre équipe s’est affairée à les nettoyer.

Laissez-moi vous dire que le nettoyage de données n’est pas la chose la plus facile au monde. Vous devez être en mesure d’examiner rapidement l’ensemble de données (qui est énorme) et de décider celles qui doivent être conservées. C’est plutôt abstrait, n’est-ce pas? Disons que vous avez une centaine de colonnes différentes remplies de données différentes sur différentes personnes. Mais vous savez que chaque colonne contient exactement le même genre de données. Il n’est pas facile de choisir entre 10 et 15 de ces colonnes pour résoudre le problème posé. Parallèlement, nous devions exécuter divers scripts dans Azure Databricks pour « nettoyer » ces données. C’est l’essentiel du traitement des mégadonnées.

Après ce qui a semblé être des heures, plusieurs obstacles à diverses étapes, et beaucoup d’aide de la part des accompagnateurs, nous avons réussi à nettoyer nos données pour pouvoir en tirer quelque chose. Cette opération a essentiellement permis à notre équipe d’atteindre le niveau Bronze, car nous avons procédé à une exécution automatisée de base sur Azure Machine Learning pour créer notre modèle.

Au cours de la journée et demie suivante, toutes les équipes ont dû utiliser PowerBI pour visualiser les données fournies par notre modèle d’apprentissage machine. Les humains sont principalement des apprenants visuels, et un tableau de bord est l’intersection parfaite entre efficacité et information. C’est pourquoi on a demandé à toutes les équipes d’utiliser la puissance de PowerBI pour créer de magnifiques tableaux de bord remplis d’information.

Dans l’ensemble, chaque équipe a essayé d’améliorer exactement ce que nos modèles d’apprentissage machine produiraient. Nous avons essayé de nettoyer davantage les données et de voir si cela pourrait nous aider à accroître notre niveau d’exactitude. Les équipes qui se sont qualifiées pour un prix ont été en mesure d’utiliser Event Hubs pour traiter des données en direct plutôt que seulement les données nettoyées des fichiers CSV. Au fur et à mesure que les équipes passaient à un niveau supérieur, une nouvelle nuance a été ajoutée pour les tenir occupées et améliorer leurs solutions définitives. L’objectif ultime n’était pas d’obtenir un rapport de toutes nos constatations. Il s’agissait plutôt d’obtenir un type de « produit de données » qui pourrait ultimement servir Manuvie. Et plus chaque équipe peaufinait son produit, plus elle avait de chances de le présenter à certains membres de la haute direction!

J’ai rapidement réalisé que puisque je n’avais pas la compréhension ou la connaissance la plus approfondie de tout ce qui concerne Azure, je devais faire des recherches dans Google et demander à mes coéquipiers et à mes accompagnateurs pour en tirer le maximum. Je pourrais certainement dire que j’ai beaucoup appris simplement en étant exposé à ces outils d’Azure et à ces types d’ensembles de données.

Conclusion et félicitations!

Cinq équipes sur douze ont été sélectionnées pour faire une démonstration aux membres de l’équipe de la haute direction de la Technologie du Secteur Canada de Manuvie. Malheureusement, notre équipe n’a pas été retenue. Nous avons cependant eu l’occasion de faire une démonstration à plus petite échelle à un membre de l’équipe qui s’est joint à notre « salle de discussion » sur Zoom. On nous a demandé de passer en revue notre solution et d’expliquer comment on avait exécuté les tâches.

Les équipes ont fait leur démonstration et ont participé à un tirage de cartes-cadeaux. Plus votre équipe avait été performante, plus vous aviez de chances de gagner. Notre équipe a aussi remporté un prix pour la publication la plus populaire sur Slack pour CETTE photo dans la section Beauté! Bien sûr, c’était mon idée et j’aimerais m’en attribuer le mérite. Après la remise des prix, à 16 h, le vendredi 16 octobre, nous avons conclu ce qui devait être le marathon de programmation le plus intéressant auquel j’ai eu l’occasion de participer!

Je pense qu’à une période où les gens recherchent un sentiment de normalité, le fait de pouvoir organiser un marathon de programmation, quoique virtuel, témoigne du mérite de Manuvie et de ses employés. Nous ne nous sommes pas découragés et avons pu prendre de l’expansion et accueillir beaucoup plus de participants. Zoom et Microsoft Teams ont servi de parfaite toile de fond au marathon de programmation. Les salles de discussion sont ce que j’ai le plus aimé. Tout était beaucoup plus pratique. Les accompagnateurs pouvaient se joindre aux salles de discussion où chaque équipe se réunissait. Nous retournions tous dans la salle principale pour assister aux séances de lancement, qui exigeaient la présence de tout le monde. Et les équipes ont été formidables pour cette démonstration finale. Azure offre tellement de capacités que je ne connaissais pas au début du marathon de programmation. Mais à la fin, je savais que j’en explorerais certainement d’autres.

Dans l’ensemble, ce fut un marathon de programmation très intéressant. Je ne sais pas si je vais assister à une autre séance comme celle-ci, mais je sais que je n’oublierai jamais.

Je tiens à remercier quelques personnes sans qui je n’aurais certainement pas pu participer au marathon de programmation Slack ou HackITOut. Un gros merci à Gennifer Berton et à Nicholas Blurton-Jones d’avoir été deux des gestionnaires les plus géniaux et de m’avoir permis d’y participer. Surtout Gen pour l’organisation des deux événements. Je tiens à remercier Liliana Paroski, une autre stagiaire qui a consacré beaucoup de temps au marathon de programmation HackITOut. Les accompagnateurs sans qui nous n’aurions jamais autant appris. Merci à Adam Wisniewski d’avoir grandement aidé notre équipe. Les membres de l’équipe Communications et transformation, Technologie avec lesquels je travaille et qui ont mis tellement d’efforts dans l’événement; sans eux, rien de tout cela n’aurait été possible. Enfin, merci à Gary Feierabend, Louis Jacob et Hugh Cumming d’avoir permis à Manuvie d’organiser des événements comme celui-ci!

Au prochain marathon de programmation HackITOut!