Dremio vise à éliminer les goulots d’étranglement des entrepôts de données d’entreprise propriétaires

Must Try

Alors que les entreprises commencent à déplacer des données vers des entrepôts de données cloud et des lacs de données, les solutions d’entrepôt de données traditionnelles deviennent moins souhaitables. Mais ces nouvelles solutions de données pour le cloud s’accompagnent également de quelques goulots d’étranglement tenaces.

« Les entrepôts de données cloud ont été largement adoptés, mais fondamentalement, ils présentent toujours les mêmes défis que ceux qui ont toujours existé avec l’entrepôt de données », a déclaré Mark Lyons (photo), vice-président de la gestion des produits chez Dremio Corp. .

Fondé en 2014, Dremio est un moteur de lac de données qui prend en charge intrinsèquement les requêtes interactives. Il s’agit du premier du genre à être spécialement conçu pour prendre en charge Apache Arrow et a été créé par ses fondateurs pour surmonter les obstacles perçus par les entreprises à l’accès au Big Data, a expliqué Lyons.

Lyons s’est entretenu avec l’analyste de l’industrie theCUBE Lisa Martin avant l’événement AWS Startup Showcase : « Data as Code – The Future of Enterprise Data and Analytics », une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media, diffusé le 5 avril. Ils ont discuté du nouveau Dremio annonces et comment elles s’intégreront dans les offres de lac de données d’entreprise de l’entreprise. (* Divulgation ci-dessous.)

L’état actuel du marché

Les entrepôts de données propriétaires sont excellents pour analyser les données structurées qui s’infiltrent depuis le centre de données, mais ont du mal avec des éléments tels que le volume et la vitesse des flux de données modernes. Alors que de nombreuses solutions palliatives sont utilisées par les organisations d’aujourd’hui pour lutter contre ces inconvénients, tout cela entraîne des changements dans les pipelines de données qui sont inconstants et peuvent souvent prendre un temps non rentable.

Dremio aide les entreprises à mieux opérationnaliser leurs données, selon Lyons. Étant donné que les données ont une demi-vie et se désintègrent, il est impératif que les entreprises analysent les données le plus tôt possible, avant la désintégration imminente, a-t-il ajouté.

« Pour Dremio et nos clients, notre histoire est simple. Il s’agit d’exploiter les données là où elles se trouvent : accéder aux données dans toutes sortes de sources – qu’il s’agisse d’une base de données Postgres ou d’un compartiment S3, ne déplacez pas ou ne copiez pas les données ; analysez-le sur place », a-t-il déclaré. « Et ne limitez pas la portée des données que vous essayez d’analyser. »

De plus, lorsqu’il y a de nouveaux cas d’utilisation et de nouveaux ensembles de données à ajouter, les utilisateurs peuvent simplement les importer dans S3 et procéder comme d’habitude. La solution de Dremio rend le travail des ingénieurs et des analystes de données plus facile et beaucoup plus productif, selon Lyons, qui a ajouté que la solution de l’entreprise réduit le temps passé « à s’inquiéter et à attendre » et garantit que des informations claires et concises parviennent aux consommateurs finaux.

Le concept de la maison du lac

L’open data lakehouse de Dremio est composé de deux éléments constitutifs : Arctic et Sonar. Arctic est construit sur Apache Iceberg, ce qui lui confère une flexibilité et une évolutivité considérables dans l’automatisation du processus de gestion des données. D’autre part, Sonar est le moteur de requête SQL qui fonctionne directement dans le lac de données, atténuant le besoin d’éléments tels que des pipelines de données complexes et sujets aux pannes et d’autres solutions de contournement coûteuses, a expliqué Lyons.

Contrairement au lac de données traditionnel, qui n’était souvent qu’un « terrain de stationnement pour un grand nombre de fichiers », le Lakehouse est une itération plus moderne avec une accessibilité accrue et une gouvernance, un audit et une authentification d’accès améliorés.

« Tout est parfait de l’avant de la maison, avec les politiques d’accès et le masquage des données, tout ce que vous attendez des validations, des tables, des transactions, des insertions, des suppressions de mises à jour et de l’audit de ces données », a déclaré Lyons. « Vous pouvez voir qui a apporté les modifications aux données, quel moteur, quel utilisateur, quand ont-elles été apportées et tout l’historique d’une table et pas seulement un fouillis de fichiers dans un magasin de fichiers. »

La promesse « toujours gratuit » de Dremio sur son niveau logiciel standard est également un sujet important. Alors que les clients doivent toujours tenir compte des coûts tels que les factures d’infrastructure cloud comme S3 avec AWS, l’accès au logiciel réel avec le niveau de configuration standard de Dremio est indéfiniment gratuit. Dremio se charge également de la planification des requêtes, de la gestion du moteur et de l’administration générale.

« Grâce à l’architecture cloud de Dremio, où l’exécution et les données résident dans le compte cloud du client, nous sommes en mesure de dire en gros… le côté service Dremio de cette plate-forme est toujours gratuit pour les utilisateurs », a conclu Lyons.

Voici l’intégralité de l’interview vidéo, qui fait partie de la couverture pré-événement par SiliconANGLE et theCUBE de l’AWS Startup Showcase : événement « Data as Code — The Future of Enterprise Data and Analytics ».

(* Divulgation : TheCUBE est un partenaire média payant pour le AWS Startup Showcase : « Données en tant que code — L’avenir des données et de l’analyse d’entreprise » un événement. Ni Dremio Corp., le sponsor de la couverture des événements de theCUBE, ni les autres sponsors n’ont de contrôle éditorial sur le contenu de theCUBE ou de SiliconANGLE.)

Photo: SiliconANGLE

Montrez votre soutien à notre mission en rejoignant notre Cube Club et notre communauté d’experts Cube Event. Rejoignez la communauté qui comprend Amazon Web Services et le PDG d’Amazon.com Andy Jassy, ​​le fondateur et PDG de Dell Technologies Michael Dell, le PDG d’Intel Pat Gelsinger et bien d’autres sommités et experts. .

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici

Latest Recipes

Block title

More Recipes Like This

Voir aussi