Datameer使您可以轻松地将所有数据集成到Hadoop中。 这是一个端到端平台,消除了大数据分析任务的复杂性。 您可以在数分钟而不是数月内得出数据驱动的决策。 Datameer是一站式商店,可将您的所有数据放入Hadoop,分析数据并以您喜欢的格式可视化见解。
Datameer Analytics App Market是世界上第一个预构建的分析应用程序市场,通过它您可以简单地插入自己的数据并以图形方式查看最终结果。 您无需构建任何东西。
如果您具有从分布式源收集的大量数据,具有不同的结构,具有不断扩大的范围并且具有不同的速度,则Datameer可以帮助您实现数据“虚拟化”。 如果数据在云中,旧数据库中以及桌面上的电子表格中,则Hadoop很有帮助,但不足以使分布式数据有意义。 现在,借助Datameer,您可以像按照向导一样轻松地将所有数据集成到Hadoop中。 通过与所有常见的结构化和非结构化数据源的内置连接器,简化了大数据集成。 您只需在Datameer中指出:
将哪些数据带入Hadoop以及如何 一次性导入还是在添加新数据时进行流式导入 根据您确定的时间表导入使用Datameer,大数据分析就像使用电子表格一样简单。 要建立分析,请使用向导执行以下操作:
选择要在电子表格中使用的数据 从250多种预建的分析功能中进行选择 通过Datameer的Smart Sampling技术,以思想的速度使用迭代式点击分析Datameer与多个Hadoop平台(例如Cloudera,Hortonworks和MapR)绑定在一起。 Datameer使用IBMBigInsights®,它是Apache Hadoop的可靠且企业就绪的实现。 Datameer和Cloudera共同提供了完整的大数据分析解决方案。 借助Cloudera的企业级数据中心,您可以以Hadoop原始的保真度集中并经济高效地存储所有数据。 任何符合标准的大数据分析平台均可与Datameer平台无缝连接。
数据分析工具有助于揭示务实的见解,应以用户偏爱的格式提供。 与Designer打包在一起的Datameer所见即所得业务信息图提供了拖放式可视化,而与数据类型,大小或源无关。 您从空白HTML5画布开始设计信息图表报告,该报告将在每次数据更新时自动更新。 您可以导入任何图像,嵌入视频,编写自由格式的文本以及无限地自定义广告。 借助HTML5,您的可视化内容可在任何设备上使用。
用于生产环境的推荐硬件包括:
1U服务器 2个四核CPU 8 GB以上的RAM 2 x 1 TB硬盘驱动器(建议可用磁盘空间为250 GB) RAID-0剥离 RAID-1个镜像 冗余电源 故障转移需要具有相同配置的备用服务器表1显示了Datameer支持的操作系统。
要在SoftLayer云中置备虚拟机,请使用以下IP详细信息:
公用IP: 158.85.184.55 伺服器IP: 10.122.153.190 服务器名称: datameerpoc.softlayer.com 地址: 10.122.153.190 / 158.85.184.55 用户: root / xxxxx将显示一条消息,显示已安装的Java语言版本以及已安装的依赖项,如图2所示。
安装Java语言之后,可以开始Datameer安装。
通过输入以下命令来扩展归档文件: rpm2cpio datameer_apache_1.0.3-4.5.0-1.noarch.rpm | cpio -idmv列出了存档中的文件,如图3所示。
刷新目录路径。
要启动Datameer应用程序服务器:
通过输入清单1中的命令切换到Datameer。选择我同意许可条款 ,然后单击继续 。
在Datameer仪表板的左侧,这些选项是过滤器,管理,分析,数据,示例,图像,用户和可视化。
选择窗口左侧的管理员 。
要开始上传CSV文件,请点击浏览器标签,点击+图标,如图6所示,然后选择数据 > 文件上传 。
要开始分析数据:
在Datameer中,单击“ App Market”选项卡,如图22所示。提供相关详细信息后,根据提示单击“ 确定 ”。 登录到LinkedIn Pro Network后,单击Save&Run ,如图24所示。
图27显示了您朋友在世界各地的位置。
本节将介绍Datameer应用程序市场中的示例。
单击App Market选项卡(如图22所示),然后安装Tutorial Email Word应用程序。 该应用程序从您的LinkedIn个人资料中获取数据,并过滤诸如登录次数,使用该程序的次数等信息。
加载应用所需的时间因您的网络速度而异。 当看到“安装教程电子邮件单词复杂性”时,单击“运行” 。图28显示了安装进度。
要查看上传到应用程序中的所有数据,复选标记符号应为绿色,如图29所示。
单击“ 打开信息图”以查看电子邮件内容的可视化,如图30所示。
要添加数据并将它们彼此链接:
单击浏览器选项卡(如图22所示)。 单击窗口左上方的+图标。 选择分析 > 工作簿 。您应该看到Add Data窗口,如图31所示。
选择用户 > 管理员 > 应用程序 > 资源 ,然后单击添加数据 。从“简单”选项卡中,选择要显示和下载分区数据的分区,如图32所示,然后单击“全选” 。
数据已加载,如图33所示。这些列是从业务角度填充的。 您可以按年,按月,按日和按小时查看用户数据。
返回“添加数据”窗口,添加更多数据。 选择资源 > 客户... ,然后单击添加数据 ,如图34所示。
如图35所示,您应该看到ID,Users,Email等的列表。
您可以在此处合并两个不同的数据表。 单击工具栏上的Join Sheet来创建一个连接表,如图36所示。
如图37所示,选择remoteUser > User > Clickstream_Data > Customer_Profile / User ,然后单击Create Joined Sheet 。
图38显示了组合数据表。
现在,您已经将两个工作表添加在一起,请从当前工作表中单击“ 添加其他工作表 ”。 您应该看到“公式生成器”窗口。 选择第一列,称为Group,在图39的红色框中突出显示。选择Grouping和GROUPBY ,然后单击OK 。
选择第二列并重复前面的步骤以查看图40中的数据。第二列基于第一列中的所选对象。 (第二列将显示第一列对象的相关属性。)
要过滤数据,请点击Apply Filter 。 选择您的条件,然后单击Create ,如图41所示。
要保存数据,请从工具栏中单击“ 保存 ”,为文件命名,然后再次单击“ 保存” ,如图42所示。
所有保存的数据都存储在Workbooks文件夹中,如图43所示。
要可视化信息,请单击窗口左上方的+图标,然后选择可视化 > 信息图表 。 您应该看到如图44所示的窗口。
将饼图小部件拖动到画布上。 将数据文件拖到饼图上,以查看图45中所示的结果。
从工具栏中单击“ 保存 ”,然后在窗口中单击“ 保存 ”。 图46和图47显示了您选择的项目。
从图47中可以选择Browser 。
如果需要再次启动应用程序,请输入bin/conductor.sh start 。
要停止应用程序,请输入bin/conductor.sh stop 。
有多种平台和工具可帮助您从大数据中提取重要见解,但拥有端到端平台以加快分析过程至关重要。 Datameer被定位为针对内部和外部环境的下一代大数据分析平台。 您可以使用基于云的Datameer减轻与大数据分析相关的许多复杂性。 本文使用一个示例应用程序,展示了如何将Datameer迁移到IBM SoftLayer云并对其进行配置以实现最佳性能。
翻译自: https://www.ibm.com/developerworks/analytics/library/ba-big-data-datameer-softlayer-trs/index.html