edX首席执行官Anant Agarwal指出大规模开放网络课程，也就是“慕课”（MOOCs）的基本作用是充当“学习的粒子加速器”[i]。“慕课”（MOOCs）提供了进行大规模实验以推动学习科学研究所需要的新的数据和机会。自从“慕课”（MOOCs）引起广泛关注以来，新的研究已经开始，然而，研究发现和结论却并没有对教学产生实际影响和意义。大数据本身并没有给出有价值问题的答案。“慕课”（MOOCs）研究若要推进学习科学发展，研究人员、课程开发者以及其他利益相关者必须沿着三条轨道推动该研究：从学习参与研究到学习研究；从针对个别、具体课程的研究到跨课程比较；从依赖事后分析的研究到更多地地利用多学科、实验课程设计研究。
点击？学习？
到目前为止，几乎没有“慕课”（MOOCs）教学方面的研究针对学生学习发展作出有价值的结论和判断，更没有研究人员指出哪些教学举措带来实质性的学习改善。现在的情况是不缺学习者点击“慕课”（MOOCs）课程的数据，但是，人们却不知道点击是否改变了学习者的学习和头脑中的知识建构。
思考下近期针对Udacity、可汗学院（Khan Academy），谷歌课程（Google Course Builder）和edX[ii][iii][iv][v]进行的四次研究：每一研究的重点都试图建立学生学习成功的因素（如考试成绩和通过率）与其学习活动之间的相关性；所有四个研究都把学习者学习活动进行了类似的操作，即，把大量的数据归纳为简单的、个体层面上的变量：回答问题的数量（Udacity）、在线时间（Khan Academy）、每周学习活动完成情况（Google）和每一学习者对学习活动日志的点击量（edX）中。然而，这样的简化使得这些学习平台捕捉到学习活动[vi]的复杂性丢失了。使用简单的比较或回归分析，以上四个研究得出了相同的结论，即，学生活动和学习成功之间是正相关关系。
然而，这样的研究有多大的意义？根本就不需要数以兆计的学习活动数据来表明学习成绩和学习参与活动之间的正相关关系，因为这些是可以用肉眼观察到的事实，而做的更多与做的更好之间的因果关系并不清楚。除了劝诫学生更积极，这些研究对课程设计并没有实际意义。下一代“慕课”（MOOCs）研究需要采取更广泛的研究设计，并更加注重促进学生学习的因果因素。
没有学习的视频观看
早期“慕课”（MOOCs）研究重点在探讨学习参与或课程完成率的原因之一是大多数“慕课”（MOOCs）课程没有支持进行有效学习推论的评估结构。在此情况下，“慕课”（MOOCs）研究人员所获取的数据有三个特点。首先，评估应在多个时间点。预试是研究的关键，因为注册学习者之间的巨大差异，他们有的是新手，而有的是学习领域专家[vii]；其次，评估应抓住学习的多维度，从程序到概念。在定量考试上取得高分的学习者在概念理解或专家思维上往往并没有明显改善[viii]；最后，课程应包括已经由前期研究证实有效的测评，这样才能进行不同教学环境下的比较。最近的一些MOOCs研究满足了上述标准，提供了什么类型的学习者最受益于MOOCs以及哪些课程材料可以更好地支持学习的见解[ix]。
如果课程设计更加重视评估，研究人员可以对哪些学生学习提出更令人信服的观点。区别学习参与和学习本身在主动在线学习环境下至关重要，因为引发混乱和失衡的媒介对学习者来说也许能够促进学习[x]。解决误解需要解决我们的直觉和科学现实之间令人不安的差异。不幸的是，学生可能更喜欢直观的视频资料，例如，学生往往用更正面的语言来描述直接展示教学内容的教学视频，尽管通过其他方式他们能够更充分地消除误解、获取知识[xi]。因此，课程开发者往往利用那些学习参与数据设计、开发出学习者乐于观看却并不必然带来学习的多媒体视频资料。
重新思考数据共享
虽然“慕课”（MOOCs）研究人员拥有成千上万的学习者数据，但却缺少关于很多“慕课”（MOOCs）课程的数据。学生隐私的规定、数据保护的担忧以及囤积数据的心理共同造成了数据分享的局限。因此，研究人员可以考查学生之间的差异，但却不能进行不同“慕课”（MOOCs）课程之间的比较研究。例如，Nesterko等人研究发现频繁、中间截止日期和“慕课”（MOOCs）完成率[xii]之间有适度的正相关关系。但是，他们研究的这10门课程在截止日期、学习者规模、学习主题，以及其他方面都存在差异。需要数以百计的不同课程的课程数据以进行教学方法的比较，这样才更有意义和必要性。
共享学习者资料并不是一件简单的事情。近期试图模糊学习者资料的研究表明这些数据对很多科学研究来说已经失去其可信度[xiii]。启用基于开放数据的“慕课”（MOOCs）共享科学研究需要社会科学研究中数据共享方面的政策变革和技术革新。一个办法就是把隐私保护和匿名分开，这将允许研究人员能够共享学习者数据的同时在更大程度上确保数据机密。这可以从技术上得以解决，即，利用隐私区别机制允许研究人员使用机构拥有的标准化的学习者数据。
超越A / B测试
在缺少共享的跨课程数据的前提下，实验设计对研究特定的教学方法的效度至关重要。从最早的“慕课”（MOOCs）课程，研究人员已经实施了“A/ B测试”和实验设计[xiv] [xv]。这些方法有望扩大，因为慕课平台引入了课程内容随机分配的工具。最常见的慕课实验干预模式就是域独立的“插件”实验。在某研究中，学习者通过积极参与论坛讨论获得虚拟“徽章”[xvi]，学习者随机接受不同徽章获取条件，其中一些促进了更积极的论坛活动。这个实验的背景是机器学习课程，但也可以被用在美国文学和生物学课程上。这些域独立的实验往往得到心理学或行为经济学的启发，例如，HarvardX最近开设了带有嵌入式实验的能够促进社会支持和承诺的的课程。
嵌入式实验的显著优势是成功的干预措施，比如促进激励、记忆以及学习的其他方面能够适应不同的教学环境。当然，这种普遍性也有限制：这些研究不能推进学科学习，因为这些研究不能确定如何最好地应对某一特定误解或最优某一特定的学习顺序。在精心设计的课程环境下提高动机当然值得推崇，但如果某慕课的整体教学方法是错误的，那么嵌入式实验能加速无效的学习参与行为。以学科为基础研究在了解特定领域的慕课学习中也许能够以有效地利用域独立研究。
但是“慕课”（MOOCs）设计中融入特定实验以适合该慕课结构的例子较少。Fisher教授随机分配他的学生参与他的基于不同教学方案的《著作权》课程，一个立足于美国判例法，另一个是全球版权问题，通过实验评估这些方法[xvii]，他用最后的考试成绩、学生调查和助教反馈来评估课程，并得出结论认为，单一的版权制度的深入学习更有效，这一结论也对开放网络法制教育提供了可操作的结果。
随着慕课研究的日趋发展和成熟，特定领域和域独立的慕课实验都很重要，但是特定领域的慕课实验更需要精心设计。嵌入式实验更适合心理学家和经济学家干预他人开发的课程。特定领域的研究需要跨学科团队：内容专家、评审专家和教学设计者，这在教育研究中迫切需要当往往难以操作[xviii]。更复杂的MOOC研究需要来自大学和资助机构更多的制度和资金支持。
提高标准
新的研究领域适合专注于概念验证演示。对于最初的慕课课程，数以百万计的学习者能够免费获得的学习机会和学习资源，是一项了不起的成就。对于最初的慕课研究人员而言，对获取的数据进行分析本事就是进步。沿着早期的研究路径继续下去是一个明智的策略，但却造成路径依赖的风险。
利用现有的学习者学习参与数据，而不是等待新的学习数据，利用单个慕课课程数据，而不是等待多个课程的共享数据，使用简单嵌入式实验以及更复杂的设计研究对一个刚刚兴起的领域而言也是明智的选择。然而，慕课研究的前景和未来需要研究人员充分应对早期研究所有意无意避免的研究难点。这些挑战并不是个别研究人员能够解决的，慕课研究需要大学、资助机构、期刊编辑、会议组织者以及课程开发者的的共同行动。当前，许多提供慕课的大学所面临的情况是更多的教师热衷于教课程，而设计、开发慕课的资源相对较少。因此，大学应优先考虑开发、实施那些旨在致力于解决最基本、最核心的某一领域的教育和学习问题的慕课。期刊编辑和会议组织者应优先出版跨机构联合研究成果，即，那些强调学习成果而不是学习参与结果、强调设计研究和实验设计的慕课而不是事后分析的研究。资助机构应该分享这些优先事项，同时支持诸如促进数据共享的新技术和政策的举措和行动，这将可能变革教育研究以及其他研究领域中的开放科学。
