Levine-Clark, Michael, John McDonald, and Jason Price, “Discovery or Not? A Major Longitudinal Study of the Effect of Web-Scale Discovery Services on Online Journal Usage,” Invited. Transforming Libraries for an Enriching Community, Beijing University, Beijing, January 9, 2014. Discovery or Not?发现与否？A Major Longitudinal Study of the Effect of Web-Scale Discovery Services on Online Journal Usage网络规模发现系统对在线期刊使用的影响的重要纵向研究 Transforming Libraries for an Enriching Community “蜕变：为不断发展的学术界打造全新的图书馆” Koguan Law School, Shanghai Jiao Tong University 上海交通大学（徐汇校区）凯原法学楼 January 6, 2014 2014年1月6日 Beijing University 北京大学 January 9, 2014 2014年1月9日 Michael Levine-Clark 迈克尔•莱文•克拉克 University of Denver 丹佛大学 John McDonald 约翰• 麦克唐纳 University of Southern California 南加利福尼亚大学 Jason Price 詹森•普莱斯 SCELC Consortium 加州电子图书馆联盟 Levine-Clark, Michael, John McDonald, and Jason Price, “Discovery or Not? A Major Longitudinal Study of the Effect of Web-Scale Discovery Services on Online Journal Usage,” Invited. Transforming Libraries for an Enriching Community, Jiao Tong University, Shanghai, January 6, 2014.

1. Discovery or Not?发现与否？
A Major Longitudinal Study of the Effect of WebScale Discovery Services on Online Journal Usage
网络规模发现系统对在线期刊使用的影响的重要纵向研究
Transforming Libraries for an Enriching Community
“蜕变：为不断发展的学术界打造全新的图书馆”
Koguan Law School, Shanghai Jiao Tong University
上海交通大学（徐汇校区）凯原法学楼
January 6, 2014
2014年1月6日
Michael Levine-Clark 迈克尔•莱文•克拉克 University of Denver 丹佛大学
John McDonald 约翰• 麦克唐纳 University of Southern California 南加利福尼亚大学
Jason Price 詹森•普莱斯 SCELC Consortium 加州电子图书馆联盟

2. Discovery or Not?发现与否？
A Major Longitudinal Study of the Effect of WebScale Discovery Services on Online Journal Usage
网络规模发现系统对在线期刊使用的影响的重要纵向研究
Transforming Libraries for an Enriching Community
“蜕变：为不断发展的学术界打造全新的图书馆”
Koguan Law School, Shanghai Jiao Tong University
Beijing University 北京大学
January 9, 2014
2014年1月9日
Michael Levine-Clark 迈克尔•莱文•克拉克 University of Denver 丹佛大学
John McDonald 约翰• 麦克唐纳 University of Southern California 南加利福尼亚大学
Jason Price 詹森•普莱斯 SCELC Consortium 加州电子图书馆联盟

3. John McDonald 约翰• 麦克唐纳
Jason Price 詹森•普莱斯
Associate Dean for Collections
馆藏副教务长
University of Southern California
南加利福尼亚大学
Program Manager 项目经理
Statewide California Electronic Library
Consortium 加州全州电子图书馆联
盟(SCELC)
World-Champion Bocce Ball Player
室外地滚球戏世界冠军
Knitted a Life-Size Replica of the Taj
Mahal 编制了实物大小的泰姬陵复
制品
译者注：室外地滚球戏是一种意大
利式式草地保龄球，主要盛行于北
欧国家
译者注：泰姬陵主体陵墓尺寸大致
为60米*60米*75米
Michael Levine-Clark 迈克尔•莱文•
克拉克
Associate Dean for
ScholarlyCommunication and
Collections Services 学术交流与馆
藏服务副教务长
University of Denver丹佛大学
Can Clean and Jerk 400 Pounds
能够挺举400磅
译者注：男子挺举62公斤级世界
纪录是182公斤，合401.2磅

4. “…a steep increase in full text downloads and link
resolver click‐throughs suggests Summon had a
dramatic impact on user behavior and the use of
library collections during this time period.”
“……全文下载量和链接点击量的急剧增长说明了Summon
在这段时期内对于读者行为和图书馆馆藏使用有着戏剧性
的影响。”
The Impact of Web-scale Discovery on the Use of a Library
Collection 网络规模发现工具对图书馆馆藏使用的影响
Doug Way 道格• 韦(2010) http://scholarworks.gvsu.edu/library_sp/9/

5. Vendor marketing
发现系统供应商的营销
威拉姆特
大学ILL文
章请求量
+21%
威拉姆特大学
到打开网址解
析器的通信量
麦卡利斯
特学院到
打开网址
解析器的
通信量
+58%
+2,297%
在使用WorldCat Local后，图书馆员们可以看
到电子资源使用和发现方面的可观增长。
http://www.oclc.org/partnerships/econtent/solutions.en.html

6. What did we measure?
我们分析出什么？
• Whether there is an effect
•
是 是否存在影响
• NOT why that effect exists
(that’s a future study!)
• 不是 为什么存在影响
（那是未来的研究项目）

7. Does implementation of a discovery service
impact usage of publisher-hosted journal content?
应用发现系统能否影响出版商主导的期刊内容的使用？

9. Web-scale discovery services
网络规模发现系统
•
Single source for finding
informationn
成系统
查找信息的单一来源
– Books
书籍
– Articles
文章
– Local content 本地内容
•
Metadata and/or full text
元数据和/或全文
•
Content is pre-indexed and/or
pre-harvested内容是已编入索
引并且/或已完成的
•
Single fast search
单独快速搜索
ILS图书馆集
Publisher
Metadata出
版商元数据
MLA
Bibliography
参考书目
Institutional
Repository
机构知识库
HathiTrust
数字库
Discovery Service
发现系统

10. An assumption一个假设
• At any given institution, given a relatively stable user base, the total
search effort will remain roughly the same.
• 在任何给定机构，给定一个相对稳定地用户群体，总体搜索量
会保持大致稳定
– X students will have Y assignments and Z hours per day to search
– X名学生有Y份作业，每天用Z小时来搜索
– X faculty will publish Y papers and have Z hours per day to search
– X 名教员会发表Y篇论文，每天用Z小时来搜索

11. Discovery services发现系统
 Will take up an increasing amount of a finite time for searching
 会占据更多数量的有限时间来检索
 Will draw users from other (more or less efficient) search tools
 会把使用者从别的（更高效或低效的）搜索工具吸引过来
 Will alter the overall productivity of searches (users will find more or less)
 会影响搜索的总体数量（读者会发现更多或更少）
 Will alter the overall efficiency of users (users will access more or less full-text)
 会影响搜索的总体效率（读者会使用更多或更少的全文）

12. Prior studies之前的研究
• Some studies have indicated substantial increases in usage after Discovery
implementation一些研究显示使用发现系统后会出现大规模的使用量增长
– Descriptive statistics only
– 仅有描述性统计
– Single institution studies only
– 仅在单一机构中进行研究
• Some publishers report decreased usage of content一些出版商反映内容使
用的减少
– Anecdotal, may affect some and not others
– 是传闻的，可能影响了一部分出版商，并没有影响其他

13. Data collection数据收集
• List of libraries with discovery services
使用发现系统的图书馆列表
> Searched on lib-web-cats 在lib-web-cats上搜集
• Surveyed Libraries 调查的图书馆
> Discovery service Implemented 使用发现系统
> Implementation Date (month/year) 启用日期（月/年）
> Search box location 搜索栏位置
> Marketing effort 营销效能
• 149 Libraries Gave Approval 149所图书馆给予认可
> 24 libraries selected for this phase 本阶段选择了24所图书馆
> 6 for each of the 4 major discovery services 4种主要发现系统，每种6所

14. Library demographics图书馆情况统计
• 20 US, 1 each from UK, AUS, NZ, CA
美国20所，英国、澳大利亚、新西兰、加拿大各1所
• 10 ARL Libraries included
包含10所美国研究图书馆协会图书馆
• WorldCat book holdings WorldCat 图书持有量
> Average 平均: 1,114,193
> Median 中值: 1,044,153
> High 高: 2,665,796
> Low 低: 298,365
• Implementation dates 发现系统启用日期:
> 2010 (3), 2011 (19), 2012 (2)

15. “我们笃信上帝，
除此其他都必须依
据事实数据。”
W•爱德华•戴明

16. Dataset数据
• 24 Libraries 24所图书馆
– 20 US, 1 each from UK, AUS, NZ, CA
– 美国20所，英国、澳大利亚、新西兰、加拿大各1所
– WorldCat book holdings WorldCat 图书持有量
> Average平均: 1,114,193 ; Range: ~300k to ~2.6mil范围: 约30万—约260万
• Implementation dates发现系统启用日期:
> 2010 (3), 2011 (19), 2012 (2)
• 6 Publishers出版商
• 9,206 Journals期刊
• 159,278 Observations观测数据
• 141,048 Usable Observations可用数据

17. Methodology方法
Compared COUNTER JR1 total full text article views for the
12 months before vs 12 months after implementation date
End
Year 2
May 2012
Year 1
Implementation
May 2011
Start
June 2010
对比启用发现系统前后各一年的COUNTER JR1全文浏览总量
Included implementation month in Year 1 to ensure that
both periods included an entire academic year
启用月包含在前一年，以使两个时间段都包含一个完整的学年

18. Collections notes收集说明
•
Controlled for journal title availability across entire 24 months
•
控制期刊在整个24个月内可用

Excluded journals that did not have COUNTER reporting across entire
period
排除了在整段时间内没有COUNTER报告的期刊

•
Availability of complete Big Deal is irrelevant
•
整体期刊库的可用性并非必需

What matters is availability of large number of titles with coverage for
entire 24-month period

重要的是大量的期刊的可用时间段可以覆盖这24个月

Most libraries have all or nearly all titles from each publisher

大部分图书馆有全部或大部分来自各出版商的所有期刊

19. Collections notes收集说明
•
Limited ability to control for changes in
aggregator, backfile access, or expanded holdings
•
限制集成商变化，过刊访问或持有量扩大的能力有限

Will do this in later phase of study

下一阶段的研究中会加以控制
•
Outliers removed from analysis
•
分析中去除异常值

20. 检查异常数据

21. 期刊比例——根据发现系统分类

22. 各图书馆可用期刊量

23. 期刊比例——根据出版商分类

24. 之前每种期刊使用量
之后每种期刊使用量
各图书馆期刊平均使用量

25. 使用量百分比变化

26. General trends定性分析大体趋势
• Variation by institution within each discovery service
• 每种发现系统的使用量，随着机构不同而不同
• Variation by publisher within each discovery service
• 每种发现系统的使用量，随着出版商不同而不同
• Some publishers saw overall net increase, while some experienced a
decrease in usage
• 一些出版商的使用量整体净增长，同时另一些整体使用量的减少

27. “数据没有意义，我们要诉诸统计。”

28. Analyzing Usage Change: % vs Total
分析使用量变化：百分比v.s.整体
Use 12 months Use 12 months
before之前12 after之后12个
个月的使用
月的使用
% Change
百分比
变化
Total
Change
整体变
化量
Journal期刊A
500
600
20%
100
Journal期刊B
5
15
200%
10
Which is the better measure? 哪种分析方式更棒？
Is it the same for publisher- & journal-level data?
基于出版商和基于期刊的数据分析，结论一样吗？

29. Goals of our inferential statistics
我们推论统计的目标
• Determine whether observed differences are significant or
resulted from chance effects
• 确定我们观察到的差别是有意义的，还是随机影响的结果
• Determine which of the three factors (i.e.
library, publisher, discovery service) contribute to determining
differences in usage change at the journal level
• 确定这三种因素（图书馆、出版商、发现系统）中的哪个影响了期刊
使用量变化
• Identify important factors for further analysis*
• 确定未来分析中的重要因素*

30. ANOVA – F Ratio方差分析——比例F
• Tests whether the means for levels within a factor are distinguishable from
each other
•
检测不同因素的影响水平可否区分
•
Average variability due to the factor
F ratio =
Average variability due to chance error
由于因素导致的平均变化
比例F =
由于随机误差导致的平均变化
•
So, when F ≈ 1, means are not distinguishable, when F is >> 1, there are real
differences among some means
•
当 F ≈ 1时，因素的影响不可区分；
当 F >>1时，因素影响导致的差别显著；

31. Full Model全模型
Including Discovery Service, Publisher, and Library
包括发现系统，出版商和图书馆

33. Testable Interactions可测试的交互作用
• Discovery Tool发现系统
– Implemented by multiple libraries 多个图书馆使用
– Used to find content from all publishers 可被用来寻找所有出版商的内容
• Publisher出版商
– Accessible in all discovery tools 可用所有发现工具获取
– Accessible across multiple libraries 可被多个图书馆获取
• Library图书馆
– Uses content from multiple publishers 使用多个出版商的内容
– Uses only one discovery tool 使用一种发现工具

36. Does Usage Change Vary Across
Libraries?
Yes
使用量变化是否与图书馆相关？
是

38. Does Usage Change Vary Across
Publishers?
No
使用量变化是否与出版商相关？
否

40. Does Usage Change Vary Across
Discovery Services?
Yes
使用量变化是否与发现系统相关？
是

42. Does the Effect of Discovery Service
Vary across Publishers?
Yes
发现系统的影响是否与出版商相
关？
是

43. Results结果
Can we detect differences between Discovery
Services, Publishers, and/or Libraries and/or their interactions?
我们能检测到发现系统，出版商，和/或图书馆，和/或他们
的相互作用对使用量变化的影响吗？
• Library – Yes 图书馆——能
• Publisher – No 出版商——不能
• Discovery Service – Yes 发现系统——能
• Differential discovery service effect by publisher – Yes
发现系统的影响随出版商不同而变化——能

44. Conclusions结论
• Discovery Service and Library as variables on their own
were significant predictors of usage change
• 发现系统和图书馆作为独立变量，是使用量变化的重要预测因
子
• The effect of Discovery Service on usage change varied
across Publishers
• 发现系统对使用量变化的影响与出版商相关
– No Discovery Service increased or decreased usage across all
publishers
–
没有发现系统能使所有出版商的使用量实现统一的增长或统一的减少

45. Sharing Data共享的数据
• With participating libraries 对参与的图书馆
– Customized reports for each library 每个图书馆的定制报告
• With participating publishers 对参与的出版商
– Customized reports for each publisher 每个出版商的定制报告
– Presentations as requested 应邀演讲
• With discovery vendors 对发现系统供应商
– Presentations as requested 应邀演讲
• In publications and presentations 在出版物上和演讲时
– Maintaining anonymity of data 保持数据匿名

46. Next Steps下一步计划
• Design & test for effects of: 设计并测试以下因素的影响：
– Aggregator full text availability 集成商全文可用性
– Institution Size / Enrollment Profile 机构规模/ 注册人数
– Publisher Size 出版商规模
– Journal Subject 期刊学科
– Overall usage trends (Requires Disc Srvc ‘control’)
整体使用趋势（需要Disc Srvc“控制”）
– Configuration options in Discovery services发现系统的架构
• Expand pool of libraries 扩大图书馆选择范围
• Perhaps explore WHY 也许会探索产生这些影响的原因

47. Past/Future Presentations过去和未来的演讲
•
Ithaka Sustainable Scholarship Conference (October 2013)
伊萨基可持续学术会议（2013年十月）
•
Charleston Conference (November 2013)
查尔斯顿会议（2013年十一月）
•
ER&L/Library Journal Webinar (December 2014)
ER&L/图书馆期刊研讨会 （2013年十二月）
•
ER&L (March 2014) （2014年三月）
•
UKSG (April 2014) （2014年四月）
–
Including Control group & Additional libraries
包括对照组和增加的图书馆
–
Add Additional variables & further analysis
增加额外的变量和未来的分析

48. Questions
michael.levine-clark@du.edu | johndmcd@usc.edu | jason@scelc.org