因潍县靠近胶济铁路，加之乐道院场地较大，遂被日军强占。日军把院子里所有的树木砍伐净尽，铁丝网架上高墙，一座阴森恐怖的集中营——“敌国人民生活所”，便替代了原本幽静的布道传教之所。
江北的美英侨民陆续被掳来关押，总共有2008名外侨被关押在乐道院。
被关押者中，上至年近九旬的老人，下至出生仅三个月的孩子。20岁的德斯蒙德·保尔从上海龙华转到潍县集中营时，就发现他母亲和太太，还有同母异父的妹妹都已挤在一群囚犯中间，他印象最深的是，不管几口人，只给一间六七平方米的低矮小屋，烧木柴的烟味儿呛得不能顺畅呼吸。
王成汉老人谈起集中营的情况，他说，当时被关押的人，营养不良，为了给孩子补充钙质，将鸡蛋壳晒干了，磨成面，一人两勺。
潍县集中营博物馆讲解员闫冰说：“恶劣的伙食让侨民饱受折磨。他们会偷偷趁看守不注意的时候，将身上的财物如手表、首饰等扔到围墙外。附近的中国人捡到后，会拿出白糖、西红柿、鸡蛋等食物来交换，久而久之形成了一个地下交易市场。”
在博物馆展厅中有一张铁床，是伦敦Dakin Brother制造公司生产的。这张铁床是丹麦难友和当地农民韩绪庭为交换食物而保留下来的。
包括奥运会冠军埃里克·利迪尔在内的20多个侨民因为营养不良、缺医少药而含恨病逝。
退休后一直致力于潍县集中营历史研究的学者、90岁的夏宝枢说，日本人设立集中营的目的主要是报复美国人在本土关押日本人，是要通过关押来羞辱同盟国，剥夺难民的尊严，让你生不如死，而这是最难以忍受的，日军封锁一切消息，西方侨民如同被关进了铁笼子。