求助，一个关于 sql 的问题

[DXDE443]

在一个表中，有个 VARCHAR 字段,有部分数据的值是数字，有部分是字符串，我把一部分数据取出来，取出来的部分该字段都是数字，然后我把这部分数据通过 CONVER 转换成 INT，这里没有问题，但当我再用这个 CONVERT 后的值，进行一些比较操作，数据库就会报类型转换异常了

以下是示例
WITH tb_testl AS （
-- 数据表格，有两列，id 列是 INT，value 列是 VARCHAR，其中 value 列有部分数据不能转换为 INT
 SELECT 1 AS id ,'hehe' AS value
 UNION ALL SELECT 1 AS id, '1' AS value
 UNION ALL SELECT 2 AS id, '2' AS value
 UNION ALL SELECT 2 AS id, '2' AS value
), tb_test2 AS (
-- 从表 1 中取出部分数据，将 VALUE 列转换为 INT，这里取出来的 value 列都确实可以转换为 INT
 SELECT CONVERT(INT , value) AS value FROM tb_testl WHERE id = 2
)
-- 查询表 2，如果这里不带 WHERE 条件是可以正常查询的，但带上条件后就会报错类型转换异常
SELECT * FROM tb_test2 WHERE value = 2;


上面这段 sql 会报类型转换的错误，而如果我把最后一行的WHERE value = 2;这个条件删除的话就不会报错了，个人感觉是数据库先使用了我后面加的这个条件，而没有来得及使用tb_test2中的条件筛选数据导致异常，求教我该怎么解决？
数据库是 mssql2008