diff --git a/test/openssl/test_ssl.rb b/test/openssl/test_ssl.rb
index ef442d41d0..6dd872e5fa 100644
--- a/test/openssl/test_ssl.rb
+++ b/test/openssl/test_ssl.rb
@@ -80,7 +80,7 @@ class OpenSSL::TestSSL < Test::Unit::TestCase
         server_proc.call(ctx, ssl)
       end
     end
-  rescue Errno::EBADF, IOError, Errno::EINVAL, Errno::ECONNABORTED
+  rescue Errno::EBADF, IOError, Errno::EINVAL, Errno::ECONNABORTED, Errno::ENOTSOCK
   end
 
   def start_server(port0, verify_mode, start_immediately, args = {}, &block)